テーブルデータ

今回のコンペはターボエンジンのシミュレーションデータを使って、RULとよばれるエンジンの残存耐用時間を予測するというものでした。 カテゴリ変数がなく、数値データのみによるものなので、データ（コンペそのもの）の理解に時間を割かれました。データ内容などについては、コンペを参照してください。 https://www.nishika.com/competitions/17/summary 1.解法 提出結果のうち、LightgbmとTabnetのアンサンブルモデルがPrivate:6thとなりました。Public:6thはその結果とNNのアンサンブルモデルです。 2.特徴量 ・基本的に['○○_mea…

ギークな技術者の皆様、こんにちは。メリークリスマス。 リモートワークで運動不足を感じているため、VTuberのリングフィットアドベンチャーのプレイ動画を見て気を紛らわしています、VPoEの河合(@vaaaaanquish)です。 本記事はエムスリーアドベントカレンダー2024の最終日の記事にあたります。 エムスリーアドベントカレンダーには今年もギークな記事が揃っていますので、年末年始の技術研鑽のお供に是非どうぞ。 qiita.com はじめに ノベルティの下準備 digits plot wordcloud おわりに We are hiring !! エンジニア採用ページはこちら カジュアル面談…

軽めのネタです。 ちょっと前にCMIコンペに出てまして、そこでテーブルデータに大してNNを適用させる実験をしていました。 www.nogawanogawa.com この実験で色々試しているときに、なにやら別のコンペでTabMというNNの手法が効いたという話を耳にしたのでCMIコンペでも試してみました。 CMIコンペも終わったので、今回はそのTabMを試しに使ってみたときのメモを放流しようと思います。

垣見です。 AWS re:Invent 2024で発表されたAmazon S3 Metadataについて、概要をつかめるようになることを目的としたブログです。 後半では設定・クエリ・削除も実画面で触っています。 なお、このブログはサーバーワークスで参加しているQiitaアドベントカレンダー2024の記事の一つとしてアップしておりますのでよければ他のブログもご覧ください。 ※本発表はプレビュー版です。​ Keynoteで発表のあった内容と2024年12月23日(UTC+0900)時点での動作となります。​ 以降のプレビュー期間、および GA 時には動作が変更となっている可能性がある点にご留意くだ…

こんにちは！ AIエージェントに捧げた一年を過ごした太田（https://x.com/ottamm_190）です。 年末のエージェント記事の第三弾です。 第一弾→ Weekly AI Agent News!から見えたAIエージェントの現在地 - 襖からキリン 第二弾→ AIエージェントビジネスの現状と今後の考察 - 襖からキリン 今年は業務時間外でAIエージェントのニュースや論文を発信してきました。論文リストもまとめています。 興味があればご覧ください。とりあえず3月末までは更新します。 speakerdeck.com github.com さて中身に入ります。記事のタイトル通り、生成AIエー…

こんにちは、機械学習チーム YAMALEX の駿です。 YAMALEX は Acroquest 社内で発足した、会社の未来の技術を創る、機械学習がメインテーマのデータサイエンスチームです。 （詳細はリンク先をご覧ください。） この記事は Amazon Bedrock Advent Calendar 2024 23日目の投稿です。 Amazon Bedrock Knowledge BaseのデータベースとしてRedshiftを指定して、構造化データを検索し、その結果を元に回答を生成することができるようになりました。 現在のところ、データベースとしてはRedshiftのみに対応しています。 Red…

こちらの記事は、アソビュー！ Advent Calendar 2024の23日目（表面）です。 はじめに 対応の目的 ストレージ費用 コンピュート費用 クエリ上限設定とは BigQueryの権限 ジョブ実行とデータ閲覧は分けられる まとめ はじめに アソビューのデータ基盤チームでデータエンジニアをやっている米澤です。 今回は、BigQueryのジョブ実行権限とデータ閲覧権限をプロジェクト単位で分けることで、BigQueryのクエリ上限設定を行う方法をご紹介したいと思います。 対応の目的 まず、なぜこの対応を行う必要があるのか？をご説明します。 ご存知の方は多いと思いますが、Google Clo…

このエントリは Tsurugi Advent Calendar 2024 の22日目のエントリです。前日は septigram さんによる「 劔"Tsurugi"をZabbixで監視する 」でした。 以下の前回のエントリではTsurugiに用意されているダンプ、ロード方法を紹介しました。 aoe-tk.hatenablog.com 前回のエントリの最後に書いたのですが、他のRDBMSではSQL文によるダンプを行えるものがあります。 現時点でTsurugiにはそのような機能はありませんが、Iceaxeに用意されている機能をうまく活用することで、SQLファイルとしてデータをダンプすることができます…

こんにちは、GASエンジニア の 佐伯 です。 この記事はEnigmo Advent Calendar 2024の 21 日目の記事です。 この記事ではGoogle製のアプリ開発ツールである、AppSheet について紹介します。 軽く自己紹介になりますが、普段はGAS（Google Apps Script）やBigQueryなどを用いて業務用ツールの開発を行っています。最近はGASとの親和性も高いAppSheetに挑戦しているので、その中で気づいたことをまとめます！ 概要 AppSheetの利用を検討している方向けに、AppSheetの基本的な特徴やメリットをまとめる。また、より高度に使いこ…

はじめに Kaggle遍歴 バックグラウンド Kaggle との出会い 思い出深いコンペたち Kaggle の取り組み方 Kaggle で得られたもの 今後 おわりに はじめに こんにちは、kaerururu です。 Kaggle を始めて約6年半、目標だった Competitions Grandmaster になることができました。 一つの節目として、振り返り記事を書いてみようと思います。 www.kaggle.com Kaggle遍歴 略表 日付 Event 2018/08/07 初サブ (Titanic) 2018/12/19 初メダル (銅) 2019/02/14 Expert 201…

たまには経理っぽいことも書いてみようと思い、書いてみます。 私は仕事柄、分析をよくします。業績分析であったり、何かの差異分析であったりです。その時に必ずと言って良いほど作るのがテーブル（データ一覧）です。 テーブルの良いところは、これさえあれば、好きな切り口でデータを集計できることです。ピボットテーブルを使えば、データ項目にある内容で自在に集計できますし、他のテーブルと関数（vlookupやsumifs等）で連携することもできます。また、ピボットテーブルをテーブルとして活用することもできます。要するに、工夫次第で如何様にも活用できます。 ここから、他部署に依頼してデータを集約する必要がある時に…

はじめに この記事は会計系 Advent Calendar 2024 18日目の記事として投稿させていただいています。 「Pythonで会計データの分析をやってみたいけど簡単に使えるデータがない」そんなニーズにお応えして、オープンデータの有価証券報告書の提出データを分析してみます。 しかし、このデータはXBRLと呼ばれる構造化ドキュメントです。XBRLは、その構造が大変複雑で扱いづらい点と、データが散らばっている点で分析が困難です。 そこで、XBRLの複雑な部分をまるっと隠して必要な情報だけ抽出するラッパーをつくりました。 とりあえず、pythonライブラリのpandasで扱えるテーブルにして…