データセット

scikit-learnのユーザーガイド「8.3. Generated datasets（生成データセット）」において、各章ごとの解説と用途についてまとめたものが以下の通りになります。 scikit-learn.org 8.3. 生成データセット (Generated datasets) 既存のデータを使うのではなく、「プログラムで人工的にデータを作り出す」 ための強力なツール群です。 このセクションは、特定の統計的性質を持つデータをプログラムで合成する「データ生成器」を扱います。アルゴリズムの挙動を厳密にテストしたい時に不可欠なツールです。 「外れ値が多いデータでモデルを試したい」「クラスが…

scikit-learnのユーザーガイド「8.2. Real world datasets（実世界のデータセット）」において、各章ごとの解説と用途についてまとめたものが以下の通りになります。 scikit-learn.org 8.2. 実世界のデータセット (Real world datasets) Toy datasetsとは異なり、実際の研究やビジネスの現場で使われてきた、より大規模で複雑なデータを扱います。 これらは初回実行時にインターネットからダウンロードされ、キャッシュ（保存）されます。本格的なモデルのベンチマークや、大規模データのハンドリングを学ぶのに最適です。 8.2.1. Ol…

scikit-learnのユーザーガイド「8.1. Toy datasets（おもちゃのデータセット）」において、各章ごとの解説と用途についてまとめたものが以下の通りになります。 scikit-learn.org 8.1. おもちゃのデータセット (Toy datasets) Scikit-learnの datasets モジュールには、外部からダウンロードすることなく、オフラインですぐに試せる「定番」のデータセットが含まれています。 これらはデータサイズが非常に小さく、アルゴリズムの挙動をクイックに確認したり、ブログでコード例を示したりする際に最適な「定番」のデータセット群です。 8.1.1…

scikit-learnのユーザーガイド「8章 読み込みデータセットの有効性 (Dataset loading utilities)」において、各章ごとの解説と用途についてまとめたものが以下の通りになります。 scikit-learn.org 8章 読み込みデータセットの有効性 (Dataset loading utilities) Scikit-learnには、機械学習の練習やプロトタイプ作成のために、すぐに使えるデータセットを取得する機能が豊富に備わっています。 8.1. おもちゃのデータセット (Toy datasets) 【概要】 インストール時あらかじめ同梱されている、非常に小さなデ…

こんにちは。 LayerXのバクラク事業部のAI・機械学習部でテックリードを務めております機械学習エンジニアの島越（@nt_4o54）です。 こちらはLayerX AI Agentブログリレー10日目の記事です。前回の記事はponさんによる最速でAI Agent機能をPoCするChrome Extensionsの威力でした。 今回の記事では、先日リリースを行ったAI明細仕訳の問題を題材に、データセット作成時にCodeAgentを用いた検証についてお話しします。 AI明細仕訳とは AI明細仕訳とは、請求書に記載されている表から、勘定科目などのマスタデータや過去の編集履歴を元に仕訳を自動で作成する…

アメリカ・テック情報venturebeat7/23 石油・ガス事業では膨大な量のデータが生成されます。たとえば、ニューメキシコ州の地震調査では、それだけで 1 ペタバイト（高画質の写真約10億枚）のファイルが生成されることがあります。 世界最大級の石油・ガス会社Chevronシェブロンは、広大な面積の採掘を行うためさらに100 エクサフロップス（スーパーコンピュータの約10倍の性能）の演算が必要だといいます 世界最大級の石油・ガス会社Chevronシェブロンは、このような大規模なデータ処理をサポートするために生成AIを使い始めたのです Chevronシェブロンは生成AIを使うにあたって、自社内…

はじめに Data-centric AI Cleanlab 物体検出データセットのクレンジング データセット作成 物体検出モデルの学習 予測と正解データの生成 Cleanlabによる品質スコア算出 アノテーション修正 Cleanlabをフル活用するためのTips 同じ正解データや予測を複数回マッチングさせないようにする 閾値をモデルやデータセットに応じて適切に設定する スコアが1.0になっている画像でも一通り確認する まとめ はじめに セーフィー株式会社 で画像認識AIの開発エンジニアをしている水野です。 現在、AI-App 人数カウントで利用される物体検出モデルの精度改善に取り組んでいます。…