データドリフト

こんにちは！nakamura（@naka957）です。 ドリフト(Drift)という言葉をご存知でしょうか？機械学習のサービスを運用する上で重要な項目ですが、知らない人も多いのではないでしょうか。 機械学習プロジェクトは、モデルを構築するまでがゴールではありません。本番環境での運用を続けることがゴールです。ところが、本番環境モデルは徐々に精度が低下していきます。そのため、時機を見計らって再学習が必要です。このように、モデルの精度が想定からズレることをドリフトすると言います。ドリフトはモデルの運用のために重要となる概念です。 本記事では、ドリフトの概念と重要性を説明していきます。 ドリフトとは …

1.はじめに 2.データ活用の民主化に向けた現状と課題 3.データアーキテクチャーデザイン 3-1.避けては通れぬ茨の道 3-2.イシューから始める 3-3.採用したデータパイプライン 4.開発デザイン 4-1.データマート設計 4-2.ルールメイキング 5.おわりに 5-1.利用状況 5-2.カイゼン計画 1.はじめに NTTドコモ データプラットフォーム部（以下DP部）外山です。 NTTドコモでは、携帯回線事業の他、dポイント・dカード・d払いを中心にお客様の新たなライフスタイルを創出する各種d系サービスを提供し、提供後のプロダクト改善やマーケティング施策の実施にデータを活用しています。 …

G-gen の佐々木です。当記事では Google Cloud（旧称 GCP）の認定資格の一つである、Professional Machine Learning Engineer 試験の対策や出題傾向について解説します。 基本的な情報 Professional Machine Learning Engineer とは 難易度 試験対策 機械学習の一般的な知識 代表的な機械学習アルゴリズム 評価指標 回帰問題における評価指標 分類問題における評価指標 ヒューリスティック 機械学習モデルの開発、運用における課題の解決 データの前処理 欠損値の処理 カテゴリカル変数の扱い 不均衡データの対策 過学習…

・LazarsfeldはAdornoらの権威主義的パーソナリティ研究について「指標のドリフト」を指摘。（木村 2022:110） ・「指標のドリフト」は「データドリフト／概念ドリフト」と呼ばれるものとほほ同義。ラザースフェルド自身の説明はLazarsfeld1959に。 「 データドリフト／概念ドリフト 」 船井総研 工場DX.com～ロボット化自動化、AI・デジタル・Iot、システム化￣より引用。 データドリフトとは、データの変化にモデルが対応しきれずに精度が劣化してしまうことを指します。具体的には、学習時に想定していたデータ分布に対して、運用段階におけるデータ分布が異なる場合が挙げられます…

こんにちは! Lead Data Scientistの梶原(悠)です。 Insight Edgeには商社内の資源系ビジネス部門から市況・需要予測系の相談が多くよせられます。 しかし、この種の案件は予測モデリングの本質的な難易度とユーザーからの期待値のずれが大きく、なかなか有効な活用に繋がりにくい印象があります。 こうした現況の改善に向けて技術的な論点は色々あるのですが、今回は、市況が急変するなどしてデータの分布が大きく変わるケースの対処をテーマに、簡易なツール調査を行います。 目次 ドリフトとは ドリフトの検出ツール 検出デモ まとめ データドリフトとは データドリフトは、時間の経過によって特…

ちゃお…† まいおり…† 今回はConcept driftについて調べてたのでメモを書こうと思います。 Concept driftとは 機械学習やその周辺分野では、モデルを無益なものにするデータの変動をConcept drift (コンセプト変動; コンセプトドリフト; 概念ドリフト) と呼びます。 Concept driftは、モデルが予測するための説明変数の統計的性質が思いがけないことで時間とともに変わってしまうと起きます。 Concept driftが起こると時間が経つごとに予測精度が低くなる問題を引き起こします。 この問題において最も重要なことは、動的に変動するデータやデータモデルに関…

この記事はBASE Advent Calendar 2022の19日目の記事です。 はじめに こんにちは、DataStrategyチームの竹内です。 今回はBASEで作成されたショップが扱っている商品のカテゴリを機械学習モデルを使って推論するための取り組みについてご紹介いたします。 はじめに TL;DR 商品カテゴリ データセットの作成 ラベルセットの検討 データのサンプリング AWS Ground Truthを利用したアノテーション アノテーション対象のフィルタリング モデルの学習とテスト BERTのファインチューニング モデルの性能評価 gokartを利用したパイプラインの構築 AWS B…

概要 やりたいこと 準備 Azure CLI 拡張機能（CLIv2）による学習パイプラインの作成 全体像 前提 事前準備が必要なスクリプト CLIv2のバージョンアップ モデル登録用のスクリプト 学習＆モデル登録パイプラインの設定 スケジューリング実行 おわりに 概要 本記事はAzure Machine LearningワークスペースをCLIv2を使って操作するチュートリアルの第3弾です。 使い方を習得すれば自動化パイプラインを自身で構築できるようになります。 やりたいこと 前回の記事でデプロイまでを行いました。 ここまでで学習からデプロイまで一通りの手順を実施できたため、ここから自動化の仕組…

SageMaker Model MonitorとSageMaker Clarifyを使用して、ML監視を実践してみます。 本文中コード: https://github.com/nsakki55/code-for-blogpost/tree/main/sagemaker_model_monitoring ML監視 MLモデルの予測性能は、データと密接に関わっています。 本番環境のMLモデルの予測精度が劣化している要因の一つに、「学習データと推論データの分布が異なる」状況が考えられます。 このようなデータ分布の変化を「データドリフト」とML監視の文脈では呼びます。 変化の比較データとして、以下2つ…