f1_score

前編から引き続き、Microsoftが提供しているSaaS型のサービスであるMicrosoft Fabricを使用して、機械学習を用いた予測レポートを作成してみたいと思います。 本記事はMicrosoft Learnの以下の記事を参考に作業していきます。 データ サイエンス チュートリアル - 概要 - Microsoft Fabric | Microsoft Learn こちらの記事は中編となり、前編の記事は以下となります。 blog.jbs.co.jp 作業の概要 機械学習モデルのトレーニングと登録 作業内容 ライブラリのインストール 機械学習モデルとトレーニングのための前準備 前準備 補…

MLflow Tracking Quickstart — MLflow 2.14.3 documentation virtual env を作成して、そのあと pip install でもろもろをインストール pip install scikit-learn pandas pip install mlflow チュートリアルを見て、下記のようなコードを実行しようとしたらエラーが出た。 import mlflow from mlflow.models import infer_signature import pandas as pd from sklearn import datasets f…

ニューラルネットワークのことが何も分からないので少しずつでも慣れていきたい。 そのためには、とにかくたくさんのコードを読んで書くしかないと思う。 一環として、今回はこれ以上ないほど簡単なタスクを解くコードを書いてみる。 具体的には、シンプルな MLP (Multi Layer Perceptron) を使って Iris データセットの多値分類タスクを解く。 実用性はないけど PyTorch のやり方は一通り詰まっている感じがする。 使った環境は次のとおり。 $ sw_vers ProductName: macOS ProductVersion: 14.5 BuildVersion: 23F79…

こんにちは，ふたばとです． 今回は最近開発している自作の連合学習フレームワーク『FutabatedLearning』を紹介をしてみようと思います． 最低限人に見せられるよう整えたので LICENSE を MIT にしてリポジトリを公開しました． github.com 連合学習とは，機械学習におけるプライバシーの保護に重点を置いた学習手法です． 一般的な機械学習を１つの中央のサーバにデータを集約してそのサーバ上でモデルを作成することとすれば，連合学習は中央のサーバと複数のクライアントとで構成されており，クライアントは分散しています．各クライアントは自身が所持するデータセットを用いてローカルで学習…

はじめまして！Algomatic LLM STUDIO でインターンをしている なべ（@_h0jicha）です。普段は大学でマルチモーダル大規模言語モデルの応用に関する研究に取り組んでいます。 Algomatic のインターンでは、LLM の評価に関して網羅的な調査や各種ツールの導入に取り組んできました。 本記事では、この知見を皆さんに共有することで、日本語圏における LLM 評価の現状を俯瞰していただき、各ツールを適切に選択するための糸口を提供することを目的とします。

こんにちは、AI・機械学習チームの浮田です。最近、私が筆頭著者の論文が公開されたので、今回はその紹介をします。 発表した論文はこちらです： www.ncbi.nlm.nih.gov この論文では、 胸部X線 (レントゲン) から間質性肺炎を検出するAIの評価を行いました。 結果、このAIを使うことで医師の読影成績が統計的有意に改善しました。 このAIを使うことで間質性肺炎の見落としを減らすことができることが期待されます。 エンジニアリンググループで論文を書くのは珍しい機会でしたが、査読対応など大変な時も経て無事公開することができました。 図1. 今回開発・検証した医療AIの実際の画面。プレスリ…

先に結論 nDCG@all はどんな予測値やモデルであっても 1.0 に近づくので注意したほうが良さそうです． 疑問 機械学習モデルにおける予測値の評価にはさまざまな指標が用いられます． RMSE prec / recall / f1-score negative log-likelihood 二値分類ではとくに ROC-AUC (Area Under the Receiver Operating Characteristic Curve)1が用いられることが多いでしょう． ランダムな予測値に対する ROC-AUC はその定義上からも 0.5 になることが知られています．これは非常に便利で，R…

先日、新NISA関連の調べものをしていた時、以下のような記事を見つけました。 chandraroom.com リスク-リターン平面上に、数々の資産の組み合わせ＝ポートフォリオの運用結果をプロットし、あるリスクに対して最大のリターンが得られるポートフォリオの集合＝効率的フロンティアという概念があるそうです。 これは、多目的最適化でいうパレートフロントと同じ考え方です。多目的最適化では、複数のトレードオフの関係にある目的関数に対して、これ以上どちらの目的も同時に良くすることはできない解の集合＝パレートフロントを見つけることが目標です。 パレートフロントを厳密に求めるには時間がかかるため、遺伝的アル…

『評価指標入門』をRで書く この記事はR言語 Advent Calendar 2023 シリーズ2の16日目の記事です。qiita.com 多クラス分類の評価指標 パッケージの呼び出し。 library(tidyverse) library(palmerpenguins) library(rsample) library(yardstick) library(ranger) ペンギンの種類を判別するランダムフォレストのモデル。 pen_split <- penguins |> mutate(year = as.factor(year)) |> drop_na() |> initial_spli…

『評価指標入門』をRで書く この記事はR言語 Advent Calendar 2023 シリーズ2の13日目の記事です。qiita.com 二値分類における評価指標 ライブラリーの呼び出し。 library(tidyverse) library(palmerpenguins) library(rsample) library(MLmetrics) library(yardstick) library(pROC) library(ranger) ペンギンの性別を判別するランダムフォレストのモデル。 pen_split <- penguins |> mutate(year = as.factor(…

はじめに こんにちは、ABEJAでデータサイエンスグループに所属している今井です。ABEJAアドベントカレンダー2023の20日目の記事です。 OpenAIのAPIには、チャットアプリケーションを作る際に役立つfunction callingという機能がありますが、かねてから「どれくらいfunction callingは精度良く呼び出されるのだろうか？」と思っていました。 今回の記事では、上記の疑問に答えるべくfunction callingの呼び出し精度をレストラン予約のシナリオを題材に定量的に評価してみたので、その内容についてご紹介したいと思います。 以下の順序で内容を説明していきます。 …

本記事は、全5回に分けてFIBAバスケットボールワールドカップ2023の全92試合を分析してみたシリーズ第3回目です。 相関分析・可視化分析｜勝敗と相関が高いスタッツの項目は何か？勝利したチームと敗北したチームのスタッツの差はどう違うのか？ 決定木分析｜勝利するチームのスタッツの条件は？（その1） LightGBM+SHAP分析｜勝利するチームのスタッツの条件は？（その2） 次元削減分析（主成分分析・t-SNE・UMAP）｜スタッツから見る大会参加チームの特徴は？（その1） 因子分析+クラスタリング｜スタッツから見る大会参加チームの特徴は？（その2） 前回は、決定木分析を行い、勝利する際のスタ…