evaluation

はじめに 七尾百合子さん、お誕生日 278日目 おめでとうございます！ nikkieです。 先日作った Google 検索するエージェントに ADK 組み込みの評価を試してみたのですが、エッジケースだったようでうまくいきませんでした。 目次 はじめに 目次 再訪「Why Evaluate Agents」 テストファイルを使った評価 *.test.json test_config.json Google 検索するエージェントの評価を試す google_searchツールは呼ばれない judgeの融通が効かない 終わりに 再訪「Why Evaluate Agents」 google.github.…

こんにちは。SB Intuitions で LLM の評価を担当している 岡 照晃、柴田 知秀 です。 本記事では我々が構築・公開した日本語のベンチマーク『JamC-QA（Japanese Multiple Choice QA, ジャムシーキューエー）』[岡+, 25]を紹介します。 JamC-QA は日本固有の知識（e.g., 日本の文化、風習、...）を問う質問応答ベンチマークです。 問題形式は JCommonsenseQA [栗原+, 23] や JMMLU といった既存のベンチマークと同じ多肢選択式ですが、 難度はそれらより高く、 下記の評価結果を見ても、JamC-QA ではスコアが一…

こんにちは。LayerX AI・LLM事業部でAi Workforceのプロダクトマネージャーを務めている稲生です。 Ai Workforce は、社内外に散在するドキュメントを活用し、抽出・分類・要約・生成などのタスクを自動化できる 横断型（Horizontal）AI プラットフォーム SaaS です。 今回は、最近力を入れているAi Workforceにおける 「精度評価」 の取り組みをご紹介します。 なぜ精度評価なのか LLMを利用するプロダクトにおいて、その精度はとても重要です。 LLMの進化は加速中 OpenAIをはじめ、各社が次々と高性能なモデルを公開し、誰でも高精度な出力を得られ…

はじめに あらたなユーフォニアム...！！ nikkieです。 MLflowを触ってみました。 なんでもLLM-as-a-Judgeができると聞きまして 目次 はじめに 目次 「静的データセットで評価する」のコードを動かしてみる MLflow 2.8 リリースブログより 動作環境 & スクリプト 評価結果を確認 MLflowは裏で一体何をしたのか 終わりに P.S. MLflowに興味を持ったきっかけは 「静的データセットで評価する」のコードを動かしてみる 検索して見つけたドキュメントに沿って手を動かします。 https://docs.databricks.com/ja/mlflow/llm-…

Evaluation. エバリュエーション

久しぶりの更新となりました。 今回は、Evaluationという論文誌の新刊が出ましたので、こちらをご紹介したいと思います。 Evaluation プログレスという出版社から発刊される論文誌で、今回で76号になります。 私は2004年ごろから読み始め、2013年ごろからは欠かさず購入しています。 内容はご覧のとおり、かなりマニアックですが、私は不動産鑑定士としてたいへんお世話になっている論文誌です。 以前は年4回の発刊でしたが、最近はペースが落ちており、発行のご苦労がうかがえます。 このプログレスという出版社は、ホームページによりますと、 「不動産鑑定士が鑑定技術研鑽のために作った、小さな研究…

はじめに ブラボー！！ nikkieです。 今週木曜日2/16は19時からオンラインでみんなのPython勉強会 (a.k.a stapy)「新刊本から知る機械学習の今」！ 予習リストエントリを公開し、予習を進めています。 2月のみんなのPython勉強会は"機械学習新刊特集"！予習積ん読リスト📚 #stapy - nikkie-ftnextの日記 読書ログ | 『Kaggleに挑む深層学習プログラミングの極意』石原さんによる1章・2章は極意と例が目白押し！（2月の #stapy 予習） - nikkie-ftnextの日記 今回は『評価指標入門』について現時点の感想をアウトプットしちゃいます…