Hatena Blog Tags
はてなブログ トップ
モデル評価
このタグでブログを書く
言葉の解説
ネットで話題
関連ブログ

モデル評価

このタグの解説についてこの解説文は、すでに終了したサービス「はてなキーワード」内で有志のユーザーが作成・編集した内容に基づいています。その正確性や網羅性をはてなが保証するものではありません。問題のある記述を発見した場合には、お問い合わせフォームよりご連絡ください。
とあの方舟•1年前

ペアワイズな評価を用いたLLM性能比較：Bradley-Terryモデルとモデルペア動的サンプリング

はじめに 大規模言語モデル （LLM）の性能評価を行う際に、「モデルAとモデルBのどちらの出力の方が望ましいか？」というペアワイズな評価を収集してモデルの性能を比較することが増えています。 その代表例はChatbot Arena (https://huggingface.co/spaces/lmsys/chatbot-arena-leaderboard)ですが、今回は彼らの取り組みを紹介する以下の論文[Chiang+24]を読んで、どのようにユーザーによってアノテーションされたペアワイズな評価結果からモデルごとのスコアが計算されているのかを勉強してみました。arxiv.org 定式化 個のモデ…

#LLM#言語モデル#モデル評価

関連ブログ

Safie Engineers' Blog!•1年前

Unityで作成したCG映像を使って物体検出AIのQA評価をした話

この記事は Safie Engineers' Blog! Advent Calendar 2023 の21日目の記事です。 はじめに セーフィー株式会社で画像認識AIの開発エンジニアをしている木村（駿）です。主に、エッジAI搭載カメラで動作する人やモノを検出するアプリケーションの開発を行っています。 このAIカメラを使って、弊社では指定したエリアへの人の侵入を検知するサービスや混雑度合いを数値化するために滞留人数をカウントするサービスなどを提供しています。 これらのサービスが、必要な基準や要件を満たしているかどうかを確認するため、QA (Quarity Assureance) 評価を実施してい…

#Advent Calender#Unity#CG#QA評価#モデル評価#アノテーション#物体検出
ITエンジニア ノイのブログ•2年前

LLMの能力と限界を評価するツール 2023.9.28発表論文

要約 タイトル: GPT-Fathom: Benchmarking Large Language Models to Decipher the Evolutionary Path towards GPT-4 and Beyond 著者: Shen Zheng, Yuyu Zhang, Yijie Zhu, Chenguang Xi, Pengyang Gao, Xun Zhou, Kevin Chen-Chuan Chang 論文のURL: https://arxiv.org/abs/2309.16583 こちらの論文の解説です。 専門外の人でも分かるように説明 この研究は、大規模言語モデル（…

#LLM#大規模言語モデル#モデル評価#ベンチマーク#評価ツール