Hatena Blog Tags
はてなブログ トップ
LLM-as-a-Judge
このタグでブログを書く
言葉の解説
ネットで話題
関連ブログ

LLM-as-a-Judge

このタグの解説についてこの解説文は、すでに終了したサービス「はてなキーワード」内で有志のユーザーが作成・編集した内容に基づいています。その正確性や網羅性をはてなが保証するものではありません。問題のある記述を発見した場合には、お問い合わせフォームよりご連絡ください。
ユニファ開発者ブログ•4ヶ月前

LLM-as-a-Judge奮闘記！〜評価軸と技術選定のお話〜

発見的推理は最終的で厳密なものではなく,（中略）その目的は当面する問題の解を求めることである. ジョージ・ポリア 著、柿内 賢信 訳：いかにして問題をとくか より はじめに LLM-as-a-Judgeって、なに？ はじめの一歩 「軸」を決める 「評価軸」を決める 技術選定 「軸」「評価軸」「技術選定」からのインサイト おわりに

#QA#AI#LLM#Bedrock AgentCore#LLM-as-a-Judge

関連ブログ

Insight Edge Tech Blog•4ヶ月前

同じ入力なのにスコアが変わる——LLM-as-a-Judgeの決定性を検証してみた

こんにちは！Insight Edge データサイエンティストの角田です。今回は、LLMを評価者として使う「LLM-as-a-Judge」の決定性について、手元の実験で検証した内容を共有します。 背景 実験設計 評価対象 評価モデルと回答生成モデルの分離 評価プロンプト 制御条件 結果 同一スコアの出現率 考察 gemini-2.5-proが揺れた原因 gemini-3-pro-previewが安定した理由 補足：thinking_levelによるスコア差 まとめ 背景 LLM-as-a-Judgeとは、LLMを評価者として用い、生成された回答の品質を判定させる手法です。近年の大規模言語モデルの…

#生成 AI#LLM#大規模言語モデル#LLM-as-a-Judge#gemini
techtekt（テックテクト） | パーソルキャリアのエンジニアブログ•6ヶ月前

LLM出力をどう評価するか？LLM-as-a-Judgeを使った実運用の話 #PERSOL CAREER Advent Calendar2025

サービスへのLLMの組み込みと課題 評価方法の検討 評価ツールの選定 & 採用した構成 LLM入出力の保存方法 実際の評価方法について 評価結果を使った改善 こんにちは。 HR forecasterでエンジニアをしている鈴木です。 アドベントカレンダー14日目の記事では、最近実装した大規模言語モデル（LLM）を用いた機能と、これによる生成結果をLLM自身で評価するLLM-as-a-Judgeの取り組みについて紹介します。 サービスへのLLMの組み込みと課題 2025年10月に、HR forecasterに「求人票AIアドバイザー」という機能をリリースしました。 この機能は、求人情報（求人票の職…

#パーソルキャリア#techtekt#LLM#LLM-as-a-Judge#アドベントカレンダー
JMDC TECH BLOG•6ヶ月前

LLM-as-a-Judgeを実際に利用して見えてきた課題と対策について

こんにちは、株式会社JMDC デジタル＆データ新規事業本部の渡辺です。 今年、JMDCではアドベントカレンダーに参加しています。 qiita.com 本記事は、JMDC Advent Calendar 2025 8日目の記事です。 LLM-as-a-Judgeとは？ ChatGPTが登場してからちょうど3年が経過しましたが、依然として「生成AI」はホットトピックと言っても過言ではありません。 実際、毎月のように何かしら大きな話題が上がっており、OpenAI, Anthropic, Googleといった主要3社もリリースやアップデートを現在も繰り返しています。 そのたびに、ユーザからは「賢くなっ…

#LLM-as-a-Judge#生成AI#LLM#AI評価
NTT WEST Engineers' Blog•7ヶ月前

AI評価の新しい可能性：LLM-as-a-Judgeを検証してみた

1.はじめに 本記事では、LLM-as-a-Judge（AIによる要約評価手法）を紹介し、検証結果を共有します。 対象読者：AI活用や自然言語処理、要約評価に関心のある方 1.はじめに 2.背景・目的：LLMによる要約評価の課題と改善の可能性 3.評価手法の解説：BLEU/ROUGEとLLM-as-a-Judgeの違い BLEU/ROUGE（単語一致ベース） LLM-as-a-Judge（意味理解ベース） 4.検証の概要：LLMモデルと要約評価の実験条件 5.評価算定方法：LLM-as-a-Judgeによるスコアリング手法 評価指標 評価スコア 6.検証結果と考察：AI評価の精度比較 評価の平…

#AI#生成AI#LLM#自動評価#AIエンジニア#AI評価#LLM-as-a-Judge#要約評価#AI活用#自然言語処理
every Tech Blog•10ヶ月前

デリッシュAIの評価基盤を改善した話

デリッシュAIの評価基盤を改善した話 はじめに こんにちは、デリッシュキッチンでインターンをしている村上です。本記事では、料理アシスタント「デリッシュAI」の評価基盤を改善し、より多角的な性能評価を可能にした取り組みについて紹介します。 背景 デリッシュAIは、ユーザーのクエリに応じてチャット形式でレシピを提案する料理アシスタントです。AIモデルはDatabricks上で動作し、評価にはMLflowのAgent Evaluationを利用しています。 docs.databricks.com 従来の評価基盤では、AIが生成するコメントの安全性や正確性といった限定的な側面に留まっていました。これに…

#LLM#Databricks#LLM-as-a-Judge#mlflow#2025_summer_internship
every Tech Blog•1年前

Databricks Asset Bundlesを活用したAIプロダクトのCI/CDパイプライン

こんにちは。 開発本部のデータ&AIチームでデータサイエンティストをしている古濵です。 最近はAIプロダクト開発をメインで担当しています。 今回は、Databricks Asset Bundlesを活用して、AIプロダクト開発向けにCI/CDパイプラインを整備した内容をまとめます。 Databricks Asset Bundlesとは Databricks Asset Bundlesは、データやAIプロジェクトでソフトウェア開発におけるソース管理、コードレビュー、テスト、CI/CDなどを導入しやすくするツールです。 簡単に言えば、Databricksの各種リソースをInfrastructure…

#LLM-as-a-Judge#Databricks#mlflow#CI/CDパイプライン
techtekt（テックテクト） | パーソルキャリアのエンジニアブログ•1年前

生成AIアプリケーション開発における最適な開発スタイルの考察

はじめに 生成AI技術の進化に伴い、企業が生成AIアプリケーションの開発に挑戦する機会が増えています。しかし、従来のソフトウェア開発手法では、生成AI特有の課題に十分に対応しきれない場面も多く見られます。モデルの予測不能な挙動やUX設計上の不確実性が高いため、柔軟性のある開発スタイルが求められます。 本記事では、私たちのチームが実践しているアプローチを踏まえつつ、生成AIアプリケーション開発においてどのような開発スタイルが最適なのかを考察していきます。 はじめに 結論 開発手法の選択と課題 ウォーターフォール開発の限界 アジャイル開発の有効性 実践的なアプローチと体制づくり 効率的なミーティン…

#パーソルキャリア#techtekt#エンジニア#生成AIアプリケーション開発#開発スタイル#ハルシネーション対策#プロトタイプ駆動開発#LLM-as-a-Judge#アジャイル開発
techtekt（テックテクト） | パーソルキャリアのエンジニアブログ•2年前

社内向け生成AIチャットサービス：社内文書検索機能の正式版リリースとLLM-as-a-Judge導入に向けた改善の取り組み

はじめに 現代企業の中で、業務効率向上のためには、膨大な社内情報を効率的に管理し、迅速にアクセスする能力が必要です。特に、ExcelやPowerPointのような非構造化データを含む社内文書の検索は、知識管理の重要な課題となっています。弊社では、この課題に対応するため、 社内向け生成AIチャットサービス に RAG（Retrieval-Augmented Generation） の仕組みを導入し、社内文書から自動的に回答を生成する機能を実装しました。 このサービスは、2024年3月に ベータ版をリリース し、約半年後の 9月には正式版 をリリースして、検索精度や対応する文書範囲を大幅に改善しま…

#パーソルキャリア#エンジニア#techtekt#生成AI#Retrieval-Augmented Generation#LLM-as-a-Judge#生成AIチャットサービス