Hatena Blog Tags
はてなブログ トップ
LLM-as-a-Judge
このタグでブログを書く
言葉の解説
ネットで話題
関連ブログ

LLM-as-a-Judge

このタグの解説についてこの解説文は、すでに終了したサービス「はてなキーワード」内で有志のユーザーが作成・編集した内容に基づいています。その正確性や網羅性をはてなが保証するものではありません。問題のある記述を発見した場合には、お問い合わせフォームよりご連絡ください。
every Tech Blog•5ヶ月前

Databricks Asset Bundlesを活用したAIプロダクトのCI/CDパイプライン

こんにちは。 開発本部のデータ&AIチームでデータサイエンティストをしている古濵です。 最近はAIプロダクト開発をメインで担当しています。 今回は、Databricks Asset Bundlesを活用して、AIプロダクト開発向けにCI/CDパイプラインを整備した内容をまとめます。 Databricks Asset Bundlesとは Databricks Asset Bundlesは、データやAIプロジェクトでソフトウェア開発におけるソース管理、コードレビュー、テスト、CI/CDなどを導入しやすくするツールです。 簡単に言えば、Databricksの各種リソースをInfrastructure…

#LLM-as-a-Judge#Databricks#mlflow#CI/CDパイプライン

関連ブログ

techtekt•5ヶ月前

生成AIアプリケーション開発における最適な開発スタイルの考察

はじめに 生成AI技術の進化に伴い、企業が生成AIアプリケーションの開発に挑戦する機会が増えています。しかし、従来のソフトウェア開発手法では、生成AI特有の課題に十分に対応しきれない場面も多く見られます。モデルの予測不能な挙動やUX設計上の不確実性が高いため、柔軟性のある開発スタイルが求められます。 本記事では、私たちのチームが実践しているアプローチを踏まえつつ、生成AIアプリケーション開発においてどのような開発スタイルが最適なのかを考察していきます。 はじめに 結論 開発手法の選択と課題 ウォーターフォール開発の限界 アジャイル開発の有効性 実践的なアプローチと体制づくり 効率的なミーティン…

#パーソルキャリア#techtekt#エンジニア#生成AIアプリケーション開発#開発スタイル#ハルシネーション対策#プロトタイプ駆動開発#LLM-as-a-Judge#アジャイル開発
techtekt•8ヶ月前

社内向け生成AIチャットサービス：社内文書検索機能の正式版リリースとLLM-as-a-Judge導入に向けた改善の取り組み

はじめに 現代企業の中で、業務効率向上のためには、膨大な社内情報を効率的に管理し、迅速にアクセスする能力が必要です。特に、ExcelやPowerPointのような非構造化データを含む社内文書の検索は、知識管理の重要な課題となっています。弊社では、この課題に対応するため、 社内向け生成AIチャットサービス に RAG（Retrieval-Augmented Generation） の仕組みを導入し、社内文書から自動的に回答を生成する機能を実装しました。 このサービスは、2024年3月に ベータ版をリリース し、約半年後の 9月には正式版 をリリースして、検索精度や対応する文書範囲を大幅に改善しま…

#パーソルキャリア#エンジニア#techtekt#生成AI#Retrieval-Augmented Generation#LLM-as-a-Judge#生成AIチャットサービス
nikkie-ftnextの日記•1年前

MLflow素振りの記：2.8からサポートされたLLM-as-a-Judgeを触る

はじめに あらたなユーフォニアム...！！ nikkieです。 MLflowを触ってみました。 なんでもLLM-as-a-Judgeができると聞きまして 目次 はじめに 目次 「静的データセットで評価する」のコードを動かしてみる MLflow 2.8 リリースブログより 動作環境 & スクリプト 評価結果を確認 MLflowは裏で一体何をしたのか 終わりに P.S. MLflowに興味を持ったきっかけは 「静的データセットで評価する」のコードを動かしてみる 検索して見つけたドキュメントに沿って手を動かします。 https://docs.databricks.com/ja/mlflow/llm-…

#mlflow#評価#evaluation#LLM-as-a-Judge
nikkie-ftnextの日記•1年前

rasbtさんにならって、MacBook上でLlama 3を動かしてLLMの出力を評価させてみる

我が機械学習のヨーダ、rasbt氏1が興味深いことをやっていたのでパクってみます Was toying around with LLM model eval that run well on a laptop. Turns out Llama 3 8B Instruct is a pretty good evaluator that runs on a MacBook Air. I got a pretty high 0.8 correlation with GPT-4 scores.Standalone notebook here if you want to give it a try:……

#ollama#Llama 3#LLM-as-a-Judge#openai-python