Hatena Blog Tags
はてなブログ トップ
Langfuse
このタグでブログを書く
言葉の解説
ネットで話題
関連ブログ

Langfuse

このタグの解説についてこの解説文は、すでに終了したサービス「はてなキーワード」内で有志のユーザーが作成・編集した内容に基づいています。その正確性や網羅性をはてなが保証するものではありません。問題のある記述を発見した場合には、お問い合わせフォームよりご連絡ください。
bati11 の 日記•2ヶ月前

書籍『LangChainとLangGraphによるRAG・AIエージェント』をローカルで進める その2：LangfuseのPromptsとTracing

前回の記事で、LM Studioを利用してローカルでRAGを試してみました。 今回は、書籍でLangSmithが使われている部分について、ここもローカルで済ませるためにオープンソースのLangfuseとRAG評価フレームワークのRagasを組み合わせてみます。 LangChainとLangGraphによるRAG・AIエージェント［実践］入門 エンジニア選書作者:西見 公宏,吉田 真吾,大嶋 勇樹技術評論社Amazon LangSmithについて「書籍：LangChainとLangGraphによるRAG・AIエージェント 7.2 LangSmithの概要」には以下のように書いてあります。 Lan…

#Langfuse

関連ブログ

APC 技術ブログ•5ヶ月前

さくらのAI EngineをLangfuse Cloudで可視化・評価設定してみた

こんにちは。クラウド事業部の遠見です。 本記事は、「さくらのAI Engine」をLangfuse Cloudで可視化・評価設定する検証を実施したエンジニアが、内容をできる限り客観的に共有することを目的に作成しました。 前回の記事では、さくらのAI Engineをさくらのクラウド上にセルフホストしたLangfuseで可視化する構成を検証しました。 techblog.ap-com.co.jp 今回は3つのテーマを組み合わせて検証します。 1つ目は、Langfuse Cloud Japanです。 2026年4月27日、Langfuse Cloudが東京リージョンでのマネージドサービスを開始しました…

#さくらのクラウド#さくらのAI Engine#Langfuse#LLM Observability
APC 技術ブログ•5ヶ月前

さくらのAI EngineをLangfuseで可視化してみた

こんにちは。クラウド事業部の遠見です。 本記事は、「さくらのAI Engine」をOSSのLLM ObservabilityツールであるLangfuseで可視化する検証を実施したエンジニアが、内容をできる限り客観的に共有することを目的に作成しました。 本記事内の見解は執筆者個人のものであり、所属組織を代表するものではありません。 前回の記事では、さくらのAI EngineとDatadogのLLM Observabilityを組み合わせた構成を検証しました。 techblog.ap-com.co.jp 今回は、OSSのLLM ObservabilityツールであるLangfuseをさくらのクラウ…

#さくらのクラウド#さくらのAI Engine#Langfuse#LLM Observability
TechDoctor開発者Blog•6ヶ月前

LLMアプリケーションを改善したければLangfuseを使ってみてほしい～トレース確認からプロンプトの評価までの流れ

1. はじめに LLMアプリケーションを開発・運用していると、ぶつかりがちな壁があります。「なぜこの出力になったのか分からず改善が進まない」「プロンプトやモデルを変更したいけれど影響範囲が読めない」などです。私たちテックドクターでは、こうした課題に対して、LLMアプリケーションのオブザーバビリティ・評価プラットフォームであるLangfuseを使うことで対処しています。この記事では、弊社のヘルスケアアプリケーション開発の実例を交えながら、トレースによる挙動の可視化、プロンプトの一元管理、データセットの構築、そして簡易的なプロンプト評価（Prompt Experiments）の実行まで、Langf…

#Langfuse#LLM#AIアプリ開発
レバレジーズ データAIブログ•7ヶ月前

GitHub ActionsとLangfuseで作る、LLMのオンデマンド自動評価基盤

はじめに：AI開発特有の「評価の難しさ」とボトルネック こんにちは。レバレジーズでエンジニアをしている安藤です。 最近は主に、LLMを組み込んだプロダクトの品質管理（QAや自動評価基盤の構築）に注力しています。 LLMを組み込んだシステムの品質管理は、従来のWebアプリケーション開発とは異なる、非常に厄介な課題を抱えています。 最大の壁となるのは、「LLMの非決定性」と「自然言語の多義性」です。 従来のシステムであれば、「Aという入力には必ずBが返る」という決定論的なテストコードを書くことができました。 しかしLLMの場合、同じプロンプトでも毎回出力が揺らぐ「非決定性」を持っています。 さらに…

#GitHub Actions#Langfuse#オンデマンド#AI
RAKUS Developers Blog | ラクス エンジニアブログ•8ヶ月前

LLMアプリケーション開発におけるプロンプトの取得と管理

はじめに こんにちは！ エンジニア３年目のTKDSです！ 今回はLLMアプリケーション開発におけるプロンプトの取得と管理について書きました。 LLMを利用したアプリケーションのプロンプト管理は多くの方が悩んでる問題だと思います。 そこで、開発中や運用時に重要となるプロンプト配信の可用性、プロンプト切り替えのしやすさ、何が今動いているか把握のしやすさの観点などから管理方法と取得方法を整理してみたいと思います。 個人の意見ですので異論は認めます。 はじめに プロンプトの管理方法 管理方法 プロンプトの取得方法 取得方法 管理方法x取得方法の組み合わせ 組み合わせの上で考えること 組み合わせ例 まと…

#LLM#プロンプト管理#DevOps#Langfuse
Techvenience•9ヶ月前

AIエージェント開発 - テスト

転職先で扱うであろうAIエージェントを作ってみている。 Langfuseにトレース飛ばすところまではやった。 でもないが何だかわかっておらん。 ありがとうClaudeCodeくん（真面目にやらないとだめだけど、概要掴まないと話にならない）

#AIエージェント#Langfuse
RAKSUL TechBlog•9ヶ月前

LangfuseによるPromptOpsの実践[入門編]

この記事はノバセル テクノ場 出張版2025 Advent Calendar 2025の22日目の記事です。 目次 目次 はじめに Notion運用で直面した課題 課題：DifyとNotionのプロンプト二重管理 理想の状態 1. Langfuse上でのプロンプト管理の仕組み バージョン管理の仕組み ラベルによる環境管理 Config設定 2. Langfuse上でのプロンプト評価の仕組み Scoreによる評価管理 Human Annotation（人間による評価） LLM-as-a-Judge（自動評価） 3. アプリケーションからのプロンプト利用方法 Python SDKでの取得 変数の展…

#生成 AI#Langfuse#prompt#prompt flow#Promptflow
newmo 技術ブログ•10ヶ月前

LangfuseとDSPyを使った定量的なプロンプト評価と改善の仕組み

(この記事は心のこもった手書きでお届けしております) @kuといいます。 10月に放送された「ガイアの夜明け」で紹介された、タクシーに乗りたいお客さまからの電話を受けて指定場所に迎車するLLMプロダクトmaido(Mobility AI Dispatch Operator)の開発に携わっています。 この記事ではmaidoで行っているLangfuseとDSPyを使ってプロンプトを定量的に改善していく仕組みをご紹介します。 Langfuseとは Langfuseは、LLMアプリケーションのobservabilityを確保するツールです。電話ごとのセッションや、トレース単位でLLM呼び出しの入出力、…

#Prompt Engineering#LLM#Langfuse#DSPy