Langfuse

1. はじめに LLMアプリケーションを開発・運用していると、ぶつかりがちな壁があります。「なぜこの出力になったのか分からず改善が進まない」「プロンプトやモデルを変更したいけれど影響範囲が読めない」などです。私たちテックドクターでは、こうした課題に対して、LLMアプリケーションのオブザーバビリティ・評価プラットフォームであるLangfuseを使うことで対処しています。この記事では、弊社のヘルスケアアプリケーション開発の実例を交えながら、トレースによる挙動の可視化、プロンプトの一元管理、データセットの構築、そして簡易的なプロンプト評価（Prompt Experiments）の実行まで、Langf…

はじめに：AI開発特有の「評価の難しさ」とボトルネック こんにちは。レバレジーズでエンジニアをしている安藤です。 最近は主に、LLMを組み込んだプロダクトの品質管理（QAや自動評価基盤の構築）に注力しています。 LLMを組み込んだシステムの品質管理は、従来のWebアプリケーション開発とは異なる、非常に厄介な課題を抱えています。 最大の壁となるのは、「LLMの非決定性」と「自然言語の多義性」です。 従来のシステムであれば、「Aという入力には必ずBが返る」という決定論的なテストコードを書くことができました。 しかしLLMの場合、同じプロンプトでも毎回出力が揺らぐ「非決定性」を持っています。 さらに…

はじめに こんにちは！ エンジニア３年目のTKDSです！ 今回はLLMアプリケーション開発におけるプロンプトの取得と管理について書きました。 LLMを利用したアプリケーションのプロンプト管理は多くの方が悩んでる問題だと思います。 そこで、開発中や運用時に重要となるプロンプト配信の可用性、プロンプト切り替えのしやすさ、何が今動いているか把握のしやすさの観点などから管理方法と取得方法を整理してみたいと思います。 個人の意見ですので異論は認めます。 はじめに プロンプトの管理方法 管理方法 プロンプトの取得方法 取得方法 管理方法x取得方法の組み合わせ 組み合わせの上で考えること 組み合わせ例 まと…

「OpenAIのAPI？ ああ、ドキュメント読みました。リクエスト投げるだけですよね？ 3日あれば余裕で実装できますよ」 数年前、プロジェクトマネージャー（PM）に対して自信満々にそう答えた自分を、今すぐタイムマシンに乗って殴りに行きたいです。 こんにちは。長年Web開発の現場で泥にまみれ、最近は生成AI案件の荒波に揉まれているエンジニアです。 今日は、AIアプリ開発を「ただのAPI連携」だと舐めてかかっていた私が、「プロンプトの直書き」によってどのような地獄を見ることになったのか、そしてどうやってそこから生還したのかを、懺悔の気持ちを込めてお話しします。 「とりあえず動けばいいじゃん」と思っ…

この記事はノバセル テクノ場 出張版2025 Advent Calendar 2025の22日目の記事です。 目次 目次 はじめに Notion運用で直面した課題 課題：DifyとNotionのプロンプト二重管理 理想の状態 1. Langfuse上でのプロンプト管理の仕組み バージョン管理の仕組み ラベルによる環境管理 Config設定 2. Langfuse上でのプロンプト評価の仕組み Scoreによる評価管理 Human Annotation（人間による評価） LLM-as-a-Judge（自動評価） 3. アプリケーションからのプロンプト利用方法 Python SDKでの取得 変数の展…

(この記事は心のこもった手書きでお届けしております) @kuといいます。 10月に放送された「ガイアの夜明け」で紹介された、タクシーに乗りたいお客さまからの電話を受けて指定場所に迎車するLLMプロダクトmaido(Mobility AI Dispatch Operator)の開発に携わっています。 この記事ではmaidoで行っているLangfuseとDSPyを使ってプロンプトを定量的に改善していく仕組みをご紹介します。 Langfuseとは Langfuseは、LLMアプリケーションのobservabilityを確保するツールです。電話ごとのセッションや、トレース単位でLLM呼び出しの入出力、…

本記事では、LayerXのバクラクAIエージェント開発における、Langfuseを活用したAIエージェント機能の性能評価と実験管理の取り組みを紹介します。バクラクはバックオフィスに特化したAIエージェントで、日常業務の中に自然にAIを溶け込ませる体験を提供しています。 bakuraku.jp こちらは LayerX AI Agent ブログリレー 30日目の記事です。前回はバクラク事業部のAI・機械学習部でインターンをしてくださっていた @ProgressSemi による 『コーディングエージェントのための情報検索システムの最前線』 でした。今回はバクラク事業部 機械学習エンジニアの松村（@y…