トレーシング

こんにちは。R&Dを担当している浅野です。 ユニファではマルチモーダルLLMを活用したアプリ開発を積極的に行っています。LLMを一度callして終わりではなく、複数のステップを直列や並列で組み合わせて処理を行う場合や、LLMに処理ステップから考えさせる場合は、最終のアウトプットだけでなく中間ステップの内容を確認することが重要です。通常のWebアプリ用のロギングツールを使ってそれを行うことも可能ですが、LLMアプリに特化したサービスを使うと、LLM callのLatency、消費トークン、コストなども把握できますし、プロンプト管理や評価機能がついているものもあり、かなり便利です。 私たちのチーム…