Hatena Blog Tags
はてなブログ トップ
LLMOps
このタグでブログを書く
言葉の解説
ネットで話題
関連ブログ

LLMOps

このタグの解説についてこの解説文は、すでに終了したサービス「はてなキーワード」内で有志のユーザーが作成・編集した内容に基づいています。その正確性や網羅性をはてなが保証するものではありません。問題のある記述を発見した場合には、お問い合わせフォームよりご連絡ください。
Techvenience•1ヶ月前

プロンプトをコードに直書きして、私が地獄を見た話（と、そこからの生還）

「OpenAIのAPI？ ああ、ドキュメント読みました。リクエスト投げるだけですよね？ 3日あれば余裕で実装できますよ」 数年前、プロジェクトマネージャー（PM）に対して自信満々にそう答えた自分を、今すぐタイムマシンに乗って殴りに行きたいです。 こんにちは。長年Web開発の現場で泥にまみれ、最近は生成AI案件の荒波に揉まれているエンジニアです。 今日は、AIアプリ開発を「ただのAPI連携」だと舐めてかかっていた私が、「プロンプトの直書き」によってどのような地獄を見ることになったのか、そしてどうやってそこから生還したのかを、懺悔の気持ちを込めてお話しします。 「とりあえず動けばいいじゃん」と思っ…

#LLM#Langfuse#LLMOps#疎結合#クリーンアーキテクチャ

関連ブログ

Techvenience•2ヶ月前

個人開発のAIアプリが「作って終わり」になるのを防ぐために、私が導入した "計測" の仕組み

個人開発のAIアプリが「作って終わり」になるのを防ぐために、私が導入した "計測" の仕組み 今日は、個人開発をしている多くのエンジニアが一度は経験するであろう「あの虚無感」と、そこから脱出するための「武器」についてお話ししたいと思います。 導入：あなたのAIアプリ、感想は「すごいね」で終わっていませんか？ GeminiやOpenAIのAPIを使えば、今や誰でも数時間でチャットボットやAIアプリが作れる時代になりました。 週末にコーヒーを飲みながら、StreamlitでサクッとAIアプリを作る。「お、動いた！賢い！」と感動する。 そして、意気揚々とX（Twitter）に投稿したり、友人にURL…

#gemini#Langfuse#Streamlit#LLMOps
Techvenience•2ヶ月前

Pythonで「記憶を持った」CLIチャットボットを作るまでの1週間【GenAIOpsロードマップ Week 1】

はじめに (Introduction) 長年、TypeScript (Node.js/React) を中心にWeb開発をしてきたフルスタックエンジニアの私が、2026年に向けて新たな領域へキャリアの舵を切ることにしました。 その行き先は、「GenAIOps (Generative AI Operations)」 です。 「ChatGPT APIを使えば、誰でも簡単にAIアプリが作れる」と言われる昨今ですが、それを「業務レベル」で安定稼働させるとなると、話は全く別です。 ハルシネーション（嘘）の制御、トークンコストの管理、レスポンス速度の最適化……。これら「非機能要件」の壁を乗り越え、AIをシス…

#LLM#LLMOps#GenAIOps#チャットボット#Python
CARTA TECH BLOG•2ヶ月前

CARTA HD、ファインディ株式会社主催「AI Engineering Summit Tokyo 2025」にシルバースポンサー協賛・ブース出展

株式会社CARTA HOLDINGS(東京都港区、代表取締役社長 執行役員：渡邉 英樹、代表取締役副社長 執行役員：髙橋 学)は、2025年12月16日（火）に開催されるファインディ株式会社主催「AI Engineering Summit Tokyo 2025」にシルバ－スポンサーとして協賛しブースを出展するとともに、事業横断AIエンジニアリング組織「CARTA Generative AI Lab」のリーダーを務める海老原 昂輔がスポンサーセッションに登壇することをお知らせします。 ブースでは、当社のAIエンジニアリングの実践内容を具体的にご紹介します。スポンサーセッションでは「CARTAのA…

#CARTA HOLDINGS#CARTA Generative AI Lab#AI#LLM#LLMOps
newmo 技術ブログ•2ヶ月前

音声AI Agentの評価・テスト基盤を支えるUserSimulatorの実装

newmoではタクシーの音声配車AIエージェントの「Maido」を開発しています。前回の記事では、LLM評価フレームワークのDeepEvalを用いたMaidoの会話評価基盤について紹介しました。 この記事では、その基盤を支えるもう一つの主役である「UserSimulator」の実装にフォーカスして、詳細を解説します。 なぜSimulatorが必要か MaidoのようなMulti-AgentなアーキテクチャのLLM Agentを開発・運用する上で、Agentの評価は不可欠です。 Simulatorが存在しない状態でAgentの評価を行う場合、初歩的な例ではAgentとユーザーのやり取りを「Age…

#LLM#AI Agent#LLMOps#simulator
CARTA TECH BLOG•2ヶ月前

CARTA HD、U35限定テックカンファレンス「CoLab Conf（コラコン）」に Generative AI Labの松本翔太が登壇

～プラチナスポンサーとして協賛する本カンファレンスにて、事業実装AIエンジニアリングの事例を紹介～ 株式会社CARTA HOLDINGS(東京都港区、代表取締役 社長執行役員：宇佐美 進典)は、2025年12月13日（土）に虎ノ門ヒルズステーションタワーにて開催される、U35限定テックカンファレンス「CoLab Conf（コラコン）」にプラチナスポンサーとして協賛し、事業横断AIエンジニアリング組織「CARTA Generative AI Lab」に所属する松本翔太が登壇することをお知らせします。 松本は「PoC→事業実装へ。AI CoEが挑むLLM Ops」と題し、広告クリエイティブ判定の事…

#CARTA HOLDINGS#サポーターズColab#Colab Conf#LLM#LLMOps
newmo 技術ブログ•3ヶ月前

Google ADK × DeepEvalで構築する音声AI Agentの会話評価基盤

newmoでは、GoogleのAgent Development Kit（ADK）を用いて音声配車AIエージェント「Maido」を開発しています。 これは従来オペレーターが電話で行っていた配車を、音声対話で自動化する取り組みです。Maidoについては以下のnoteで詳しく解説しているので、ぜひ併せてご覧ください。 note.com 本記事では、Maidoとユーザーの会話評価を自動化するために構築した「Conversational Evaluation」基盤の仕組みと運用について紹介します。 Agentのアーキテクチャ 評価の仕組みを説明する前に、Maidoのアーキテクチャを簡単に紹介します。 …

#LLM#AI Agent#LLMOps#Python#DeepEval
LayerX エンジニアブログ•4ヶ月前

Langfuse の Experiment Runner SDK を利用した AIエージェント機能の性能評価と実験管理

本記事では、LayerXのバクラクAIエージェント開発における、Langfuseを活用したAIエージェント機能の性能評価と実験管理の取り組みを紹介します。バクラクはバックオフィスに特化したAIエージェントで、日常業務の中に自然にAIを溶け込ませる体験を提供しています。 bakuraku.jp こちらは LayerX AI Agent ブログリレー 30日目の記事です。前回はバクラク事業部のAI・機械学習部でインターンをしてくださっていた @ProgressSemi による 『コーディングエージェントのための情報検索システムの最前線』 でした。今回はバクラク事業部 機械学習エンジニアの松村（@y…

#AI#AIエージェント#LLM#Langfuse#LLMOps
Lifematics Corporate Blog•4ヶ月前

Microsoft Copilot Studio でLLMOpsを行うための第一歩！

Microsoft Copilot Studio でLLMOpsを行うための第一歩！ はじめに Lifematicsのイノベーションチームの松本です。 前回のCopilot Studioに関する記事では、Copilot Studioを利用して社内情報を参照したチャットボットを構築する方法を紹介しました。 しかしチャットボットを始めとしたAIエージェントの運用においては、構築するだけではなく継続的な品質管理が重要です。Copilot StudioではGUIで簡単にAIエージェントの構築を行うことができるのが強みですが、2025年10月現在、回答精度の評価機能にはAzure AI Foundryと…

#Copilot Studio#LLMOps#Python#LLM#Microsoft365
AKARI Tech Blog•6ヶ月前

LLMOpsツール比較：Weave vs Langfuse ― 導入のしやすさと実装の違いを探る

みなさん、こんにちは。今回の AKARI Tech Blog は、DX Solution 事業本部 VPoE の丸尾が担当します。 みなさん、LLMOpsやっていますか？LLMOps という言葉を初めて聞いた方でも、プロンプトエンジニアリングは耳にしたことがある方も多いのではないでしょうか。 LLMOps とはトレース・コスト監視・プロンプトエンジニアリング・実験管理・評価などの、LLMをアプリケーションで運用するための概念で、ここ最近のLLMの急激な普及に伴いLLMを包括的に管理するために求められてきました。 燈でも LLM を活用したサービス開発が進み、ユーザー数の増加に伴って LLMOp…

#AI#機械学習#LLM#LLMOps#アプリケーション開発