AzureOpenAI

Azure OpenAI ServiceでGPT-4o miniのサポートが始まりましたので、GPT-4oとの料金の違い等について記載します。 GPT-4o miniとは 料金 デプロイ 速度比較 モデル比較 指標 テスト項目と結果 箱ひげ図 まとめ GPT-4o miniとは Microsoftのドキュメントでは「低価格かつ高速のモデル」と紹介されています。 GPT-4o mini は、お客様が驚くべき速度と低コストで素晴らしいアプリケーションを提供することを可能にします。 GPT-4o mini は、Massive Multitask Language Understanding (MML…

Azure OpenAI Serviceを使う上でレスポンスの問題に直面することが多々あるかと思います。 レスポンスの問題解決の1つとしてプロビジョニング済み（PTU）というサービスがありますので、こちらの紹介をさせていただきます。 概要 Azure OpenAI Serviceのデプロイのタイプ プロビジョニング済みとは モデルのデプロイ 割り当ての確認 コミットメントの購入 モデルのデプロイ デプロイの確認 ベンチマークでの比較 モデル比較 指標 テスト項目と結果 箱ひげ図 まとめ 概要 Azure OpenAI Serviceではいくつかのモデルのデプロイ方法が用意されており、プロビジョ…

はじめに 本記事では、Azure環境で、社内文書から情報を抽出し、ユーザーの質問に対する回答を生成する機能を開発した件についてお話しします。 以前以下の記事でリリース当初の話を記載しているので興味のある方はご覧ください。 Azure OpenAI Serviceで社内版ChatGPTのChatPCAを構築した話 目次 リリースの背景 結論 概要の説明 取り組んだこと 今後の課題 まとめ 注釈 リリースの背景 弊社では兼ねてより社内イントラ用のボットサービスが利用されていました。 ただ、こちらはルールベースで読み込ませた定型の資料内容以外のことには回答ができないものとなっていました。 そのため、…

タイトル通りですが、LlamaIndexのバージョン更新が早くて2024年1月時点の最新バージョンでの日本語記事がなかなか見つからなかったので、公式ドキュメントを参考に実装した内容をこちらに載せようと思います。 簡単な用語説明 実行環境 実装 参考 簡単な用語説明 LlamaIndex: LLMアプリの構築を支援するデータフレームワークです。今回はRAG(後述)を実装するために使用しています github.com Azure OpenAI: 正式名称はAzure OpenAI Serviceで、OpenAIのモデルをAzureを通して利用できるサービスです。OpenAIのLLMをpythonで…

データインテリジェンスチームの畑です。 こちらの記事は「Promptflow使って文書検索の仕組みを作ってみた！」の第二弾です。 独自の文書から質問・回答する仕組みをAzure Machine Learning Studioに追加されたPromptflowを使って実装します。 ----------------------------------------------------------------------------- 第一弾：Promptflowを使うための準備編 第二弾：独自データを使ったQ&Aのフロー作成編 第三弾：質問・回答の精度向上＆エンドポイントへのデプロイ編 -----…

Azure OpenAI Serviceで新しくなったコンテンツフィルターとブロックリストについて試してみました。 特に、新しいコンテンツフィルターのJailbreak risk detectionは、プロンプトインジェクションへの対策でも活用できると思います。 概要 コンテンツフィルターの機能概要 ブロックリストの機能概要 Jailbreak risk detection（脱獄リスク検出）の使い方 コンテンツフィルターの作成 コンテンツフィルターをモデルに適用する Jailbreak risk detectionのテスト 通常のフィルターでのテスト Jailbreak risk detect…

データインテリジェンスチームの畑です。 今回のブログテーマは「Promptflowを使ってQ&Aの仕組みを作ってみた！」です。 独自の文書から質問・回答する仕組みをAzure Machine Learningに追加されたPromptflowを使って実装してみます。 本記事は連載記事です。 ----------------------------------------------------------------------------- 第一弾：Promptflowを使うための準備編 第二弾：独自データを使ったQ&Aのフロー作成編 第三弾：質問・回答の精度向上＆エンドポイントへのデプロイ編…