AzureOpenAI

はじめに こんにちは、BBSakura Networks株式会社(以降BBSakura)にてOCXのクラウド直接接続サービスの運用を担当している太田と申します。 このブログシリーズでは、OCXを用いた閉域網でAzure OpenAI Service(以降OpenAI Service)を利用する構成例を3回にわたってご紹介します。 Azure OpenAI Service | Microsoft Azure 第1部となる本記事では、OpenAI Serviceの基本的な使い方を体験するため、まずはインターネット経由でOpenAI Serviceを利用し、Webアプリケーションと連携させる手順をご…

最近プレビューになった「Azure OpenAI の保存された入力候補および蒸留」について試してみたので使い方を紹介したいと思います。 learn.microsoft.com 概要 蒸留とは 注意事項 利用可能なAPIとリージョンとモデル 権限 その他 使ってみる サンプルコードの実行 Azure AI Foundryでの確認 蒸留用のデータを作成 蒸留 モデルのデプロイ モデルのテスト まとめ 概要 この機能は、Azure OpenAI Service(以下AOAI）でオプションを有効にすると、プロンプトやコンプリッションなどが保存できるというものです。 保存したプロンプトやコンプリッション…

あけましておめでとうございます。 データサイエンスグループの木下です。 今回は、Scikit-LLMというライブラリを紹介いたします。 Scikit-LLMとは skllm.beastbyte.ai Scikit-LLMとは、LLMをScikit-Learnのように扱うことができるライブラリです。 Scikit-LearnユーザーになじみやすいAPI設計になっており、学習コストが低いのが特徴です。 上記のドキュメントによると、主なタスクは Text-Classification 指定したラベルで文章分類ができます。 Zero-shotとFew-Shot、CoT(Chain of Thought…

Azure OpenAI ServiceでGPT-4o miniのサポートが始まりましたので、GPT-4oとの料金の違い等について記載します。 GPT-4o miniとは 料金 デプロイ 速度比較 モデル比較 指標 テスト項目と結果 箱ひげ図 まとめ GPT-4o miniとは Microsoftのドキュメントでは「低価格かつ高速のモデル」と紹介されています。 GPT-4o mini は、お客様が驚くべき速度と低コストで素晴らしいアプリケーションを提供することを可能にします。 GPT-4o mini は、Massive Multitask Language Understanding (MML…

はじめに 本記事では、Azure環境で、社内文書から情報を抽出し、ユーザーの質問に対する回答を生成する機能を開発した件についてお話しします。 以前以下の記事でリリース当初の話を記載しているので興味のある方はご覧ください。 Azure OpenAI Serviceで社内版ChatGPTのChatPCAを構築した話 目次 リリースの背景 結論 概要の説明 取り組んだこと 今後の課題 まとめ 注釈 リリースの背景 弊社では兼ねてより社内イントラ用のボットサービスが利用されていました。 ただ、こちらはルールベースで読み込ませた定型の資料内容以外のことには回答ができないものとなっていました。 そのため、…

タイトル通りですが、LlamaIndexのバージョン更新が早くて2024年1月時点の最新バージョンでの日本語記事がなかなか見つからなかったので、公式ドキュメントを参考に実装した内容をこちらに載せようと思います。 簡単な用語説明 実行環境 実装 参考 簡単な用語説明 LlamaIndex: LLMアプリの構築を支援するデータフレームワークです。今回はRAG(後述)を実装するために使用しています github.com Azure OpenAI: 正式名称はAzure OpenAI Serviceで、OpenAIのモデルをAzureを通して利用できるサービスです。OpenAIのLLMをpythonで…

データインテリジェンスチームの畑です。 こちらの記事は「Promptflow使って文書検索の仕組みを作ってみた！」の第三弾です。独自の文書から質問・回答する仕組みをAzure Machine Learningに追加されたPromptflowを使って実装します。 本記事は連載記事です。 ----------------------------------------------------------------------------- 第一弾：Promptflowを使うための準備編 第二弾：独自データを使ったQ&Aのフロー作成編 第三弾：質問・回答の精度向上＆エンドポイントへのデプロイ編 -…