Hatena Blog Tags
はてなブログ トップ
Embedding
このタグでブログを書く
言葉の解説
ネットで話題
関連ブログ

Embedding

このタグの解説についてこの解説文は、すでに終了したサービス「はてなキーワード」内で有志のユーザーが作成・編集した内容に基づいています。その正確性や網羅性をはてなが保証するものではありません。問題のある記述を発見した場合には、お問い合わせフォームよりご連絡ください。
フレクトのクラウドblog•1ヶ月前

「短縮化」と「共通用語化」でテキスト埋め込みを改善

みなさんこんにちは。エンジニアの佐藤です。今回はテキスト埋め込み(text embedding)についてお話しさせてください。(あらかじめお断りしますと、割と基本的な話です。なお、機能寄りの話で、数学は出てきません。) 疑問のきっかけは「RAG案件失敗」の知らせ ある日のこと、他社某案件の失敗談が聞こえてきました。曰く、「PoCが失敗し、プロジェクトが打ち切りになった」と。恐ろしい話だと思って聞くと、RAG(Retrieval-Argumented Generation)が期待通りに動作しなかったようです。(詳しい話は省略します。) RAGは、ご存知の方も多いと思いますが、一般的にはチャットボ…

#Embedding#Retrieval-Augmented Generation#Vector Search

関連ブログ

電通総研 テックブログ•1年前

RAGに捧げるベクトル検索パフォーマンスチューニング

こんにちは。電通総研 金融ソリューション事業部の若本です。 今回は、RAG内部で使用するベクトル検索の設定のチューニングについての記事になります。 RAGとは ベクトル検索になぜチューニングが必要なのか？ 近似近傍探索 実験 検索対象 検索クエリ 評価方法 結果 おわりに RAGとは RAG（Retrieval-Augmented Generation）は、ユーザーのクエリに対して外部の知識を検索し、それをもとにChatGPTのような大規模言語モデル（LLM: Large Language Model）に回答を生成させる手法になります。 具体的な方法は山下さんの記事でも紹介されていますので、興…

#RAG#ベクトル検索#LLM#Embedding#NLP
nikkie-ftnextの日記•1年前

OpenAIのembedding新モデルのAPIで、英語や日本語テキストからembeddingsやその類似度を計算する

はじめに スケルツォ見てスッキリ。nikkieです。 OpenAIから2024年1月のアップデートが来ましたね。 その中の目玉と思われるembedding新モデルのAPIで少しだけ手を動かしました 目次 はじめに 目次 OpenAI embedding新モデルのAPI APIでembeddingを得て、テキストの類似度計算 英語の例（text-embedding-3-small） 日本語の例（text-embedding-3-small） text-embedding-3-large（日本語） text-embedding-3-large（日本語）でdimensionsを指定する 積ん読資料た…

#OpenAI#openai-python#OpenAI API#Embedding#embeddings#埋め込み#コサイン類似度#内積
こすたろーんエンジニアの試行錯誤部屋•1年前

【Stable Diffusion】diffusersでembeddingを使用する方法

スポンサーリンク (adsbygoogle = window.adsbygoogle || []).push({}); diffusersでembeddingを使えるようになっていたので、試してみました この記事は導入の備忘録です 目次 目次 この記事でわかること 1.実行環境 2.コード 参考 スポンサーリンク (adsbygoogle = window.adsbygoogle || []).push({}); この記事でわかること diffuserrsでembeddingを導入する方法 1.実行環境 Google Colab Diffusers:0.15.0 transformers:4.…

#Diffusers#Google Colablatory#Embedding#load_textual_inversion#Textual Inversion#Python
バイセル Tech Blog•2年前

ChatGPTに自前の情報を画像込みで返答させてみた 〜実践的なRAGとEmbeddingの使い方〜

はじめに こんにちは、バイセル23卒エンジニアの臼井です。 今回はChatGPTに社内の情報を答えてもらうために、テキストのEmbedding APIを使用して、社内情報をRAGで扱う方法について紹介します。 社内の情報には画像データなど、テキスト以外のデータもありますので、それらをどのようにしてEmbeddingするかが論点となります。 対象読者は、自前のデータをChatGPTなどのLLMに組み込みたいと考えている開発者です。 特に、多様なデータ形式（テキスト、画像、スライドなど）を組み込みたい方の参考になれば幸いです。 はじめに 背景 Fine-tuningとRAG その他使用した技術 課…

#Chat GPT#RAG#Embedding