Hatena Blog Tags
はてなブログ トップ
Embedding
このタグでブログを書く
言葉の解説
ネットで話題
関連ブログ

Embedding

このタグの解説についてこの解説文は、すでに終了したサービス「はてなキーワード」内で有志のユーザーが作成・編集した内容に基づいています。その正確性や網羅性をはてなが保証するものではありません。問題のある記述を発見した場合には、お問い合わせフォームよりご連絡ください。
フレクトのクラウドblog•1ヶ月前

より良い RAG を作るための Vector DB 基礎

こんにちは。エンジニアの浅見です。 今回は久しぶりに、社内のナレッジを公開いたします。 フレクトでは社内のナレッジを蓄積・共有するために「Fラボ」というツールを運用しており、以前にも「15分でわかる！Agentforce」や「15分でわかる！Salesforce で「生成AI」」を特別公開しております。 本記事では、社内のエンジニア向けに作成した AI 基礎トレーニング資料の中から「Vector Database（ベクトルデータベース）」の章を抜粋して公開します。 RAG システムを構築する上で欠かせない Vector DB の仕組みや実運用上の課題について、簡単な実験とともに解説したものとな…

#RAG#Vector Search#Embedding#Vector Database#Vector DB#LLM#生成 AI

関連ブログ

フレクトのクラウドblog•6ヶ月前

ベクトル検索のText Embedding の基礎を理解する

こんにちは。エンジニアの大橋です。 先日、とある技術検証にてAIエージェントのRAG構築を担当した人が、ベクトル検索の精度がイマイチということで悩んでいました。詳しく話を聞くと、どうやら特定のキーワードでベクトル検索した場合に、あまり良い検索結果が得られなかったようです。その後もう一度話を聞いてみると、ベクトル検索のEmbeddingモデルを文単位からトークン単位に変えてみると、かなり精度が上がった、というのです。この一連の会話から、私自身この辺りのEmbeddingについての理解を再確認しておこうと思いました。 こういった背景もあり、今回は、RAGのベクトル検索に必要なText Embedd…

#Vector Search#embeddingmodel#Embedding
地平線まで行ってくる。•7ヶ月前

ModernBERTのEmbedding APIサーバーをつくってみる。

ModernBERTのembeddingモデルをAPI経由で利用できるように挑戦してみました。ollamaでは現在対応していないようだすし、複雑なプログラムにはならないだろうとチャレンジしてみます。ついでなのでrerankも組み入れてみます。利用しやすいようにOpenAI互換を狙います。 まずは、GoogleのJulesをパートナーに選びます。まずは、要件を定義していき、実装方針を明確化していきます。 詳細は割愛しますが、ライブラリとしてはFastAPIとgunicornを採用します。どちらも定番です。これまで利用した経験では安定した動作していました。情報も多いので困ったときには安心です。 ま…

#LLM
月影•9ヶ月前

AIが「意味」を理解する仕組みとは？Embeddingの本質を徹底解説

Embeddingとは？AI・自然言語処理の基幹技術をわかりやすく解説 自然言語処理（NLP）や機械学習を学ぶと必ず登場する「Embedding（エンベディング）」。 「なぜEmbeddingは重要なのか？」「何ができるようになったのか？」という疑問に、その本質から、AI内部の仕組み、そして最新の応用例まで、誰にでも分かるように丁寧に解説します。 📌 Embeddingとは？― 言葉を「意味の住所」に変換する技術 Embeddingとは、一言でいえば「言葉や画像などのデータを、意味の近い"住所"（数値ベクトル）に変換する技術」です。 コンピューターは「犬」や「猫」という文字をそのままでは理解で…

#AI#自然言語処理
フレクトのクラウドblog•1年前

「短縮化」と「共通用語化」でテキスト埋め込みを改善

みなさんこんにちは。エンジニアの佐藤です。今回はテキスト埋め込み(text embedding)についてお話しさせてください。(あらかじめお断りしますと、割と基本的な話です。なお、機能寄りの話で、数学は出てきません。) 疑問のきっかけは「RAG案件失敗」の知らせ ある日のこと、他社某案件の失敗談が聞こえてきました。曰く、「PoCが失敗し、プロジェクトが打ち切りになった」と。恐ろしい話だと思って聞くと、RAG(Retrieval-Argumented Generation)が期待通りに動作しなかったようです。(詳しい話は省略します。) RAGは、ご存知の方も多いと思いますが、一般的にはチャットボ…

#Embedding#Retrieval-Augmented Generation#Vector Search
電通総研 テックブログ•2年前

RAGに捧げるベクトル検索パフォーマンスチューニング

こんにちは。電通総研 金融ソリューション事業部の若本です。 今回は、RAG内部で使用するベクトル検索の設定のチューニングについての記事になります。 RAGとは ベクトル検索になぜチューニングが必要なのか？ 近似近傍探索 実験 検索対象 検索クエリ 評価方法 結果 おわりに RAGとは RAG（Retrieval-Augmented Generation）は、ユーザーのクエリに対して外部の知識を検索し、それをもとにChatGPTのような大規模言語モデル（LLM: Large Language Model）に回答を生成させる手法になります。 具体的な方法は山下さんの記事でも紹介されていますので、興…

#RAG#ベクトル検索#LLM#Embedding#NLP
nikkie-ftnextの日記•2年前

OpenAIのembedding新モデルのAPIで、英語や日本語テキストからembeddingsやその類似度を計算する

はじめに スケルツォ見てスッキリ。nikkieです。 OpenAIから2024年1月のアップデートが来ましたね。 その中の目玉と思われるembedding新モデルのAPIで少しだけ手を動かしました 目次 はじめに 目次 OpenAI embedding新モデルのAPI APIでembeddingを得て、テキストの類似度計算 英語の例（text-embedding-3-small） 日本語の例（text-embedding-3-small） text-embedding-3-large（日本語） text-embedding-3-large（日本語）でdimensionsを指定する 積ん読資料た…

#OpenAI#openai-python#OpenAI API#Embedding#embeddings#埋め込み#コサイン類似度#内積
こすたろーんエンジニアの試行錯誤部屋•2年前

【Stable Diffusion】diffusersでembeddingを使用する方法

スポンサーリンク diffusersでembeddingを使えるようになっていたので、試してみました この記事は導入の備忘録です 目次 目次 この記事でわかること 1.実行環境 2.コード 参考 スポンサーリンク この記事でわかること diffuserrsでembeddingを導入する方法 1.実行環境 Google Colab Diffusers:0.15.0 transformers:4.26.0 2.コード 以前diffusersで画像生成するコードを作成しました technoxs-stacker.hatenablog.com 今回は上記コードに以下のembedding読み込み処理に追記…

#Diffusers#Google Colablatory#Embedding#load_textual_inversion#Textual Inversion#Python
バイセル Tech Blog•2年前

ChatGPTに自前の情報を画像込みで返答させてみた 〜実践的なRAGとEmbeddingの使い方〜

はじめに こんにちは、バイセル23卒エンジニアの臼井です。 今回はChatGPTに社内の情報を答えてもらうために、テキストのEmbedding APIを使用して、社内情報をRAGで扱う方法について紹介します。 社内の情報には画像データなど、テキスト以外のデータもありますので、それらをどのようにしてEmbeddingするかが論点となります。 対象読者は、自前のデータをChatGPTなどのLLMに組み込みたいと考えている開発者です。 特に、多様なデータ形式（テキスト、画像、スライドなど）を組み込みたい方の参考になれば幸いです。 はじめに 背景 Fine-tuningとRAG その他使用した技術 課…

#Chat GPT#RAG#Embedding
nikkie-ftnextの日記•6ヶ月前

simonw/llm でコマンドラインからテキストを embedding にして、コサイン類似度計算までできる！

はじめに 七尾百合子さん、お誕生日 213日目 おめでとうございます！ nikkieです。 推しの CLI ツール simonw/llm の新たな一面を発見しました！ 目次 はじめに 目次 「Embedding with the CLI」 ムビマスのセリフで埋め込み・類似度検索をお試し 終わりに P.S. これまでの simonw/llm 関連記事 P.S. OpenAI の embedding モデルを使って少し改善 「Embedding with the CLI」 LLM provides command-line utilities for calculating and storing…

#simonw/llm#Embedding#コサイン類似度#RAG