こんにちは。エンジニアの大橋です。 先日、とある技術検証にてAIエージェントのRAG構築を担当した人が、ベクトル検索の精度がイマイチということで悩んでいました。詳しく話を聞くと、どうやら特定のキーワードでベクトル検索した場合に、あまり良い検索結果が得られなかったようです。その後もう一度話を聞いてみると、ベクトル検索のEmbeddingモデルを文単位からトークン単位に変えてみると、かなり精度が上がった、というのです。この一連の会話から、私自身この辺りのEmbeddingについての理解を再確認しておこうと思いました。 こういった背景もあり、今回は、RAGのベクトル検索に必要なText Embedd…