Hatena Blog Tags
はてなブログ トップ
Faiss
このタグでブログを書く
言葉の解説
ネットで話題
関連ブログ

Faiss

このタグの解説についてこの解説文は、すでに終了したサービス「はてなキーワード」内で有志のユーザーが作成・編集した内容に基づいています。その正確性や網羅性をはてなが保証するものではありません。問題のある記述を発見した場合には、お問い合わせフォームよりご連絡ください。
APC 技術ブログ•9ヶ月前

ベクトルサーチおよびFAISSによる検索速度最適化！

背景 目標 手順 実行 データセットを準備 文埋め込み (Sentence embedding) UDFによるスピードアップ 文と埋め込みをDatabricksテーブルに保存する テーブルから文と埋め込みを読み込む Databricksドライバーサイズを増やす ベクトルインデックスの構築 ベクトルサーチを実行 最適化手法 ベンチマーク 次元削減 主成分分析 (Principal component analysis a.k.a. PCA) インクリメンタルPCA 寄与率 (Explained Variance Ratio) 直積量子化 (Product Quantization) パーティショ…

#Databricks#sklearn#Python#Faiss#PCA

関連ブログ

メーカーで働くエンジニアのためのデータサイエンス•1年前

【LangChain】Faissとコサイン類似度の計算

概要 ベクトルストア(Faiss)とコサイン類似度の計算をまとめる。 Faiss 「Faiss」は、Meta社が開発したライブラリで、文埋め込みのような高次元ベクトルを効率的にインデックス化し、クエリのベクトルに対して高速に検索することができる。 python.langchain.com コサイン類似度 コサイン類似度（Cosine Similarity）は、2つのベクトル間の類似度を測定する方法の一つです。 文書をベクトル化し、コサイン類似度で文書間の類似性を計算します。 環境 Google Colaboratory langchain==0.0.304 langchain-communit…

#LangChain#Faiss#自然言語処理#BERT
中年engineerの独り言 - crumbjp•4年前

Faiss解説シリーズ（第三回）パフォーマンス

crumbjp.hateblo.jp インデックス毎の性能と精度のバランスを取る上で考慮すべき要素 メモリー使用量 Faissインデックスは基本的にオンメモリー上で処理を行う。 すべてのデータが何らかの形でメモリー上に展開できなければならない。 これが最優先事項 Flatにデータを展開して物理的に乗らないようならば次元圧縮などを用いてデータ量の削減をしなければならない。 インデックスにリンク構造（HNSW等）を採用するならばその分のメモリー設計も必要となる。 検索速度、ベクトル追加速度 オンラインの高速応答が必要なのか、非同期処理である程度遅くとも精度を重視するのかで大きく選択肢が異なる。 ベ…

#Faiss#ANN
中年engineerの独り言 - crumbjp•4年前

Faiss解説シリーズ（第二回）ハマりポイント集

crumbjp.hateblo.jp Faissインデックス毎の制限について サンプルコード FlatインデックスはID管理出来ない func AddWithIDsDontWorkOnFlatIndex() { fmt.Println("*** AddWithIDsDontWorkOnFlatIndex ") index, _ := faiss.IndexFactory(2, "Flat", faiss.MetricL2) index.AddWithIDs([]float32{0,0,1,0,0,1,1,1}, []int64{0,1,2,3}) } 実行結果 *** AddWithIDsDo…

#Faiss#Go
中年engineerの独り言 - crumbjp•4年前

Faiss解説シリーズ（第一回）基本編

最近、根詰めて触っているので詳しくなって来たついでに解説記事を書いてみた Faissとは Facebookが開発しているC++NNS(Nearest neighbor search)エンジン 手に入るライブラリの中では最高峰の速度 高次元ベクトルで問題になりがちなメモリー問題に対応できる機能群 億を超える数のベクトルを想定した多種のインデックスアルゴリズム これらを組み合わせる事で柔軟に用途にマッチしたトレードオフ戦略が取れる 簡単に言えば、どんなケースでも利用できる超柔軟なライブラリである。 NNSとANN（Approximate nearest neighbor）の超基礎 NNS 高次元の…

#Faiss#ANN
中年engineerの独り言 - crumbjp•4年前

Faissでベクトル検索するDBを開発した

広告プラットフォームcraft に投入 24000次元のSCDVベクトルを数百万件入れてインデクシングしています。 PQ圧縮しているのでメモリー負担は殆ど無く小さなサーバーで運用できています（トレーニングの時だけメモリーが大変） 順次利用範囲を広げていく予定。 faissdb https://github.com/crumbjp/faissdb Faissインデックスを使ったベクトル検索が出来るDB ベクトルはユニークキーで管理（Faissの面倒なID管理をしなくて良い） 複数のFaiss indexを扱える。（検索対象が用途的に、全体データ、weeklyデータ、monthlyデータ、といった…

#ANN#approximate#nearest#neighbor#SCDV#Faiss