SCDV

広告プラットフォームcraft に投入 24000次元のSCDVベクトルを数百万件入れてインデクシングしています。 PQ圧縮しているのでメモリー負担は殆ど無く小さなサーバーで運用できています（トレーニングの時だけメモリーが大変） 順次利用範囲を広げていく予定。 faissdb https://github.com/crumbjp/faissdb Faissインデックスを使ったベクトル検索が出来るDB ベクトルはユニークキーで管理（Faissの面倒なID管理をしなくて良い） 複数のFaiss indexを扱える。（検索対象が用途的に、全体データ、weeklyデータ、monthlyデータ、といった…