SudachiPy

大量のデータ・・・という訳でもなく、数千文程度のテキストを検索したい。調べてみると「Elasticsearch/Solr」や「Tantivy/Xapian」といったものがヒット。データ量も少ないので、やっぱりwhooshを利用することに・・・。他にお手軽な日本語検索ライブラリが出てくると良いですね。embeddingによるベクトル検索ではなく、キーワード検索も大事です。 以前は複雑なクエリを利用して全文検索を実装するお試しは以前実施しました。 bwgift.hatenadiary.jp whooshがメンテされなくなったので、Forkして最近まで頑張っていたwhoosh-reloadedですが…