はじめに この記事は情報検索・検索技術 Advent Calendar 2024 の 23 日目の記事です。． Scaling Laws For Dense Retrieval に論文を読んで、これを Sparse Retrieval で試すとどうなるんだろうと思ったので実験してみた記録。いわゆるやってみたブログです。 arxiv.org どういう論文？ モデルの性能評価するには既存の評価メトリクスに課題があるので新しいメトリクスを提案 dense retrivalモデルが精度とモデルサイズ、データサイズに冪乗則に従うことが観測された スケーリング則により予算配分の予測ができる。 スケーリング…
secon.dev
zenn.dev