はじめに こんにちは！レバレジーズデータ戦略室、データサイエンティストのJacobです。 最先端の埋め込みモデルは、精度とレイテンシの両方を意識して最適化されていることが多く、RAGシステムをはじめ様々な場面で活用されています。推論時の異なるレイテンシ要件に対応するための一般的な戦略として、学習時にMatryoshka Representation Learning（MRL）を用いる方法があります。埋め込みの先頭から段階的に大きくなるセグメントそれぞれに損失関数を適用することで、粗い特徴を前方の次元に、細かい特徴を後方の次元に学習させるという考え方です。推論時にはストレージや検索速度の要件に応…
