はじめに 検索性能を評価するための適切なデータセットが手元にない場合、自前でオフライン評価セットを構築することが選択肢としてあります。 ユーザー行動ログに基づく評価も有効ですが、人手で集められた高品質なデータセットを用いることで、様々な検索手法を手軽に検証することが可能になります。 本記事では、検索性能評価のためのアノテーションを設計する際に気になった点を中心に、設計ポイントを紹介します。 目次 はじめに 目次 用語の定義 概要 トピック数の設計 アノテーションのアプローチ Pointwise vs Pairwise vs Listwise アプローチ Pointwise, Pairwise,…