NER（固有名詞抽出）に再び挑戦します。ruri-v3-pt-310m/ruri-v3-310mをStockmark作WikipediaのNER向けdatasetを使って学習させてみます。このモデルでは分かち書きが不要です。しかしながら、学習済みSentencePieceのtokenizerによるトークンとNERの文字単位ラベルとずれると精度が少し落ちてしまいます。SentencePieceの利用は、NERのタスクに向かないのでしょうけれども、私ではこのサイズ感の事前学習モデルを構築するのは厳しい。それであきらめても面白くないので、拙い工夫をチャレンジしてみます。 まずは、NERの文字ラベルと…
