はじめに 評価指標、ばーっといってみよー! nikkieです。 自然言語処理の要約タスクの評価指標に興味を持ち、『大規模言語モデル入門』を参照しました。 要約なので、テキストが生成されるわけです。 これを正解のテキストと比較するわけですが、テキスト同士の定量評価をどうやるのか知りたいと思ったんですね。 目次 はじめに 目次 『大規模言語モデル入門』 7.3 要約タスクの評価指標 BERTScore(7.3.3) 環境構築 『大規模言語モデル入門』に沿ってBERTScore算出 bert-scoreコマンドで算出もできる BERTScore算出の仕組み 論文「BERTScore: Evaluat…