評価指標

はじめに 未来ちゃと静香ちゃんも赤と青。nikkieです。 以前書いた要約の評価指標について、思わぬつながりに気づいたことを綴っていきます 目次 はじめに 目次 要約タスクの評価指標 Perlスクリプトの面影 BLEU ROUGE 終わりに 要約タスクの評価指標 以前BERTScoreを取り上げました。 上の記事では『大規模言語モデル入門』を参照しています。 さて、『大規模言語モデル入門』では他にも要約タスクの評価指標が紹介されます。 それがBLEUとROUGEの2つ BLEU：適合率（precision）に基づく ROUGE：再現率（racall）に基づく ブルー（青）とルージュ（赤）って、…

はじめに 7月はナイスなstapyです。みんな来てね！ nikkieです。 機械学習ではおなじみのライブラリscikit-learn。 親の顔を見た回数よりインストールしているフシがあります。 そんなscikit-learnのf1_score関数で見かけることのあるwarningについて、最近理解したことをまとめます。 目次 はじめに 目次 まとめ これまでのnikkieとf1_score 動作環境 f1_scoreを使っていて見かけるUndefinedMetricWarning なぜUndefinedMetricWarningが送出される？ f1_scoreのzero_division引数 …

はじめに ｱｶﾈﾁｬﾝ...（推しの子6話見た）、nikkieです😭😭😭 機械学習モデルの評価指標の1つ F1 score について、scikit-learnの実装を使いこなすために調べたことをまとめます。 目次 はじめに 目次 scikit-learnのf1_scoreのaverage引数 おことわり事項 動作環境 参考書籍 MultiLabelBinarizerでラベルを処理 average="micro" average="macro" average=None （参考）クラスごとの混同行列 average="samples" （参考）サンプルごとの混同行列 転置してaverage=No…

H&Mコンペの評価指標MAP@12 H&M Personalized Fashion Recommendations 正直あまり理解しないまま進めてました・・・笑 救世主登場！ Understanding Mean Average Precision 非常にわかりやすい記事を見つけたので備忘録として書き下す 順を追って説明してくれているため非常にわかりやすい 求めているもの $$ MAP@12 = \dfrac{1}{U} \sum_{u=1}^{U} \dfrac{1}{min(m,12)} \sum_{k=1}^{min(n,12)} P(k) \times rel(k) $$ where…

前回の記事に引き続き、クラスタリングを評価する指標について考察していきます。 ↓前回の記事 aisinkakura-datascientist.hatenablog.com 今回はクラスタリングにおける「近接性」の概念について深堀し、近接性を評価する指標を提案します。 近接性の概念 前回記事で近接性について簡単に説明しましたが、あらためてカステラ本を引用しようと思います。 （前略）「近接」性に反するクラスタを生成することがある. つまり、あるクラスタに割り当てられた観測が, 同じクラスタの観測よりも, 他のクラスタの観測に近くなることがある。 （ちなみにカステラ本とは↓の本のことです） 統計的…

いくつかの手法を用いてデータをクラスタリングをした際に、各手法を比較したいときがある。 データサイエンティストとして働いていると、事業のオペレーションや解釈のしやすさで手法を選ぶことも多い。それはそれで非常に有用で重要な観点ではあるのだが、何か数学的に定義できる指標はないか調査してみた。 調査していくと、カステラ本の中で、クラスタリング結果を評価する言葉として「郡内分散」「コンパクト性」「近接性」が紹介されていた。郡内分散については、数式での記述が記載されており、下記の通りである。 ただし、は観測間の非類似度を表す。 また、コンパクトなクラスタとは最大半径が小さいクラスタを指す。したがって、ク…

はじめに 評価指標、ばーっといってみよー！ nikkieです。 自然言語処理の要約タスクの評価指標に興味を持ち、『大規模言語モデル入門』を参照しました。 要約なので、テキストが生成されるわけです。 これを正解のテキストと比較するわけですが、テキスト同士の定量評価をどうやるのか知りたいと思ったんですね。 目次 はじめに 目次 『大規模言語モデル入門』 7.3 要約タスクの評価指標 BERTScore（7.3.3） 環境構築 『大規模言語モデル入門』に沿ってBERTScore算出 bert-scoreコマンドで算出もできる BERTScore算出の仕組み 論文「BERTScore: Evaluat…