Hatena Blog Tags
はてなブログ トップ
evaluate
このタグでブログを書く
言葉の解説
ネットで話題
関連ブログ

evaluate

このタグの解説についてこの解説文は、すでに終了したサービス「はてなキーワード」内で有志のユーザーが作成・編集した内容に基づいています。その正確性や網羅性をはてなが保証するものではありません。問題のある記述を発見した場合には、お問い合わせフォームよりご連絡ください。
SB Intuitions TECH BLOG•6ヶ月前

『JamC-QA』: 日本の文化や風習に特化した質問応答ベンチマークの構築・公開（後編）

こんにちは。 SB Intuitions で LLM の評価を担当している 岡 照晃、柴田 知秀 です。 本記事では我々が構築・公開した日本語のベンチマーク『JamC-QA（Japanese Multiple Choice QA, ジャムシーキューエー）』[岡+, 25]を前後編に分けて紹介しています。 前編 では JamC-QA 構築の背景、構築方法やどういった問題が含まれるのか紹介しました。 後編では JamC-QA を使った事前学習モデルの性能比較評価とその結果の考察を行なっていきます。 事前学習モデルの評価方法はこちらのブログ記事で詳しく紹介していますので併せてご覧ください。 性能評価…

#evaluate#LLM

関連ブログ

nikkie-ftnextの日記•1年前

🤗 evaluate 0.4.3は、scikit-learnをインストールする必要があるとき、なぜ非推奨の pip install sklearn を案内するのか？

はじめに 魔瞳の大鷲寮に入りました！ nikkieです。 Hugging Face社が開発する、機械学習評価指標のライブラリについて、なぜ非推奨のインストール方法を案内するエラーメッセージが出されるのか調べました。 目次 はじめに 目次 🤗 evaluate 「you need to install dependencies['scikit-learn'] using 'pip install sklearn'」 pip install sklearnという案内による混乱と、対応の過程 実装を覗く エラーメッセージ送出箇所 sklearnという文字列はどこから来るのか 終わりに 🤗 evalu…

#Hugging Face#evaluate#scikit-learn#sklearn