Hatena Blog Tags
はてなブログ トップ
evaluation
このタグでブログを書く
言葉の解説
ネットで話題
関連ブログ

evaluation

このタグの解説についてこの解説文は、すでに終了したサービス「はてなキーワード」内で有志のユーザーが作成・編集した内容に基づいています。その正確性や網羅性をはてなが保証するものではありません。問題のある記述を発見した場合には、お問い合わせフォームよりご連絡ください。
LayerX エンジニアブログ•23日前

Horizontal AI SaaSにおける精度評価基盤づくり

こんにちは。LayerX AI・LLM事業部でAi Workforceのプロダクトマネージャーを務めている稲生です。 Ai Workforce は、社内外に散在するドキュメントを活用し、抽出・分類・要約・生成などのタスクを自動化できる 横断型（Horizontal）AI プラットフォーム SaaS です。 今回は、最近力を入れているAi Workforceにおける 「精度評価」 の取り組みをご紹介します。 なぜ精度評価なのか LLMを利用するプロダクトにおいて、その精度はとても重要です。 LLMの進化は加速中 OpenAIをはじめ、各社が次々と高性能なモデルを公開し、誰でも高精度な出力を得られ…

#LLM

ネットで話題

もっと見る
127ブックマークエンジニア組織30人の壁を超えるための 評価システムとマネジメントのスケール / Scaling evaluation system and managementspeakerdeck.com
108ブックマークPaperboy's engineer evaluation system - Gosuke Miyashita今年から新たにペパボで導入された、技術者向けの評価制度については、こちらのエントリ で書いたのですが、本日、その一次評価が完了しました。 評価のプロセスは、一次はテクニカル・マネージャーによる評価、二次は経営会議メンバーによる評価、と二段階の評価となっています。 自分が担当した一次評価の詳細は、以下...mizzy.org
94ブックマークRuby and its evaluationspeakerdeck.com
80ブックマークPaperboy's engineer evaluation system - Gosuke Miyashita今年から新たにペパボで導入された、技術者向けの評価制度については、こちらのエントリ で書いたのですが、本日、その一次評価が完了しました。 評価のプロセスは、一次はテクニカル・マネージャーによる評価、二次は経営会議メンバーによる評価、と二段階の評価となっています。 自分が担当した一次評価の詳細は、以下...mizzy.org
79ブックマーク(TCO)IBM Systems Consolidation Evaluation Tool for Intel processor-based systemswww.ibm.com
57ブックマーク新米マネージャーの初めての目標設定と評価 / New manager's first goal setting and evaluationspeakerdeck.com
53ブックマークStudy on the Clothing Pressure Developed by Yukata--In Special Reference to Deformation of Dressing and Sensory Evaluation | CiNii ResearchJaLC IRDB Crossref DataCite NDLサーチ NDLデジコレ（旧NII-ELS） RUDA JDCat NINJAL CiNii Articles CiNii Books DBpedia Nikkei BP KAKEN Integbio PubMed LSDB Archive 極地研ADS 極地研学術DB OpenAIRE 公共データカタログcir.nii.ac.jp
51ブックマーク定量データと定性評価を用いた技術戦略の組織的実践 / Systematic implementation of technology strategies using quantitative data and qualitative evaluationspeakerdeck.com
49ブックマークUsing Plutchik’s Wheel of Emotions to improve the evaluation of sourceswww.classtools.net

関連ブログ

nikkie-ftnextの日記•1年前

MLflow素振りの記：2.8からサポートされたLLM-as-a-Judgeを触る

はじめに あらたなユーフォニアム...！！ nikkieです。 MLflowを触ってみました。 なんでもLLM-as-a-Judgeができると聞きまして 目次 はじめに 目次 「静的データセットで評価する」のコードを動かしてみる MLflow 2.8 リリースブログより 動作環境 & スクリプト 評価結果を確認 MLflowは裏で一体何をしたのか 終わりに P.S. MLflowに興味を持ったきっかけは 「静的データセットで評価する」のコードを動かしてみる 検索して見つけたドキュメントに沿って手を動かします。 https://docs.databricks.com/ja/mlflow/llm-…

#mlflow#評価#evaluation#LLM-as-a-Judge
nikkie-ftnextの日記•1年前

OpenAIのPrompt engineeringのドキュメントから、LLMの出力をGPTに評価させるケースのプロンプト例を理解する

はじめに 「頑張れ！」ってきっと 愛してるって言葉♪ nikkieです OpenAIのドキュメントの中にはプロンプトエンジニアリングを扱ったガイドがあります。 https://platform.openai.com/docs/guides/prompt-engineering その中で「分量多いな」と避けていた部分に、1日1エントリの強制力で切り込みます。 LLMの出力をGPTで評価させるシーンで参照できそうな箇所です 目次 はじめに 目次 Prompt engineering、6つの戦略（Six strategies） 戦略「Test changes systematically」 戦術「E…

#OpenAI#Prompt Engineering#evaluation#LLM#GPT-4
英語の顔表情.airabuwo.blog•2年前

EVALUATION

Evaluation. エバリュエーション

#evaluation#エバリュエーション#評価#査定#値踏み#考課#見積もり
不動産鑑定士の自由研究•2年前

Evaluationというマニア向け論文誌のご紹介

久しぶりの更新となりました。 今回は、Evaluationという論文誌の新刊が出ましたので、こちらをご紹介したいと思います。 Evaluation プログレスという出版社から発刊される論文誌で、今回で76号になります。 私は2004年ごろから読み始め、2013年ごろからは欠かさず購入しています。 内容はご覧のとおり、かなりマニアックですが、私は不動産鑑定士としてたいへんお世話になっている論文誌です。 以前は年4回の発刊でしたが、最近はペースが落ちており、発行のご苦労がうかがえます。 このプログレスという出版社は、ホームページによりますと、 「不動産鑑定士が鑑定技術研鑽のために作った、小さな研究…

#プログレス#不動産鑑定士#論文
nikkie-ftnextの日記•2年前

読書ログ | 『 #評価指標入門 』3章・4章でついに分類の評価指標の全体感を掴めました（2月の #stapy 予習） #架け橋本

はじめに ブラボー！！ nikkieです。 今週木曜日2/16は19時からオンラインでみんなのPython勉強会 (a.k.a stapy)「新刊本から知る機械学習の今」！ 予習リストエントリを公開し、予習を進めています。 2月のみんなのPython勉強会は"機械学習新刊特集"！予習積ん読リスト📚 #stapy - nikkie-ftnextの日記 読書ログ | 『Kaggleに挑む深層学習プログラミングの極意』石原さんによる1章・2章は極意と例が目白押し！（2月の #stapy 予習） - nikkie-ftnextの日記 今回は『評価指標入門』について現時点の感想をアウトプットしちゃいます…

#評価指標入門#架け橋本#評価指標#evaluation
nikkie-ftnextの日記•2年前

読書ログ | 『Kaggleに挑む深層学習プログラミングの極意』石原さんによる1章・2章は極意と例が目白押し！（2月の #stapy 予習）

はじめに 未来ずら〜、nikkieです。 今週木曜日2/16は19時からオンラインでみんなのPython勉強会 (a.k.a stapy)「新刊本から知る機械学習の今」！ 先日予習リストエントリも公開しました。 今回は『Kaggleに挑む深層学習プログラミングの極意』について現時点の感想をアウトプットしちゃいます！ 目次 はじめに 目次 『Kaggleに挑む深層学習プログラミングの極意』 感想：タイトルに偽りなし！極意でした（特に2章） 第1章 機械学習コンテストの基礎知識 第2章 探索的データ分析とモデルの作成・検証・性能向上 検証（2.3） 性能向上（2.4） 終わりに P.S. みんなの…

#Kaggleに挑む深層学習プログラミングの極意#機械学習モデル#evaluation#極意
nikkie-ftnextの日記•3ヶ月前

vertexai.evaluation.EvalTaskを素振り（Google Cloud Vertex AIのExperimentを作って評価）

はじめに 七尾百合子さん、お誕生日 31日目 おめでとうございます！ nikkieです。 ADKをきっかけに、Vertex AIの機能を知りました。 目次 はじめに 目次 経緯：Agent Development Kitでエージェントの評価 結論：Vertex AIのExperimentを作って、評価を実行している EvalTask.evaluate() 終わりに 経緯：Agent Development Kitでエージェントの評価 Cloud Next ‘251で発表された Agent Development Kit (ADK) 作ったAgentを評価する（evaluate）機能もあります …

#Vertex AI#evaluation
nikkie-ftnextの日記•3年前

論文「Model Evaluation, Model Selection, and Algorithm Selection in Machine Learning」（2018 Sebastian Raschka）を読み始めました

はじめに 青春は、やさしいだけじゃない。痛いだけでもない。1 nikkieです🍨 機械学習モデルの評価についての論文を読み始めました。 まだ読んでいる途中ではありますが、アウトプットしていきます。 『Python機械学習プログラミング』を書かれたrasbt氏（Sebastian Raschka）が機械学習におけるモデルの評価を論じた論文を黙々と読む（4章中1章読了）。https://t.co/GQHMe3dk1c1章はholdoutとどういった問題があるかということが分からされます。雰囲気でやっていたのでガチ勢に理論で殴られる感じ— nikkie にっきー 🎤10/1 XP祭り 10/14-1…

#機械学習モデル#evaluation#selection#Sebastian Raschka#論文