MLOps勉強会

今日の積み上げ 機械学習 「評価指標入門」を読み始めた MLOps勉強会に初めて参加した 機械学習 www.amazon.co.jp こちらの本、先週のみんなのPython勉強会での発表きっかけで知りました。 まだ機械学習を始めて１ヶ月ほどですが、評価指標（ACCとかAUCとかROCとか）がいろいろあってよくわからない。ググってみてもよくわからない。 そんな状態でいたところに、この本の話だったので、とてもタイムリーだな、これは読んでみるしかない、と直感しました。 幸い、会社経費で購入を認めてもらえたので、サクっとKindle版を購入。 早速読み始めてみましたが、最初からとても読みやすくて、自分…

LLMの日本語ロールプレイ能力を計測するベンチマーク「Japanese-RP-Bench」の概要と評価結果などのまとめ LLM-jp-3 を LLM Farm を使って iPhone で動かす Logic-of-Thought: Injecting Logic into Contexts for Full Reasoning in Large Language Models Evaluating the Effectiveness of LLM-Evaluators (aka LLM-as-Judge) 世界一の日本語性能を持つ企業向け大規模言語モデル「Takane」を提供開始 リコー、モデル…

こんにちは。Algomatic NEO(x) の宮脇（@catshun_）です。 本記事では Inside Algomatic という podcast の「Algomaticで話題になった生成AIニュースまとめ」という回で用意している会話ネタの一部として、6月に話題となったニュース一覧を公開します。なお以降で記述するニュースは、社内 slack や技術キャッチアップ会等から抽出しています。

こんにちは，コミューンで機械学習エンジニアとして働いている柏木（@asteriam_fp）です． 最近は，鬼滅の刃の柱稽古編が毎週日曜日に放送されていて，それを見て楽しんだ勢いで月曜日からの仕事も勤しんでいます！（無限城編も楽しみです）

はじめに あらたなユーフォニアム...！！ nikkieです。 MLflowを触ってみました。 なんでもLLM-as-a-Judgeができると聞きまして 目次 はじめに 目次 「静的データセットで評価する」のコードを動かしてみる MLflow 2.8 リリースブログより 動作環境 & スクリプト 評価結果を確認 MLflowは裏で一体何をしたのか 終わりに P.S. MLflowに興味を持ったきっかけは 「静的データセットで評価する」のコードを動かしてみる 検索して見つけたドキュメントに沿って手を動かします。 https://docs.databricks.com/ja/mlflow/llm-…