観測データの尤度を最大化するように、確率モデルのパラメータを推定すること。
最尤推定法の復習 最尤推定法は、データに確率モデルを当てはめるときに必要になるパラメータを、データから推定する方法です。 私の場合、大学の教養課程で習ったものの在学中に使う機会はなく、就職してからも使う機会なく時間が流れ、40歳を目前としたころ急に必要になりました。習っていても使わぬまま20年過ぎてしまうと、覚えているはずもなく、Rではライブラリで処理できたことから、あいまいな知識のまま、今に至っている方法です。 私にとって最尤推定法を理解できない原因ははっきりしていて、常套句のように出てくる「観測されたデータをもっとも起こりやすい」という表現です。これがしっくりこない。白黒つかない印象がダメ…
尤度推定のお勉強 【目次】 尤度と最尤推定量 尤度と確率 簡単な図解 参考 尤度と最尤推定量 最尤推定法は、標本から母集団のパラメータを点推定する方法（母集団の分布は既知）。 得られた標本を （独立同一分布に従う）、推定したいパラメータを とすると、尤度関数は次と表される。 また、自然対数をとったものを対数尤度という。確率の足し算となり、値が小さくならないため計算機で扱いやすい。 この尤度関数を最大化するパラメータ を最尤推定量と呼ぶ。 なお、最小化問題などでは、対数尤度にマイナスを乗じて 0 を最小値とした負の対数尤度を用いることがある。 尤度と確率 尤度と確率では分布パラメータθと得られる…
この3つはどれも確率分布やモデルのパラメータをデータから推定する手法だ（確率分布は正規分布やポアソン分布などの一変数の確率を返すもの、モデルはGLMのような複数の変数の合成によって被説明変数の確率モデルのパラメータを規定するもの）。しつこいが、パラメータ自体の確率分布やモデルは研究者がアプリオリに決めるもので、「仮定」だ。 ・OLS 最小二乗法（OLS）とは、実際のデータの値とモデルによって予測される値の差（誤差）を最小化するように、モデルのパラメータを点推定する方法である。回帰分析であれば、データから偏回帰係数の推定値が算出されるが、偏回帰係数の値と標準誤差があればt値が求まり、t値がt分布…
尤度 確率で成功するフリースローを投して回成功する確率は、二項分布よりとなります。データを定数として、母数を変数として計算した値を尤度といいます。 またその関数を尤度関数といいます。 最尤推定 最尤推定法では尤度が最も大きくなったときの変数の値を母数の推定として利用します。をについて最大化してみます。に対数をとります。を対数尤度関数といいます。 をで微分してとおきます。は二項分布の平均と一致します。最後に、確率で成功するフリースローを10投して4回成功する尤度と対数尤度のグラフを示します。 どちらも付近で最大値をとることがグラフから読み取れます。 偉人の名言 あらゆる偉業の出発点は、 目的を明…
この夏の自由研究です。 初めに 菅野真衣のマイペースマイワールドには番組終了前にじゃんけんをする名物コーナーがあります。今回はそのじゃんけんで勝率を最大化する戦略を考えます。アプローチとしては、菅野真衣さんの出す手が従う法則性を仮定し、それに対して高い勝率の出る戦略を示します。2023年8月30日現在、ニコニコ動画には第30回までのアーカイブが上がっている為、そこまでの手を分析の対象とします。第25回はマイマイルド公録回で菅野真衣さんの口から出した手の情報が出ていませんが、一旦パーとして分析を行います。（イベントだしチョキ出すでしょ読みでグー出したら負けた記憶があるような...）また、戦略の評…
参加しながら考えたこと試したことの源泉かけ流し。
｜数値解析の概要 ｜ニュートン法について解説 ｜ニュートン法のアルゴリズムについて解説 ｜「ニュートン法」の活用法 【令和５年度】 いちばんやさしい 基本情報技術者 絶対合格の教科書＋出る順問題集 作者:高橋 京介 SBクリエイティブ Amazon 「数値計算」は、数学的な問題をコンピュータを用いて近似的に解析する手法を指します。 数値計算は実世界の複雑な問題に対して厳密な解法が存在しない場合や、解が複雑な数式で表される場合に有用です。 ここでは、「数値解析の概要」「ニュートン法の解説」「ニュートン法のアルゴリズムの解説」について解説します。 令和05年 イメージ＆クレバー方式でよくわかる 栢…
大乱闘スマッシュブラザーズSpecialのトッププレイヤーのランキングを決定するためのアルゴリズム ダブルイリミネーショントーナメントに複数参加したプレイヤーを評価するという前提で作成した この記事はアルゴリズムの提案者であるとさかず(@smash_tskz)が主に執筆した 遅くなってごめんなさい 最終的なランキングはこちら SMASH BANZUKE シーズン1 TOP51〜TOP100 #SMASH_BANZUKE #スマブラSP pic.twitter.com/9u8p6csaAC— SMASH BANZUKE (@SmashBanzuke) 2023年4月26日 どんなプレイヤーが評価…
次に、例題を作って、手順を理解してみる。 5教科の成績から入学試験の合否を予測する 5教科の成績から入学試験の合否を予測するロジスティック回帰モデルを考えてみる。 ここでは、5教科の成績を入力変数、入学試験の合否を出力変数にして、ロジスティック回帰モデルのパラメータを、重み（係数）$w$とバイアス（切片）$b$からなる$\theta$とする。 そして、入力変数を反復学習して、ロジットを計算し、シグモイド関数を適用して確率を求め、コスト関数からパラメータを推定する。 データセットの準備 20人分のデータセットを作成して、最初の15人分をロジスティック回帰モデルの構築に使う学習セット、最後の5人分…
何となくで使ってきたロジスティック回帰モデルを勉強しなおした。 ロジスティック回帰モデルの作成の流れはざっとこんな感じだろう。 入力変数$x$にロジット関数を適用してロジット値を計算する。このとき、ロジット関数は多項式で、この多項式の係数$w$と切片$b$がパラメータ$\theta$になる。 ロジット値にシグモイド関数を適用して確率値を計算する。この確率値は合格確率に対応し、テストの点数が高いほど1に近づき、低いほど0に近づく。 確率値と実際の合否値との誤差をコスト関数で評価する。クロスエントロピー誤差がコスト関数になり、予測確率と真の値の対数の積の和が誤差関数になる。 勾配降下法でパラメータ…
何となくで使ってきたロジスティック回帰モデルを勉強しなおした。 ロジスティック回帰モデルとは ざっくり言うと、ある出来事が「起こる」、「起こらない」ことを予測する方法で、また、起こる/起こらないは、二値分類でも多クラス分類にも使える。 この確率の計算は、データをロジット（logit）関数に渡し、特徴量と重みパラメータを計算して、ロジスティック関数に当てはめている。また、ロジットを対数オッズ（log-odds）、ロジスティック関数をシグモイド関数と呼ぶこともある。 このとき、ロジスティック関数は、起こる/起こらないを0から1の確率で示し、0.5以上なら「起こる」と0.5未満なら「起こらない」と予…
Ashrmです。 この記事はゲームする部 Advent Calendar 7日目の記事です*1。このアドベントカレンダーは「ゲーム」をテーマに*2、ゲームする部Discordメンバーで記事を書いていこうという企画です。記事をまとめたポータルサイトはこちらです。 sites.google.com 昨年末に書いた記事は各所で開かれる「アドベントカレンダー」にあやかる意図があったのですが、この度実際にその手の企画に参加することになったということです。運営の皆様に感謝します。 はじめに 〇×クイズ 項目反応理論(多段階反応モデル) 最尤推定法と対数尤度 脇道 実際に使ってみた おわりに *1:順調にい…
前回cake-by-the-river.hatenablog.jp 今回は、拡散モデルの最も重要な論文である Denoising Diffusion Probablistic Models （DDPM）を解説します。arxiv.org 前回の潜在変数モデルとしての側面（AutoEncoder）も持ちつつ、スコアベースモデルによる画像生成であるNCSNと数学的に等価で、より学習の効率が良いアルゴリズムであるDDPMは、Stable Diffusion（Latent Diffusion Model）の中枢を担っているため、ここが理解できればStable Diffusionをはじめとした拡散モデルの…
前回cake-by-the-river.hatenablog.jp今回は、拡散モデルの最も重要な論文である Denoising Diffusion Probablistic Models （DDPM）を解説します。DDPMを解説する予定だったのですが、基礎となるVariational AutoEncoder （VAE）など潜在変数モデルとその学習に関する話を書いたところ記事が膨らんでしまったので、今回はVAEをメインに説明することとします。なお、今回の内容は、ベイズ深層学習の本を主に参考にしています。ベイズ深層学習 (機械学習プロフェッショナルシリーズ)作者:須山敦志講談社Amazon 潜在変…
前回cake-by-the-river.hatenablog.jp お久しぶりです。今回から肝心の拡散モデルを見ていこうと思います。今回は、スコアベースモデルを用いた Noise-Conditional Score Networks (NCSN) を解説し、拡散モデルの本題であり次回扱う Denoising Diffusion Probabilistic Models (DDPM) の前座となる要素の解説をしようと思います。 なお、今回以降の内容は、最近発売された拡散モデルに関する入門書の内容を参考にしました。拡散モデル データ生成技術の数理作者:岡野原 大輔岩波書店Amazon
www.datascientist.or.jp Vtuberのアイシア=ソリッドさんが データサイエンティスト検定をお勧めしていたので ちょっと攻略する 以下は誤記などあるかもしれないけど気にせずに contents データサイエンティスト検定のスキルセット 1.社会におけるデータ・AI利活用 2.データリテラシー 3.データ・AI利活用における留意事項 その他 データサイエンスの基礎知識 データサイエンティスト検定のスキルセット 1.社会におけるデータ・AI利活用 以下に、各スキルセットについての概要と4択問題を作成しました。 社会におけるデータ・AI利活用 概要： ビッグデータ、IoT（イ…
数年前になるが下記の本を読んだので備忘として記録する。 www.amazon.co.jp ------------------ 所感 全体的に最尤推定法やベイズ推定法(ベイズ予測分布を考える手法)を含む統計的推測の考え方がまとまっていて大変わかりやすかった。特にベイズ推定法の話は、MAP推定法とベイズ予測分布の導入から、事前分布、事後分布それぞれを求める方法(事前分布：周辺尤度最大化、事後分布：モンテカルロ積分、共役事前分布)が導入され、周辺尤度最大化(経験ベイズ法)はさらに計算手法として、MCMC法、ラプラス近似、変分近似法が紹介されていて、全体をストーリーとして捉えられるようになった気がす…
On the Origin of Hallucinations in Conversational Models:Is it the Datasets or the Models? aclanthology.org ©2022 Association for Computational Linguistics License: Creative Commons Attribution 4.0 International License(CC-BY) 本記事は、原著の内容に基づき筆者が要約または翻訳したものです。以下の図は、そこから引用しています。 This article is my summ…
qiita.com
aidiary.hatenablog.com
ja.wikipedia.org
www.slideshare.net
norimune.net
yamitzky.hatenablog.com
techtipshoge.blogspot.com
tkengo.github.io
www.hellocybernetics.tech
