PRML

はじめに 『パターン認識と機械学習』の独学時のまとめです。一連の記事は「数式の行間埋め」または「R・Pythonでのスクラッチ実装」からアルゴリズムの理解を補助することを目的としています。本とあわせて読んでください。 この記事は、3.1.1項「最尤推定と最小二乗法」の内容です。線形基底関数モデルの最尤推定をPythonで実装します。 【数式読解編】 www.anarchive-beta.com 【前節の内容】 www.anarchive-beta.com 【他の節一覧】 www.anarchive-beta.com 【この節の内容】 はじめに 3.1.1 線形基底関数モデル ・基底関数の作成 …

はじめに 『パターン認識と機械学習』の独学時のまとめです。一連の記事は「数式の行間埋め」または「R・Pythonでのスクラッチ実装」からアルゴリズムの理解を補助することを目的としています。本とあわせて読んでください。 この記事は、3.1節「線形基底関数モデル」を補助する内容です。3つの基底関数(多項式基底関数・ガウス基底関数・シグモイド基底関数)をPythonで実装してグラフを作成します。 【他の節一覧】 www.anarchive-beta.com 【この節の内容】 はじめに 3.1.0 基底関数 ・1次元の場合 ・多項式基底関数 ・ガウス基底関数 ・シグモイド基底関数 ・2次元の場合 ・多…

はじめに 『パターン認識と機械学習』の独学時のまとめです。一連の記事は「数式の行間埋め」または「R・Pythonでのスクラッチ実装」からアルゴリズムの理解を補助することを目的としています。本とあわせて読んでください。 この記事は、4.3.4項の内容です。ニュートン法による多クラスロジスティック回帰のパラメータの更新式を導出します。 【実装編】 組んでる 【前節の内容】 www.anarchive-beta.com 【他の節一覧】 www.anarchive-beta.com 【この節の内容】 はじめに 4.3.4 多クラスロジスティック回帰 ・モデルの確認 ・勾配の導出 ・ヘッセ行列の導出 ・…

はじめに 『パターン認識と機械学習』の独学時のまとめです。一連の記事は「数式の行間埋め」または「R・Pythonでのスクラッチ実装」からアルゴリズムの理解を補助することを目的としています。本とあわせて読んでください。 この記事は、4.5.1項の内容です。ベイズロジスティック回帰のMAP推定と近似事後分布をR言語でします。 【数式読解編】 www.anarchive-beta.com 【前節の内容】 www.anarchive-beta.com 【他の節一覧】 www.anarchive-beta.com 【この節の内容】 はじめに ・ベイズロジスティック回帰の実装:近似分布の導出とMAP推定 …

はじめに 『パターン認識と機械学習』の独学時のまとめです。一連の記事は「数式の行間埋め」または「R・Pythonでのスクラッチ実装」からアルゴリズムの理解を補助することを目的としています。本とあわせて読んでください。 この記事は、4.4節の内容です。1次元の確率分布のラプラス近似をPythonで実装します。 【数式読解編】 www.anarchive-beta.com 【他の節一覧】 www.anarchive-beta.com 【この節の内容】 はじめに 4.4.0 ラプラス近似 ・真の分布の設定 ・利用する関数の作成 ・最頻値の探索 ・近似分布の計算 参考文献 おわりに 4.4.0 ラプラ…

はじめに 『パターン認識と機械学習』の独学時のまとめです。一連の記事は「数式の行間埋め」または「R・Pythonでのスクラッチ実装」からアルゴリズムの理解を補助することを目的としています。本とあわせて読んでください。 この記事は、2.3.1項と2.3.2項の内容です。同時ガウス分布から条件付きガウス分布と周辺ガウス分布のパラメータを求めてPythonでグラフを作成します。 【数式読解編】 www.anarchive-beta.com www.anarchive-beta.com 【他の節一覧】 www.anarchive-beta.com 【この節の内容】 はじめに 2.3.1-2 条件付きガ…

はじめに 『パターン認識と機械学習』の独学時のまとめです。一連の記事は「数式の行間埋め」または「R・Pythonでのスクラッチ実装」からアルゴリズムの理解を補助することを目的としています。本とあわせて読んでください。 この記事は、3.1.4項「正則化最小二乗法」を補足する内容です。LpノルムをPythonで作図します。 【他の節一覧】 www.anarchive-beta.com 【この節の内容】 はじめに 3.1.4.0 Lpノルムの作図 ・定義式の確認 ・L1ノルム ・L2ノルム ・正則化項 ・おまけ：pとグラフの形状の関係 参考文献 おわりに 3.1.4.0 Lpノルムの作図 3.1.4…

近年DeepLearningやその他複雑な機械学習の学習結果に対して説明を行う研究が行われており、XAI(eXplainable AI)などと総称されることが多いです。当記事では"SurveyのExplainable Artificial Intelligence (XAI): Concepts, Taxonomies, Opportunities and Challenges toward Responsible AI"の内容を確認することで、体系的理解を目標に全体像の確認を行います。 [1910.10045] Explainable Artificial Intelligence (XAI…

カルマンフィルタの基礎 1 の読書メモ．読み始めたのは友人の勧めがきっかけである． 所感 一言でいえば良書であった．カルマンフィルタを（数式を含め）理解しようとする際に最初に読む本として適している．読み終わった際の所感を列挙する． カルマンフィルタの概要が分かった（気がする）． カルマンフィルタは要約するとアダプティブ（適応的な）LPF（Low Pass Filter）：万能ツールであると勝手に思っていたがそうではない． ブロック図が豊富で直観的な理解が（比較的）容易にできるようになっている． なお，数式も必要な分は記載がある． （著者のバックグラウンド上）制御工学の観点から記載されているのが…

今日はまだマシだった． まず８時に一旦起床．明日の予行演習．まあ大丈夫そうだと判断して二度寝． 再起床は 10 時半．まあこんなもんですか．コーヒーを淹れて昼のグラタンを流し込んで某 management 会議出席．まあ発言の機会は無いわけだが． 会議を聞きながら出かけるタイミングを伺う．出かけるか否か悩んだ末に出かけることにしたのが 11 時 50 分とかだったと思う． 会議は結局めっちゃ伸びて終わった．で，昼飯は湯島のさば定食． 1100 円するわけですがそれ相応の価値はあったと思う．身が多くて，ちょうど良い焼き加減のさばでした． もり川だともうちょい身が普通の細さのやつが出てくる＆おかず…

そろそろ卒論を終えて精神は落ち着いてきたので再開．今日から心機一転毎日書こうと思う． まず早速だが， 15日に名古屋に行くことにした．するとカメラが欲しくなる（卒論の影響？）のでレンタルをしようとした．すると高めのデポジットを請求されて，銀行振込のみときた． これはちょっと嫌なので型落ちバージョンで予約し直そうとしたらなんとキャンセルができなくて困ってしまった．動線が雑なのかねぇ……． まあそれはともかく，明日は例のHP改修の最後をやるつもり，あと例のゼミが結局資料共有という味気ない形で終わることになってしまったので，その成果をまとめる．後半がだいぶ時間かかりそうだなあというお気持ち．時間が残…

はじめに 一変数のガウス分布は図的に理解をしやすいですが 多変数になると行列が出てきて複雑になったような気がします。 式中に出てくる共分散行列と親しみましょう。 目次 多変量ガウス分布 パラメータの数 マハラノビス距離 多変量ガウス分布 行列やベクトルで複雑な式は書き下したり数日置きに見直すとはっと気づきがあったりします。 では平均と共分散行列に注目して式を見てみましょう。 この分布には多くの行列やベクトルが含まれていますが 計算されて出てくるのはスカラの確率密度一点です。 主に認識しづらくしている要素は次の2つでしょう。 共分散行列の行列式 2次形式 どちらの値もスカラですので見た目よりも複…

はじめに 『パターン認識と機械学習』の独学時のまとめです。一連の記事は「数式の行間埋め」または「R・Pythonでのスクラッチ実装」からアルゴリズムの理解を補助することを目的としています。本とあわせて読んでください。 この記事は、4.3.4項の内容です。多クラスロジスティック回帰をPythonで実装します。 【数式読解編】 www.anarchive-beta.com 【前節の内容】 www.anarchive-beta.com 【他の節一覧】 www.anarchive-beta.com 【この節の内容】 はじめに 4.3.4 多クラスロジスティック回帰の実装：入力が2次元の場合 ・利用する…

春休みが始まってから既に７日が終了したが，久しぶりに執筆． 卒論期間中も『世に棲む日日』・『燃えよ剣』を読んだり，最高裁行ったりといろいろやったがそれはおいおい書いていこう． 春休み中にやりたいことを列挙しよう． 『坂の上の雲』を片付ける みすず書房の積読を片付ける いまのところ 『暴落』の上下巻 『生命の跳躍』，『生命・エネルギー・進化』 だけがあって，あと１冊くらい買うことを考えている． PRMLの解答執筆．これはどこかに公開するつもりでちゃんと書きたい． 情報理論発表． インターン先決定．夏にどこか行く．しうかつをしたいので． あたりかねえ，パッと思いつくやつがあまりなくて意外だが，まあ…

猫の日らしい。 PRMLをやる前に統計学をちゃんと勉強しないとなって感じた。読めなくはないが、その一読で得られるものが浅くなる。

ブログ2日目。 本ブログの目的は私のアウトプットだということは昨日述べたところであるが, とりあえず1日坊主にならなくて安心している。 では, 本題の勉強の記録に入る。 一昨日くらいから, 測度論的確率論というものを勉強している。 というのも, 私は修士課程で機械学習をメインに勉強しているのだが, その根幹の理論が確率論なのだ。 確率論というと, 高校で扱うような確率をイメージされると思う。私が勉強している機械学習の本 (PRML) も, 高校レベルに毛が生えた程度の確率論をベースに議論を進めている。 ただ, どうしてもPRMLの説明は曖昧に見える。特に, 連続確率分布と離散確率分布の扱いが未…