PRML

はじめに 『パターン認識と機械学習』の独学時のまとめです。一連の記事は「数式の行間埋め」または「R・Pythonでのスクラッチ実装」からアルゴリズムの理解を補助することを目的としています。本とあわせて読んでください。 また、機械学習で登場する確率分布について色々な角度から理解したいシリーズです。 この記事では、固有ベクトルによるガウス分布(正規分布)の回転を導出します。 【前の内容】 www.anarchive-beta.com 【実装編】 www.anarchive-beta.com 【他の記事一覧】 www.anarchive-beta.com www.anarchive-beta.com…

はじめに 『パターン認識と機械学習』の独学時のまとめです。一連の記事は「数式の行間埋め」または「R・Pythonでのスクラッチ実装」からアルゴリズムの理解を補助することを目的としています。本とあわせて読んでください。 また、機械学習で登場する確率分布について色々な角度から理解したいシリーズです。 この記事では、R言語で散共分散行列と固有値・固有ベクトルの関係を計算して確認します。 【前の内容】 www.anarchive-beta.com 【数式読解編】 www.anarchive-beta.com 【他の記事一覧】 www.anarchive-beta.com www.anarchive-b…

はじめに 『パターン認識と機械学習』の独学時のまとめです。一連の記事は「数式の行間埋め」または「R・Pythonでのスクラッチ実装」からアルゴリズムの理解を補助することを目的としています。本とあわせて読んでください。 この記事は、4.3.2項と4.3.3項の内容です。ニュートン法によるロジスティック回帰の最尤推定をPythonで実装します。 【数式読解編】 www.anarchive-beta.com 【前節の内容】 www.anarchive-beta.com 【他の節一覧】 www.anarchive-beta.com 【この節の内容】 はじめに 4.3.2 ロジスティック回帰の実装：入力…

はじめに 『パターン認識と機械学習』の独学時のまとめです。一連の記事は「数式の行間埋め」または「R・Pythonでのスクラッチ実装」からアルゴリズムの理解を補助することを目的としています。本とあわせて読んでください。 この記事は、4.3.2項と4.3.3項の内容です。ニュートン法によるロジスティック回帰の最尤推定をPythonで実装します。 【数式読解編】 www.anarchive-beta.com 【前節の内容】 www.anarchive-beta.com 【他の節一覧】 www.anarchive-beta.com 【この節の内容】 はじめに 4.3.2 ロジスティック回帰 ・利用する…

はじめに 『パターン認識と機械学習』の独学時のまとめです。一連の記事は「数式の行間埋め」または「R・Pythonでのスクラッチ実装」からアルゴリズムの理解を補助することを目的としています。本とあわせて読んでください。 この記事は、3.1節「線形基底関数モデル」を補助する内容です。3つの基底関数(多項式基底関数・ガウス基底関数・シグモイド基底関数)をPythonで実装してグラフを作成します。 【他の節一覧】 www.anarchive-beta.com 【この節の内容】 はじめに 3.1.0 基底関数 ・1次元の場合 ・多項式基底関数 ・ガウス基底関数 ・シグモイド基底関数 ・2次元の場合 ・多…

はじめに 『パターン認識と機械学習』の独学時のまとめです。一連の記事は「数式の行間埋め」または「R・Pythonでのスクラッチ実装」からアルゴリズムの理解を補助することを目的としています。本とあわせて読んでください。 この記事は、4.3.4項の内容です。ニュートン法による多クラスロジスティック回帰のパラメータの更新式を導出します。 【実装編】 www.anarchive-beta.com 【前節の内容】 www.anarchive-beta.com 【他の節一覧】 www.anarchive-beta.com 【この節の内容】 はじめに 4.3.4 多クラスロジスティック回帰 ・モデルの確認 …

はじめに 『パターン認識と機械学習』の独学時のまとめです。一連の記事は「数式の行間埋め」または「R・Pythonでのスクラッチ実装」からアルゴリズムの理解を補助することを目的としています。本とあわせて読んでください。 この記事は、4.5.1項の内容です。ベイズロジスティック回帰のMAP推定と近似事後分布をR言語でします。 【数式読解編】 www.anarchive-beta.com 【前節の内容】 www.anarchive-beta.com 【他の節一覧】 www.anarchive-beta.com 【この節の内容】 はじめに ・ベイズロジスティック回帰の実装:近似分布の導出とMAP推定 …

趣旨 MCMCの一つであるギブスサンプリングを理解する。 MCMCって？ 前の記事を参考にしてください。 usapyoi.hatenablog.com では解説する。 ギブスサンプリングとは MCMCの一つで、Metropolis-Hastingsアルゴリズムの特殊な例と言える。 問題設定 今、区間で一様に分布する擬似乱数を発生させるアルゴリズムが得られている。これを元に、に従う個のサンプルを抽出したい。ここで、は次元変数であるとする。 ギブスサンプリング 1. 手順 に初期値を与える。 各について、以下のSTEP 3, 4, 5を行う。 各について、以下のSTEP 4, 5を行う。 をからサ…

毎年四の五の言いながら書いている推薦書籍リスト記事ですが、何だかんだで今年も書くことにしました。なお昨年度版の記事を上にリンクしておきましたので、以前のバージョンを読まれたい方はそちらをお読みください。 今回のバージョンでは、趣向をちょっと変えて「定番」と「注目分野」というように分けました。何故こうしたかというと、平たく言って 「初級＆中級向け」推薦書籍リストは定番化していて毎年あまり変更点がない 逆に直近のホットトピックスに関するテキストは毎年入れ替わりが激し過ぎて網羅しづらい という課題があり、特に2点目についてはあまりにもデータサイエンス関連書籍の新規刊行が多過ぎる＆僕自身がその流れにつ…

何をしようとして何をしたのか，そして何をしたいのか やった（完了） ゲーム Her Story 「未解決事件は終わらせないといけないから」の配信見てたらやりたくなってきたのでやった． 見た ハズビンホテル レザボアドッグス Sonny Boy メイズ・ランナー バズビンホテル，レザボア・ドッグスとSonny Boyは面白かった． メイズ・ランナーはなんだろうね． 自分が「そっか…」ってなるだけで実際3部作で完結するまで作られているんだから，それなりに受けた作品ではあると思う． ただ自分が期待ところは地形分かっている先発組＋最後発の男で迷宮内の謎解きだったところでミスマッチが発生した感じ． 読ん…

統計検定準1級にに3回目の挑戦で合格できました。 今回は試験を受けるまでに参考にした書籍をまとめます。 公式テキスト類 これは外せないですね。まずこれをやって、全体感を掴みましょう。 ワークブックの方は膨大な範囲を1冊に収めている関係で、1回読んだだけで理解するのはなかなか骨が折れると思います。 私は途中でKaggleのコンペに出たり、スクラムマスターの資格を取ったりと色々他にも手を出しながらだったので、読み終わるのに1年近くかかりました。 ワークブックの内容をある程度理解したら後述の過去問に移って、わからないところが出てきたらこちらのテキストに戻る、ぐらいの進め方が良さそうです。 日本統計学…

まずね、1年の大計画を元日に立てるのは圧倒的に間違ってるんですよ。 俺ぁ馬鹿だからよぉ、難しーことはわからねぇがよぉ、それが間違ってるってことだけは分かる。 というのは、大それた大目標はそのために日々何をしたらいいかが分からなすぎるから。ということで達成できそうですぐにでも取り掛かれそうな目標だけ立てる。（1/16追記） 結構達成しているので偉い。 が、大まかでもいいので目標期日がないとよくないかと思い、目安を記入することにした。 しかし、達成できなくても萎えないことが大事である。（1/6達成） GP登録する（1/3達成）1月3日までの課題を期限内に提出する （1/18達成）授業の動画を観る（…

B-1 次の記述は、移動通信などのデータ伝送の誤り制御方式の一つである前方誤り訂正(FEC)方式について、図に示す構成例を基に、ブロック符号の一つであるハミング(7,4)符号を例にしてその基本的な原理を述べたものである。⬜︎内に入れるべき宇句を下の番号から選べ。なお、同じ記号の⬜︎内には、同じ字句が入るものとする。 なんだこりゃ！ ア ハミング（7,4）符号ですので、符号長が7に対する情報記号数が4になります。 正解は4ビットです。 詳しくはこちら https://prml.main.ist.hokudai.ac.jp/wp-content/uploads/2020/07/infth2020-…

はじめに ラボ発足前 2020年 春学期 2020年 秋学期 一年目のまとめ この記事は慶應義塾大学杉浦孔明研究室アドベントカレンダー2023の1日目の記事です はじめに 2020年4月に学生3人，秘書さん，ボスの5人でスタートした弊研も，気づけば計23名(2023/11/29時点)となりようやく普通の研究室と同規模になりました．振り返ればこの約4年間色々なことがあったもので，この記事では学生目線でつらつらと振り返っていこうと思います．書いてみたら大ボリュームになりそうだったのでとりあえず第一部(~2020年秋学期)です．思い出話を語る年寄りみたいなテンションで書いたので相当読みにくいかと思い…

PRMLの勉強で参考にしているサイトのメモです。 随時追加・編集していきます パターン認識と機械学習 上作者:C.M. ビショップ丸善出版Amazon 参考頻度 高 PRML解答例まとめ PRML下巻勉強会 からっぽのしょこ：『パターン認識と機械学習』の攻略ノート：記事一覧 参考頻度 中 Beginaid：【目次ページ】PRML演習問題解答を全力で分かりやすく解説！ UvA - Machine Learning 1（動画シリーズ） 参考頻度 高 PRML解答例まとめ 丁寧に式を追っている。問題の網羅性も高い、というか全問？（まだみてない） zenn.dev PRML下巻勉強会 PRML下巻なら…

はじめに CRCの説明 CRC とは 説明資料 概要 理論 計算方法 参考文献 おわりに はじめに PC⇔マイコンで通信を行うときに，シリアル通信を行うことがあると思います． シリアル通信の設定では， ボーレート comポート パリティビット などを設定すると思います． では，パリティビットとは何でしょうか？ どうやらこれは，送りたいデータに対して1bit余分に付けるデータ？のことのようです． では，なぜ付けるのでしょうか？ 実は，データの送受信の際にデータが間違って伝達していないかを判断するために付けているようなのです． こういうものを誤り検出というみたいです． 例えば，パリティビット（偶数…

はじめに 機械学習でも登場する情報理論におけるエントロピーを1つずつ確認していくシリーズです。 この記事では、平均情報量の最大値を扱います。 【前の内容】 www.anarchive-beta.com 【今回の内容】 はじめに 平均情報量の最大値(最大エントロピー)の導出 最大値の計算式 最大値の導出 平均情報量が最大となる確率分布 平均情報量の最大値 可視化 参考文献 おわりに 平均情報量の最大値(最大エントロピー)の導出 平均情報量(average information)の最大値を導出して、グラフで確認します。平均情報量の最大値は最大エントロピー(maximum entropy)とも呼ば…

■ベスト・アルバム501.プライマル・スクリーム/PRML SCRM Live in Japan2.プライマル・スクリーム/XTRMNTR3.アニマル・コレクティヴ/Merriweather Post Pavilion 4.ザ・ミュージック/ザ・ミュージック5.ゆらゆら帝国/空洞です6.The Strokes/Is This It7.Super Furry Animals/Phantom Power8.中村一義/ERA9.ボーズ・オブ・カナダ/The Campfire Headphase10.ダフト・パンク/Discovery 11.ザ・エックス・エックス/xx12.ザ・リバティーンズ/Up …

Index Index マルコフ連鎖モンテカルロ法 / Markov Chain Monte Carlo Method / MCMC 法 目的 Monte Carlo Method / モンテカルロ法 一般論 基本条件 マルコフ連鎖 サンプリング法 メトロポリス・ヘイスティング法 メトロポリス法 評価法 ジャックナイフ法 応用 ランジュバン・モンテカルロ法 参考 書籍 Web サイト マルコフ連鎖モンテカルロ法 / Markov Chain Monte Carlo Method / MCMC 法 目的 確率分布を生成するための方法. Monte Carlo Method / モンテカルロ法 に…