2010-07-03
■[PRML][勉強会] 第３回 パターン認識と機械学習(PRML) 復習レーン に参加してきた 
第３回 パターン認識と機械学習(PRML) 復習レーン に参加してきました。
ATND: PRML復習レーン（第3回） : ATND
Google Group: 生駒PRML（パターン認識と機械学習）読書会 | Google グループ
Twitter Time Lineまとめ(Togetter)と、各講師の方々の資料、メモを、覚書きとして以下に記載します。
※各講師資料、アップされたら追加更新します。
Togetter
第3回 パターン認識と機械学習 復習レーン #PRMLrevenge #03 - Togetter
第2章（前回）のおさらい
2.1 (@ajiyoshi)
2.2-3 (@nokuno)
id:nokuno さんのエントリ：ディリクレ分布の可視化 - nokunoの日記
2.4 (@_kohta)
§2.3.4 - 5 (@sleepy_yoshi)
§2.3.4 ガウスの最尤推定
・十分統計量
・平均の最尤推定解
・分散の最尤推定解
・最尤推定解の期待値
§2.3.5 逐次推定
全てのデータ点を一括処理することが不可能な大規模データを扱う
・平均の最尤推定量
・Robbins-Mornoアルゴリズム
・ガウス分布の平均の逐次推定
§2.3.6 (@takmin)
§2.3.6 ガウス分布に対するベイズ推論
[経歴] 画像認識のサービス開発・研究
技術連載記事：no title
顔ちぇき：ページが見つかりませんでした - 株式会社モバイルファクトリー
コンピュータビジョン最先端ガイド勉強会： CVIMチュートリアル勉強会 | Google グループ
id:takmin さんのエントリ：第三回「パターン認識と機械学習」読書会復習レーンで発表してきました - takminの書きっぱなし備忘録
§2.3.7〜9 (@naoya_t)
§2.3.7 Studentのt分布
・外れ値の影響を受けづらい。ガウス分布に対し裾野が長いため(ガウス分布の無限和になっている）
・ν=1で Cauchy分布
・ν→∞で 平均μ、精度λのガウス分布になる
・最尤解はEMアルゴリズムで算出
参考：t分布 - Wikipedia, コーシー分布 - Wikipedia
§2.3.8 周期変数
関連：ベッセル関数 - Wikipedia,フォン・ミーゼス分布 - Wikipedia
§2.3.9 混合ガウス分布
・十分な数のガウス分布をそれぞれの平均と分散を調整しつつ線形結合。ほぼ任意の連続なみづど関数を任意の精度で禁じできる。
※関連：「第3回データマイニング+WEB勉強会＠東京」でR言語を用いた 混合分布を用いたクラスター分析を紹介しています R勉強会： 第３回データマイニング+WEB 勉強会＠東京 (Tokyo.Webmining#3) を開催しました−「R言語による クラスター分析 -活用編-」 - hamadakoichi blog
§2.4 (@jaisalmer992)
§2.4 指数型分布族
・ベルヌーイ分布(Bernoulli Distribution)
・ロジスティックシグモイド分布 (Logistic Sigmoid Function)
・多項分布 (Multinominal Function)
§2.4.1 最尤推定と十分統計量
§2.4.2 共役事前分布
§2.4.3 無情報事前分布
§2.5 (@sleepy_yoshi)
§2.5ノンパラメトリック法
・ヒストグラム推定法
ヒストグラムを一度推定した後はデータ保持の必要がない。
2.5.1 カーネル密度推定法
・イメージ：データ点を中心とするガウス分布を考える。
2.5.2 最近傍法
・各領域の中に入る点の数を固定する。入るまで領域を広げる。
・k近傍分類器：イメージ; k個の要素の多数決で結果を決める。
・誤分類率
参考：no title
§3.1 @smly
エントリ： 線形回帰モデルとか - Standard ML of Yukkuri
3.1 線形基底関数モデル
3.1.1 線形基底関数モデル最尤推定と最小二乗法
3.1.2 最小二乗法の幾何学
3.1.3 逐次学習
3.1.4 正則化最小二乗法
3.1.5 出力変数が多次元の場合
関連：Elements of Statistical Learning: data mining, inference, and prediction.2nd Edition.
基調講演 グラフスパース化@smly
・b-マッチンググラフ による効率的なスパース化
・既存研究：半教師あり語義曖昧性解消。グラフスパース化 (k近傍グラフ)。
・半教師あり学習は計算量が大きい。データ類似度のO(n^2)の
・PVM(Zhang+, ICML 2009)
・AGR(Weit, ICML 2010):予測値を、アンカーポイントの予測値の線形結合として決める。
書籍
- 作者: C. M.ビショップ,元田浩,栗田多喜夫,樋口知之,松本裕治,村田昇
- 出版社/メーカー: シュプリンガー・ジャパン株式会社
- 発売日: 2007/12/10
- メディア: 単行本
- 購入: 18人 クリック: 1,588回
- この商品を含むブログ (108件) を見る
- 作者: C. M.ビショップ,元田浩,栗田多喜夫,樋口知之,松本裕治,村田昇
- 出版社/メーカー: シュプリンガー・ジャパン株式会社
- 発売日: 2008/07/11
- メディア: 単行本
- 購入: 19人 クリック: 443回
- この商品を含むブログ (61件) を見る
。
エントリ
関連
- Christopher M. Bishop(原書サポートページ)
- PRML - 機械学習の「朱鷺の杜Wiki」(日本語サポートページ)
- PRML/course - 機械学習の「朱鷺の杜Wiki」
- Christopher M. Bishop
言語処理のための機械学習入門 (自然言語処理シ...
2010-05-11
■[PRML][勉強会] 第１回パターン認識と機械学習(PRML)復習レーン で話してきた −第１章「多項式曲線フィッティング」「確率論」 
第１回パターン認識と機械学習(PRML)復習レーン (2010/05/01)で話してきた。
PRML 第１章 §1.1-1.2まで(P.1-31)の内容、「多項式曲線フィッティング」と「確率論」。
双方向形式の進行で質疑応答も含め150分ほどの進行。ホワイトボードを用い、皆で数式展開等行い議論を進める進行スタイル PRMLの素敵ですね。 私の双方向形式の講義進行で発言・質問して下さった方々、休憩中で話せた方々、どうもありがとうございました。
講師資料
当日の資料に指摘頂いた図表を追加し、資料公開しています。
AGENDA
書籍
- 作者: C. M.ビショップ,元田浩,栗田多喜夫,樋口知之,松本裕治,村田昇
- 出版社/メーカー: シュプリンガー・ジャパン株式会社
- 発売日: 2007/12/10
- メディア: 単行本
- 購入: 18人 クリック: 1,588回
- この商品を含むブログ (108件) を見る
- 作者: C. M.ビショップ,元田浩,栗田多喜夫,樋口知之,松本裕治,村田昇
- 出版社/メーカー: シュプリンガー・ジャパン株式会社
- 発売日: 2008/07/11
- メディア: 単行本
- 購入: 19人 クリック: 443回
- この商品を含むブログ (61件) を見る
