ブログトップ 記事一覧 ログイン 無料ブログ開設

hamadakoichi blog このページをアンテナに追加 RSSフィード

2010-07-03

[][] 第3回 パターン認識機械学習(PRML) 復習レーン に参加してきた  第3回 パターン認識と機械学習(PRML) 復習レーン に参加してきた - hamadakoichi blog を含むブックマーク  第3回 パターン認識と機械学習(PRML) 復習レーン に参加してきた - hamadakoichi blog のブックマークコメント

第3回 パターン認識機械学習(PRML) 復習レーン に参加してきました。

ATND: PRML復習レーン(第3回) : ATND

Google Group: Google グループ

Twitter Time Lineまとめ(Togetter)と、各講師の方々の資料、メモを、覚書きとして以下に記載します。

※各講師資料、アップされたら追加更新します。

Togetter

第3回 パターン認識と機械学習 復習レーン #PRMLrevenge #03 - Togetter

第2章(前回)のおさらい

2.1 (@)

2.2-3 (@)

ベイズ学習.pdf

id:nokuno さんのエントリ:Yoh Okunoの日記


2.4 (@)

§2.3.4 - 5 (@)

§2.3.4 ガウス最尤推定

・十分統計

・平均の最尤推定

・分散の最尤推定

最尤推定解の期待値

§2.3.5 逐次推定

全てのデータ点を一括処理することが不可能な大規模データを扱う

・平均の最尤推定

・Robbins-Mornoアルゴリズム

 尤度関数の当該パラメータの停留点(最尤値)を算出する

ガウス分布の平均の逐次推定

§2.3.6 (@)

§2.3.6 ガウス分布に対するベイズ推論

[経歴] 画像認識のサービス開発・研究

 技術連載記事:OpenCVで学ぶ画像認識:特集|gihyo.jp … 技術評論社

 顔ちぇきno title

 コンピュータビジョン最先端ガイド勉強会Google グループ

資料:ガウス分布に対するベイズ推論

f:id:hamadakoichi:20100703154736j:image:w200f:id:hamadakoichi:20100703160337j:image:w200f:id:hamadakoichi:20100703160338j:image:w200f:id:hamadakoichi:20100703160339j:image:w200f:id:hamadakoichi:20100703160340j:image:w200f:id:hamadakoichi:20100703160341j:image:w200f:id:hamadakoichi:20100703161004j:image:w200

id:takmin さんのエントリ:第三回「パターン認識と機械学習」読書会復習レーンで発表してきました - takminの書きっぱなし備忘録

§2.3.7〜9 (@)

§2.3.7 Studentのt分布

・外れ値の影響を受けづらい。ガウス分布に対し裾野が長いため(ガウス分布の無限和になっている)

ガウス分布で、ガンマ分布を事前分布とし精度を積分消去

・ν=1で Cauchy分布

・ν→∞で 平均μ、精度λのガウス分布になる

・最尤解はEMアルゴリズムで算出

参考:t分布 - Wikipedia, コーシー分布 - Wikipedia

§2.3.8 周期変数

関連:ベッセル関数 - Wikipedia,フォン・ミーゼス分布 - Wikipedia

§2.3.9 混合ガウス分布

・十分な数のガウス分布をそれぞれの平均と分散を調整しつつ線形結合。ほぼ任意の連続なみづど関数を任意の精度で禁じできる。

最尤推定解をEMアルゴリズム

※関連:「第3回データマイニング+WEB勉強会東京」でR言語を用いた 混合分布を用いたクラスター分析を紹介しています R勉強会: 第3回データマイニング+WEB 勉強会@東京 (Tokyo.Webmining#3) を開催しました−「R言語による クラスター分析 -活用編-」 - hamadakoichi blog

§2.4 (@)

§2.4 指数型分布族

・ベルヌーイ分布(Bernoulli Distribution)

ロジスティックシグモイド分布 (Logistic Sigmoid Function)

・多項分布 (Multinominal Function)

§2.4.1 最尤推定と十分統計
§2.4.2 共役事前分布
§2.4.3 無情報事前分布

§2.5 (@)

§2.5ノンパラメトリック

ヒストグラム推定法

ヒストグラムを一度推定した後はデータ保持の必要がない。

2.5.1 カーネル密度推定法

・原点を中心とするカーネル立方体の領域内の点の数を数える。

・イメージ:データ点を中心とするガウス分布を考える。

2.5.2 最近傍法

・各領域の中に入る点の数を固定する。入るまで領域を広げる。

・k近傍分類器:イメージ; k個の要素の多数決で結果を決める。

・誤分類率

参考:no title

§3.1 @

エントリ:Standard ML of Yukkuri

3.1 線形基底関数モデル
3.1.1 線形基底関数モデル最尤推定と最小二乗法
3.1.2 最小二乗法の幾何学
3.1.3 逐次学習
3.1.4 正則化最小二乗法
3.1.5 出力変数が多次元の場合

関連:no title

基調講演 グラフスパース化@

・b-マッチンググラフ による効率的なスパース

・既存研究:半教師あり語義曖昧性解消。グラフスパース化 (k近傍グラフ)。

・半教師あり学習は計算量が大きい。データ類似度のO(n^2)の

・PVM(Zhang+, ICML 2009)

・AGR(Weit, ICML 2010):予測値を、アンカーポイントの予測値の線形結合として決める。


書籍

エントリ

関連

2010-05-11

[][] 第1回パターン認識機械学習(PRML)復習レーン で話してきた −第1章「多項式曲線フィッティング」「確率論」  第1回パターン認識と機械学習(PRML)復習レーン で話してきた −第1章「多項式曲線フィッティング」「確率論」 - hamadakoichi blog を含むブックマーク  第1回パターン認識と機械学習(PRML)復習レーン で話してきた −第1章「多項式曲線フィッティング」「確率論」 - hamadakoichi blog のブックマークコメント

第1回パターン認識機械学習(PRML)復習レーン (2010/05/01)で話してきた。

PRML 第1章 §1.1-1.2まで(P.1-31)の内容、「多項式曲線フィッティング」と「確率論」。

PRML復習レーン(第1回) : ATND


双方向形式の進行で質疑応答も含め150分ほどの進行。ホワイトボードを用い、皆で数式展開等行い議論を進める進行スタイル PRMLの素敵ですね。 私の双方向形式の講義進行で発言・質問して下さった方々、休憩中で話せた方々、どうもありがとうございました。

講師資料

当日の資料に指摘頂いた図表を追加し、資料公開しています。

AGENDA

書籍

全体進行/担当箇所

内容担当者
§1.1id:hamadakoichi (Twitter: [http://twitter.com/hamadakoichi:title=@hamadakoichi])
§1.2id:hamadakoichi (Twitter: [http://twitter.com/hamadakoichi:title=@hamadakoichi])
§1.3yadokarielectric
§1.4id:naoya_t (Twitter: [http://twitter.com/naoya_t:title=@naoya_t])
§1.5id:naoya_t (Twitter: [http://twitter.com/naoya_t:title=@naoya_t])
§1.6id:sleepy_yoshi (Twitter: [http://twitter.com/sleepy_yoshi:title=@sleepy_yoshi])

関連リンク