■□■ 本書の特長 ■□■ ★ ベイズ理論に基づく統一された説明:ベイズ理論に基づく統計的予測技術は,計算アルゴリズムの開発と計算機の性能向上によって,急速に進展しました.本書は,このベイズ理論の観点で統一的に整理された視点で,各種の機械学習・パターン認識の理論や手法を解説しています.
★ 基本から発展までバランスとれた構成:本書は,確率入門・決定理論・回帰問題・識別問題のような基本的で平易な話題から始まっています.これらの基本をふまえた上で,90年代に登場したサポートベクトルマシンやブースティングといった手法,機械学習アルゴリズムの適用範囲を広げたカーネルトリックやグラフィカルモデル,およびベイズ理論の実用化にあたって不可欠だったMCMCや変分ベイズといった高度な話題までを学ぶことができます.
★ カラーの図による直観的な説明:機械学習・パターン認識の本は数式による説明だけになりがちです.本書はこうした形式的な説明に加えて,図を用いた直観的な説明も加えています.イメージを伴った理解は,機械学習手法を応用問題に適用するときや,新たなアイデアを創出するときに役立つことでしょう.さらに,多くの図がカラーで収録されている,日本の情報科学分野の本では希少な本です.
★ 豊富な演習問題:本書は演習問題も豊富で,400問以上収録されています.これらの問題は自身の理解度を確認するのに役立つでしょう.
■□■ 各章の内容 ■□■
★ 第1章:序論:機械学習の大きな枠組みと,確率と情報理論の基本について学びます.
まず,パターン認識・機械学習の基本的な枠組みである教師あり学習や教師なし学習などを紹介します. ベイズの定理,期待値,分散などの確率の基礎を学んだあと,最尤推定などの基本的な推定手法に加えて,交差確認法や次元の呪いといった重要な注意事項について述べます. 損失関数を最小にするという決定理論に続き,エントロピーやカルバック-ライブラーダイバージェンスなどの情報理論の基礎について述べます.
★ 第2章:確率分布:二項分布やガウス分布などの各種の確率分布について学びます.
これらの分布について,ベイズ推定をしたときの事前分布や事後分布の具体的な形を導きます.また,逐次推定,指数型分布族,共役事前分布,無情報事前分布などの確率分布に関する事項も合わせて述べます.最後に,カーネル密度推定や最近傍法などのノンパラメトリック手法を紹介します.
★ 第3章:線形回帰モデル:教師あり学習の双璧の一つ回帰問題について学びます.
基本的な線形回帰から始め,その逐次推定や,正則化を導入したリッジ回帰,バイアス-バリアンスなどの発展的な内容を取り上げます.さらに,こうした最尤推定による方法に加えて,ベイズ推定による方法に移り,ベイズの観点からのモデル選択と,これらを行うためのエビデンス近似を述べます.
★ 第4章:線形識別モデル:もう一つの重要な教師あり学習である識別問題について学びます.
基本である線形の識別手法であるフィッシャーの判別分析やパーセプトロンをまず述べます.その後,生成モデルや識別モデルの考えと,具体的な手法を紹介します.この識別問題の場合でも,ベイズ推定の場合を紹介します.
★ 第5章:ニューラルネットワーク:代表的な機械学習の手法であるニューラルネットについて学びます.
ニューラルネット自体の紹介に続いて,誤差逆伝播法による学習について述べます. 勾配降下法による最適化と,そのために必要なヘッセ行列の近似を紹介します.このニューラルネットについても,正則化やベイズ推定の拡張をします.
★ 付録:データ集合,確率分布の一覧,行列の性質,変分法,ラグランジュ乗数
