修士の頃 VC 次元や Valiant の学習可能性など、汎化能力やモデル選択の話が盛り上がっていました。モデル選択と言えば AIC が有名ということで、修士の途中では AIC について勉強したいなと思っていましたが、甘利先生はあまり面白い話はないみたいな対応だったので結局修論は別テーマで書いて、AIC についてはよく知らないまま電総研に入りました。 AIC についてちゃんと勉強したのはこの情報量統計学でした。そもそも情報量といってもエントロピーもあるしフィッシャー情報量というのもあってその辺り正直よくわかっていませんでした。そもそもクラメールラオの不等式さえ知りませんでした。 そんなにものを…