情報理論―甘利俊一著

文庫本で1300円(税別)もするのでここ数週間躊躇していたのですが、買ってしまいました。まだ始めのほうしか読んでいませんが、名著に出会ったかもしれないという予感がしています。(早々ラグランジュの未定係数法で「あれっ 何でこれで求まるんだろう?」とつまずくことがありましたが・・・。) 原書は1970年の出版ですが、今でも充分新しい内容ではないかと思っています。

本書の最後の方では、連続信号の理論と情報の幾何学について触れた。これは情報幾何学としてその後に発展し統計学の基礎となるとともに、画像情報、機械学習、神経回路網など、多くの分野で利用されている。いまではこれをめぐる国際会議がいくつも開かれるようになった。本書にその思想の始まりを見ることもできよう。


情報理論  文庫版あとがき」より

何とかここまでたどり着いて情報幾何学とは何なのかイメージだけでもつかみたいと思っています。

専門家でない人たちが、情報理論の考え方と仕組みを直感的に理解する助けとなることを願っている。


情報理論  文庫版あとがき」より

はい、理解したいです。


内容

  • 第1章 情報の数量的認識
  • 第2章 雑音のない通話路による情報伝送
    • 第1節 雑音のない離散通話路
    • 第2節 符号化による冗長度の除去
  • 第3章 雑音のある通話路での情報伝送
    • 第1節 雑音のある離散通話路の容量
    • 第2節 誤り訂正符号
  • 第4章 連続情報と信号空間
    • 第1節 連続信号のエントロピー
    • 第2節 信号空間の構成
    • 第3節 連続通話路
    • 第4節 信号空間の情報幾何学
  • 第5章 信号空間の写像と通信系の理論
    • 第1節 通信系の構造
    • 第2節 連続通信系の理論