情報理論

私(みこと) クロード・シャノンについて高校生にもわかるように説明してくれる Claude クロード・シャノン：情報の魔法使い なぜ今、シャノンを知るべきなのか？ みなさんが毎日使っているスマホ、インターネット、YouTube、ゲーム...実はこれら全部の基礎を作った人がいます。それがクロード・シャノン（1916-2001）という数学者です。 シャノンって誰？ アメリカの天才数学者・工学者 ミシガン生まれの普通の家庭の子 子どもの頃から機械いじりと数学が大好き マサチューセッツ工科大学（MIT）で学ぶ ベル研究所で働きながら革命的な発見をする シャノンの偉大な発見 1. 情報理論の誕生（194…

数学思考のエッセンス 実装するための12講オリヴァー・ジョンソン水谷淳 訳みすず書房2024年6月17日 第1刷発行NUMBERCRUNCH（2023) 日経新聞2024年8月3日の書評で紹介されていて、気になったので図書館で借りて読んでみた。数学大好きな私としては、「数学思考」といわれるだけでワクワクしちゃう。実際、手にして読んでみたら、チンプンカンプンもたくさんあったけれど、、、楽しい一冊だ。 著者のオリヴァ―・ジョンソンさんは、英国ブリストル大学数学科の情報理論教授。BBC「ラジオ４」にしばしば出演し、X（@BristOliver）にて、数学、音楽、贔屓のサッカーチームなど、さまざまな発…

This is the Japanese translation of this site. ウィリアム・A・デムスキー 2024/2/28 6:56 私の著書『Design Inference』の初版とその続編『No Free Lunch』では、特定された複雑性の正確な情報理論的測度を定義するための舞台を整えました。これがこの連載の主題です。しかし、この概念を明確にするためには、まだ行うべきことがありました。これらの2冊の本では両方とも、特定された複雑性は、一方の側に起こりにくさあるいは複雑性があり、他方の側には特定性があって、それらを組み合わせたものとして扱われていました。

This is the Japanese translation of this site. ウィリアム・A・デムスキー 2024/2/26 15:39 私が今日から始める新連載の主題である「特定された複雑性 (specified complexity)」は、情報の数学的理論の正統な子孫です。しかし、インターネット上でそれについて言われていることを読んでも、そのことは分からないでしょう。特定された複雑性についての『Wikipedia』の記事の冒頭の一文を取り上げてみましょう。「特定された複雑性とは、ウィリアム・デムスキーによって導入された創造論者の論議であり、インテリジェントデザインという疑似…

デイヴィッド・J・チャーマーズ 著 高橋 則明 訳 「リアリティ＋ バーチャル世界をめぐる哲学の挑戦」メモ リアリティ＋（プラス） 上 バーチャル世界をめぐる哲学の挑戦 作者:デイヴィッド・Ｊ・チャーマーズ NHK出版 Amazon リアリティ+(プラス) 下: バーチャル世界をめぐる哲学の挑戦 作者:デイヴィッド・J・チャーマーズ NHK出版 Amazon デイヴィッド・J・チャーマーズ 著 高橋 則明 訳 「リアリティ＋ バーチャル世界をめぐる哲学の挑戦」メモ 第３部 リアリティの定義 第８章 宇宙は情報でできているのか？ ＜まとめ＞ ・「ビットからイット説」は新しい形而上学のアイデアで、…

情報量（Information Quantity）は、情報理論（Information Theory）の概念の一部であり、特定の情報が含まれている程度やその情報の不確かさを表す尺度です。情報理論は、通信、データ圧縮、暗号化、統計学などのさまざまな領域で重要な役割を果たしています。 情報理論における情報量 シャノンエントロピー まとめ 情報理論における情報量 情報量は、一般的に次のような要素に依存します。 イベントの予測の難しさ：情報量は、特定のイベントが予測しにくいほど高くなります。例えば、コイントスの結果を予測することは容易であり、情報量は低いですが、サイコロの出目を予測することは難しく、情…

ホートンの法則（Horton's Law）は、情報科学および情報理論の分野で使われる法則の一つです。この法則は、情報の階層的な組織構造に関連しています。 ホートンの法則は、アメリカの水文学者であるロバート・E・ホートン（Robert E. Horton）によって提唱されました。彼は、水流の研究を通じて、自然システムの階層的なパターンに注目しました。その後、情報科学の分野においても同様のパターンが見られることが明らかになり、ホートンの法則として知られるようになりました。 ホートンの法則によれば、自然や人工のネットワークなど、情報の流れを持つシステムは、階層的なツリー構造を持つ傾向があります。具体…