→エントロピー
概要 情報理論の知識を使ってポケモンWordle(今更)を効率的に解きたい． 結合エントロピーや相互情報量の考え方で早く解ける気がする． 書いてあることがあってるかは知らん． はじめに 情報理論とエントロピー 条件付きエントロピー ちょっとした計算例 実際にやってみる まとめ はじめに 題材にさせていただいたポケモンWordle様（https://wordle.mega-yadoran.jp/） 参考にした教科書（中川聖一．電子工学・技術科学シリーズ 情報理論の基礎と応用，近代科学社） みなさんは，ポケモンWordle（https://wordle.mega-yadoran.jp/）というゲー…
はじめに 本記事は前回記事の続編に相当する． 前回記事では声優統計コーパスの3話者・3感情の音声データに対してx-vector抽出器を適用し，UMAPで可視化を試みた． この可視化の実験を通じて，感情成分が分離できていない傾向が見られた．すなわち，本来は話者3クラスにも関わらず，疑似的な9クラス（= 3話者 × 3感情） が存在するように見える，というものである（x-vector抽出器の学習データを考えてみれば，それはそうなのだが）．せっかくx-vectorが手元にあるのだから，感情成分を分離/除去するフィルタの役割を果たす手法を実装してみたいと考えた．本記事はその実装の詳細と簡単な検証実験に…
はじめに 機械学習でも登場する情報理論におけるエントロピーを1つずつ確認していくシリーズです。 この記事では、相互情報量を扱います。 【前の内容】 www.anarchive-beta.com 【今回の内容】 はじめに 相互情報量の定義 定義 相互情報量の定義式 他のエントロピーとの関係 エントロピー KL情報量 エントロピーの性質 可視化 結合確率と条件付き確率のヒートマップ 自己情報量のヒートマップ 参考文献 おわりに 相互情報量の定義 相互情報量(mutual information)の定義を数式とグラフで確認します。また、各種エントロピーの関係を確認します。エントロピーについては「平均…
はじめに 機械学習でも登場する情報理論におけるエントロピーを1つずつ確認していくシリーズです。 この記事では、条件付きエントロピーを扱います。 【前の内容】 www.anarchive-beta.com 【今回の内容】 はじめに 条件付きエントロピーの定義 定義 条件付き確率の定義式 条件付きエントロピーの定義式 他のエントロピーとの関係 可視化 インデックスの確認 条件付き確率のヒートマップ 自己情報量のヒートマップ 参考文献 おわりに 条件付きエントロピーの定義 依存関係のある事象に関する平均情報量(avarage information)である条件付きエントロピー(conditional…
はじめに 機械学習でも登場する情報理論におけるエントロピーを1つずつ確認していくシリーズです。 この記事では、平均情報量の最大値を扱います。 【前の内容】 www.anarchive-beta.com 【今回の内容】 はじめに 平均情報量の最大値(最大エントロピー)の導出 最大値の計算式 最大値の導出 平均情報量が最大となる確率分布 平均情報量の最大値 可視化 参考文献 おわりに 平均情報量の最大値(最大エントロピー)の導出 平均情報量(average information)の最大値を導出して、グラフで確認します。平均情報量の最大値は最大エントロピー(maximum entropy)とも呼ば…
機械学習 #まとめ編 yhayato1320.hatenablog.com Index Index 情報量 エントロピー / Entropy 相互情報量 交差エントロピー / Cross Entropy KL Divergence / 相対エントロピー JS Divergence 参考 書籍 Web サイト 情報量 エントロピー / Entropy 離散確率変数 を考え、この変数に対するある特定の値を観測したときに どれだけの情報を受け取るか. 相互情報量 交差エントロピー / Cross Entropy 交差エントロピー ja.wikipedia.org KL Divergence / 相対…
こんにちは！ 画像システムグループで機械学習エンジニアをやっている小島です。 この記事では、今ホットな「Zero-shot Learning」と「Vision & Language」に関する最新情報を、CLIPという研究を起点として網羅的にサーベイをしていきます。このために論文1000本に目を通し、70本程度を記事にしました。 Zero-shotやVision & Languageは、Stable Diffusionに代表される画像生成AIとも密接に関連している技術です。この記事を通して、Vision & Languageの奥深い世界を体感できるでしょう。 注意事項 この記事は非常に長いため、…
こんにちは。CTO室リサーチャーの鈴木です。今回は、深層学習の分野でここ数年盛り上がっているContrastive Learning系の手法について、主だった論文を系統的にまとめて紹介したいと思います。 はじめに 近年発展した自己教師あり学習（Self-Supervised Learning：SSL）は、アノテーション情報を人の手ではなく機械的に付与することで、データセットの構築にかかる時間やコストを軽減し、深層学習モデルの精度向上を目指した手法です。自然言語処理分野におけるSSLは大きな成功を収め、ChatGPT等の超高性能なチャットボットの出現にも影響を与えました。 SSLは主に深層学習モ…
文献はもちろん M. A. Nielsen, I. L. Chuang, "Quantum Computation and Quantum Information" (2nd ed.), Cambridge University Press (2010) です． この手の解説は無限にあると思うし，なんなら古い教科書なので最近の発展を一切含まない話なので，私以外の人にとってはこれを読む価値は全くないのですが，アウトプットしようと思わないとすべてを忘れて何も残らない (超重要) ので，ブログに残しておきます．その1は12.1節しかcoverしていません． No-cloning Theorem みん…
マクスウェルの悪魔 悪魔エントロピー熱力学第二法則 マクスウェルの悪魔（マクスウェルのあくま、Maxwell's demon）とは、1867年ごろ、スコットランドの物理学者ジェームズ・クラーク・マクスウェルが提唱した思考実験、ないしその実験で想定される架空の、働く存在である。マクスウェルの魔、マクスウェルの魔物、マクスウェルのデーモンなどともいう。 分子の動きを観察できる架空の悪魔を想定することによって、熱力学第二法則で禁じられたエントロピーの減少が可能であるとした。 熱力学の根幹に突き付けられたこの難問は1980年代に入ってようやく一応の解決を見た。 マクスウェルの提起した問題 マクスウェル…
←ホーム 確率、情報の哲学 確率とは何か 古典確率とラプラスの無知解釈、エントロピー最大の原理 客観確率と頻度主義 主観確率とベイズ主義 数学的な確率モデルと現実世界の確率の関係 因果関係とは何か、因果関係と相関関係 ヒュームの因果説 情報とは何か 確率 確率の定義 確率の公理 論理演算と確率の演算、ベイズの定理 確率変数 確率変数と確率分布関数 特性関数 累積分布 確率母関数 積率母関数 特性値 期待値、分散、標準偏差 中央値 積率 歪率・尖度 共分散、相関係数、無相関 スペクトル分析 パワースペクトル密度 確率変数についての定理 大数の定理 中心極限定理 いろいろな確率分布 離散確率分布 …
応用数学 行列計算 確率・統計 情報理論 機械学習 機械学習の基礎 学習アルゴリズム 機械学習課題 ハイパーパラメータ 検証集合 最尤推定 実用的な方法論 性能指標 (損失関数) ハイパーパラメータの選択 方法 強化学習 深層学習 順伝播型ネットワーク 深層モデルのための正則化 深層モデルのための最適化 畳み込みネットワーク 回帰結合型ニューラルネットワークと再帰的ネットワーク 生成モデル 深層強化学習 深層学習の適用方法 画像認識 画像の局在化・検知・セグメンテーショ 自然言語処理 音声処理 様々な深層学習 グラフニューラルネットワーク スタイル変換 距離学習 Metric Learning…
2023.01.22記 [2] 2つの整数 と が を満たすとする．また，関数 を （） と定める．ただし， は自然対数を表す．また， を自然対数の底とする．以下の設問に答えよ．(1) が成り立つことを示せ．(2) を満たす任意の整数 に対して が成り立つことを示せ．(3) が成り立つことを示せ．本問のテーマ シャノンエントロピー タイプ理論2023.01.22記 二項定理の の対数が （）となることに気付けば， [2] 2つの整数 と が を満たすとし，）とおくとする．(1) が成り立つことを示せ．(2) を満たす任意の整数 に対して， が成り立つことを示せ．(3) が成り立つことを示せ．と…
ふわっとかきます。ちゃんと書くと大変なので。 information theory とかよりも mathematical structure の話です。もっと言うと「認知」の話です。 私たちは様々な「データ」を得て、「情報」を受け取ります。私はその情報が多いほうが面白いと思っています。 が、ここで「情報が多い」というのはどういうことなのか、ということを考えなければなりません。 例えばランダムノイズで生成された膨大なデータに情報がどれくらい入ってるかというと、無です。0 です。 つまりデータ量と情報量には相関がありません。じゃあ情報とは何でしょうか。 ここで私が捉えている「情報」という概念は「そ…
本日読了。 情報理論 Math＆Science (ちくま学芸文庫) 作者:甘利俊一 筑摩書房 Amazon 良書。いろいろと雑談が書かれており、概念的理解の助けになる。 エントロピーは、情報の不確かさ具合。情報を得るとエントロピーは下がり、エントロピーの差が情報量になる。相互情報量は、一方を知った時にもう一方を推定できる度合い（独立でない度合い）。 一定の不確かさ具合で情報を発信する機能を情報源と呼ぶ。情報源のエントロピーが定義できる。情報源から出る情報が、時間的前後で相関がある場合、実効のエントロピーは下がる。これを、情報源の冗長度と呼ぶ。冗長な情報源のふるまいは、短時間では予想がつかないが…
ai-scholar.tech
logics-of-blue.com
aidiary.hatenablog.com
ja.wikipedia.org
www.yobology.info
camberbridge.github.io
www.slideshare.net
