スマートフォン用の表示で見る

エントロピー

【entropy】無秩序さや乱雑さの度合い。

  1. 熱力学的には、可逆な過程で系に与えられた熱量を系の絶対温度で除したものが過程の前後のエントロピーの差と定義される。
  2. 統計力学的には、系が取りうる状態の数の自然対数?ボルツマン定数をかけた量。
  3. 情報科学的には平均情報量と同義。情報量の期待値。単位はビットになる。

情報科学におけるエントロピー

情報量の計算では、確率 P で起こる事象に関する情報量は-¥log_2 Pビットと計算される。確率 1/8 で起こることなら 3bit、など。稀な事象が起こったという情報ほど情報としての重要性が大きいと言うこと。たとえば「今日は中央線人身事故のため遅れています」という情報はよくあることなので情報量が低い。しかし「阪神日本シリーズで優勝した」という情報は稀なことなので情報量が多い。

なぜ -¥log Pなのかというと、例えば「中央線が止まってて、阪神日本シリーズで優勝した」という情報の情報量はそれぞれの情報量の和になるが、そういう事が起こる確率はこの場合二つの事象がほぼ独立と考えられるので、中央線が止まる確率P_a阪神優勝の確率P_bの積 P_a P_bとなる。¥log (P_a P_b) = ¥log P_a + ¥log P_b となるので、log ならばちゃんと二つの情報量の和になることが分かる。

エントロピー
H(X)=-¥sum_{x ¥in X} p(x) ¥log p(x)
結合エントロピー
H(X,Y) = -¥sum_{x ¥in X}¥sum_{y ¥in Y} p(x,y) ¥log p(x,y)
条件付きエントロピー
H(Y|X) = -¥sum_{x ¥in X}¥sum_{y ¥in Y} p(x,y) ¥log ¥frac{p(x,y)}{p(x)}
相互情報量
I(X;Y) = H(X) + H(Y) - H(X,Y)
不確定性係数
U(Y|X) = ¥frac{H(Y) - H(Y|X)}{H(Y)}
U(X,Y)=2 ¥frac{H(X) + H(Y) - H(X,Y)}{H(X) + H(Y)}