Proving linearity of expectations

期待値の線形性は期待値の重要な性質の一つです。任意の確率変数の和の期待値は個々の確率変数の期待値の和と等しい、というものです。

この性質を用いると期待値の計算を極めて簡単化することができます。例えば確率変数XとYの和の期待値E[X + Y]はそれぞれの確率変数の期待値の和E[X] + E[Y]と等しくなります。

確率と計算では一般の場合は帰納法を用いることによって証明できるとし、二つの確率変数の場合について計算しています。それぞれの総和はそれぞれの確率変数の値域に属するすべての値を動かしたものです。

一つ目の等号は確率の定理より、最後から2番目の等号は次の全体確率の法則より成り立ちます。

ここで、Eiは相互独立な事象です。

続いて確率と計算では任意の定数cと任意の離散確率変数Xに対して、

が成立することを証明しています。c = 0の場合は明らかであるとし、c ≠ 0として計算しています。

この計算は自分の感覚に合わないようで、とても難解に感じます。特に二つ目の等号の計算がしっくりこないのです。

さておき、一つ目の等号に注目してみましょう。

この式は期待値の定義にとてもよく似ています。

より一般的に言及してみましょう - Xを任意の確率変数とするとき、任意の関数関数g(x)は新たな確率関数g(X)を定義します。このとき新たな確率変数g(X)の期待値E[g(X)]は、次のように計算することができます。

ここでの総和はg(X)の値域に属するすべての値を動かしたものです。

これに加え、E[g(X)]を求めるには確率変数Xの値域に属するすべての値を動かした総和を用いる方法もあります。

まとめると、

この2つの式を必要に応じて使い分けることが出来るようになると期待値の計算がより簡単になります。例えば、先ほどのE[cX]は以下のように計算したほうが直感的であると感じます。

E[X + c]も同様に計算してみましょう。任意の確率変数Xと任意の定数cに対して、以下が成立します。


さて、確率と計算では任意の確率変数の集まりに対して期待値の線形性が成立することを強調しています。例として、明らかな従属関係があるXとX2の和の期待値E[X + X2]がそれぞれの期待値の和E[X] + E[X2]と等しくなると言及しています。

では実際にE[X + X^2]を計算してみましょう。jに関する総和をX^2の値域に属するすべての値を動かしたものとすると、E[X + Y]の計算とほとんど変わらない計算で求めることができることが分かります。

実質的にE[X + g(X)]を計算していることに注目しましょう。

XとX^2の間には明らかな従属関係があることを利用して、g(X)をX + X2と定義して計算するのもよいでしょう。

次にE[X + XY]を計算してみましょう。こちらの例もXとXYの間に明らかな従属関係があることに注意してください。iに対する総和をXの値域に属するすべての値を動かしたものとし、jに対する総和をXYの値域に属するすべての値を動かしたものとすると、やはりE[X + Y]の計算とほとんど変わらない計算で求めることができることが分かります。

次にiに対する総和をXの値域に属するすべての値を動かしたもの、またjに対する総和をYの値域に属するすべての値を動かしたものとして考えてみましょう。

何か騙されているみたいですね...? E[XY]に関して以下は成り立たないのでしょうか??

この等号は確率変数X、Yが相互独立である場合にのみ成立します。定義より、

XとYが独立である場合、

が成立しますので、

より一般的には、X1、X2、...、Xnが相互独立である場合、以下が成立します。


さて、最後に適切ではない計算の例を紹介しておきましょう。iに対する総和をXの値域に属するすべての値を動かしたもの、またjに対する総和をYの値域に属するすべての値を動かしたものとしてE[X + Y]を考えるとき、以下のように計算してはいけません。

練習としてXとYをそれぞれサイコロの目を表す確率変数として計算し、この計算が成立しないことを確かめるのもよいでしょう。

まとめ

今回のエントリでは期待値の重要な性質の一つ、期待値の線形性の計算について考えました。この性質をより一般的にまとめると次に示すようになります。

期待値の線形性は特性確率変数(指示確率変数、または指標確率変数とも呼ばれます)を用いて確率的解析をするため、また確率変数の分散を考えるために基本的な道具となり、鍵となる性質です。


このエントリを記載するにあたり以下の書籍を参考にしました。

確率と計算 ―乱択アルゴリズムと確率的解析―

確率と計算 ―乱択アルゴリズムと確率的解析―

Probability and Computing: Randomized Algorithms and Probabilistic Analysis

Probability and Computing: Randomized Algorithms and Probabilistic Analysis

アルゴリズムイントロダクション 第1巻 数学的基礎とデータ構造

アルゴリズムイントロダクション 第1巻 数学的基礎とデータ構造

  • 作者: T.コルメン,R.リベスト,C.ライザーソン,Thomas H. Cormen,Ronald L. Rivest,Charles E. Leiserso,浅野哲夫,梅尾博司,和田幸一,岩野和生,山下雅史
  • 出版社/メーカー: 近代科学社
  • 発売日: 1995/12
  • メディア: 単行本
  • 購入: 3人 クリック: 144回
  • この商品を含むブログ (34件) を見る

確率に関しては以下のような記事を記載しています。