Proving linearity of expectations

2011-12-25 Proving linearity of expectations

Proving linearity of expectations

Probability

期待値の線形性は期待値の重要な性質の一つです。任意の確率変数の和の期待値は個々の確率変数の期待値の和と等しい、というものです。

この性質を用いると期待値の計算を極めて簡単化することができます。例えば確率変数XとYの和の期待値E[X + Y]はそれぞれの確率変数の期待値の和E[X] + E[Y]と等しくなります。

確率と計算では一般の場合は帰納法を用いることによって証明できるとし、二つの確率変数の場合について計算しています。それぞれの総和はそれぞれの確率変数の値域に属するすべての値を動かしたものです。

一つ目の等号は確率の定理より、最後から2番目の等号は次の全体確率の法則より成り立ちます。

ここで、E_iは相互独立な事象です。

続いて確率と計算では任意の定数cと任意の離散確率変数Xに対して、

が成立することを証明しています。c = 0の場合は明らかであるとし、c ≠ 0として計算しています。

この計算は自分の感覚に合わないようで、とても難解に感じます。特に二つ目の等号の計算がしっくりこないのです。

さておき、一つ目の等号に注目してみましょう。

この式は期待値の定義にとてもよく似ています。

より一般的に言及してみましょう - Xを任意の確率変数とするとき、任意の関数関数g(x)は新たな確率関数g(X)を定義します。このとき新たな確率変数g(X)の期待値E[g(X)]は、次のように計算することができます。

ここでの総和はg(X)の値域に属するすべての値を動かしたものです。

これに加え、E[g(X)]を求めるには確率変数Xの値域に属するすべての値を動かした総和を用いる方法もあります。

まとめると、

この2つの式を必要に応じて使い分けることが出来るようになると期待値の計算がより簡単になります。例えば、先ほどのE[cX]は以下のように計算したほうが直感的であると感じます。

E[X + c]も同様に計算してみましょう。任意の確率変数Xと任意の定数cに対して、以下が成立します。

さて、確率と計算では任意の確率変数の集まりに対して期待値の線形性が成立することを強調しています。例として、明らかな従属関係があるXとX²の和の期待値E[X + X²]がそれぞれの期待値の和E[X] + E[X²]と等しくなると言及しています。

では実際にE[X + X^2]を計算してみましょう。jに関する総和をX^2の値域に属するすべての値を動かしたものとすると、E[X + Y]の計算とほとんど変わらない計算で求めることができることが分かります。

実質的にE[X + g(X)]を計算していることに注目しましょう。

XとX^2の間には明らかな従属関係があることを利用して、g(X)をX + X²と定義して計算するのもよいでしょう。

次にE[X + XY]を計算してみましょう。こちらの例もXとXYの間に明らかな従属関係があることに注意してください。iに対する総和をXの値域に属するすべての値を動かしたものとし、jに対する総和をXYの値域に属するすべての値を動かしたものとすると、やはりE[X + Y]の計算とほとんど変わらない計算で求めることができることが分かります。