2014-09-12

いままで $A$ が任意でしたので、ここで

$A=\frac{a\beta}{\gamma}$ ・・・・(30)

とおくと「１個のニューロンの学習（７）」の式(29)

$-2aA\vec{S}\cdot\vec{Q}(k)+a^2\vec{Q}(k)^2{\le}-2aA\gamma+a^2\beta$ ・・・・(29)

は

$-2aA\vec{S}\cdot\vec{Q}(k)+a^2\vec{Q}(k)^2{\le}-a^2\beta$ ・・・・(31)

となります。ところで $\gamma=0$ ですと式(30)は成り立ちません。 $\gamma\neq{0}$ と言えるのでしょうか？　「１個のニューロンの学習（６）」の式(14)

$\vec{S}\cdot\vec{v}(i)>0$ ・・・・(14)

と「１個のニューロンの学習（７）」の式(27)

$\gamma=\min_{i=1,...,m}\vec{S}\cdot\vec{v}(i)$ ・・・・(27)

から $\gamma>0$ を言うことが出来ます。なので式(30)は成り立ちます。さて、 $\beta$ の定義である式(25)から $\beta$ は正なので式(31)から

$-2aA\vec{S}\cdot\vec{Q}(k)+a^2\vec{Q}(k)^2<0$

が言えます。さて式(31)は上の式より有用です。式(31)と「１個のニューロンの学習（７）」の式(23)

$\left(\vec{s}_{k+1}-A\vec{S}\right)^2{\le}\left(\vec{s}_k-A\vec{S}\right)^2-2aA\vec{S}\cdot\vec{Q}(k)+a^2\vec{Q}(k)^2$ ・・・・(23)

から

$\left(\vec{s}_{k+1}-A\vec{S}\right)^2{\le}\left(\vec{s}_k-A\vec{S}\right)^2-a^2\beta$

同様に考えて

$\left(\vec{s}_k-A\vec{S}\right)^2{\le}\left(\vec{s}_{k-1}-A\vec{S}\right)^2-a^2\beta$

・・・・

$\left(\vec{s}_2-A\vec{S}\right)^2{\le}\left(\vec{s}_1-A\vec{S}\right)^2-a^2\beta$

これらの式から

$\left(\vec{s}_{k+1}-A\vec{S}\right)^2{\le}\left(\vec{s}_1-A\vec{S}\right)^2-ka^2\beta$ ・・・・(32)

式(32)の左辺は非負なので

$0{\le}\left(\vec{s}_1-A\vec{S}\right)^2-ka^2\beta$

よって

$ka^2\beta{\le}\left(\vec{s}_1-A\vec{S}\right)^2$
$k{\le}\frac{\left(\vec{s}_1-A\vec{S}\right)^2}{a^2\beta}$ ・・・・(33)

つまり $k$ には上限があるということです。 $k$ はニューロンが $\vec{s}$ を修正した回数を表していますので、よって、修正の回数には上限があるということになり、いつかは修正が止まるということです。つまり、やがて全てのパターンに対して修正が不要になるということで、全てのパターンに対して正解を出力するということになります。よって、ニューロンの学習は必ず成功します。
おもしろいのは、 $a$ の値がいくつであっても $a>0$ でありさえすればニューロンの学習は成功するということです。 $a<0$ では式(23)を導くことが出来ないので学習の成功は証明できません。また $a=0$ であるとすると $\vec{s}$ は変化しないので学習は成り立ちません。 $a>0$ であることが必要です。

以上の証明は、ネットに出ていた石井健一郎名古屋大学教授の「パーセプトロンの収束定理の証明」を参考に致しました。

工場統計力学（建設中！）

１個のニューロンの学習（８）