オートエンコーダ（４）

出力信号を入力信号に最も近付けることがを最小にすることと同等である、というのはなぜでしょうか？
まず、出力信号を入力信号に最も近付けるということを定義しておきましょう。入力信号を与えた時の出力信号をで表します。二乗平均誤差を次の式で定義します。

• ・・・・(12)

そして、出力信号を入力信号に最も近付ける、というのはこのを最小にすることであると定義します。これは点と点の距離の２乗を全データ（個ある）に渡って平均したものと解釈することが出来ます。

さて、今考えているオートエンコーダの構成では、左の図のようにノードの数を入力層、中間層、出力層の順に２、１、２としています。入力層のデータを中間層のニューロンによって座標変換してと変換した場合、中間層にはニューロンが１個しかないのでかのどちらかしか表すことが出来ません。ここでは中間層がを表しているとします。するとは表すことが出来ないので一定の値で代用します。つまりをある定数であるとしてをで表すことになります。


もちろん、とは一致しません。その差はこの２点間の距離で表されます。出力層のニューロンは座標の逆変換をします。本来ならばを逆変換して戻るはずが、を逆変換することになるのでとは異なった値になります。これが出力層の出力信号になります。ではとの距離を考えてみましょう。これはとの間の距離に等しく、となります。よって式(12)は

• ・・・・(13)

となります。まずが最小になるように定数を決めます。このためにはをの平均にすればよいことが分かります。よって

• ・・・・(14)

となります。ところで式(14)の右辺はそのものです。よって

• ・・・・(15)

となります。よって、出力信号を入力信号に最も近付けることはを最小にすることであり、さらにそれはを最小にすることと同等である、ことが分かります。