大人になってからの再学習

2011-10-11 シグモイド関数

シグモイド関数


■シグモイド関数の数式表現
シグモイド関数(標準形)は次の式で表される。
f:id:Zellij:20111011234947p:image

■シグモイド関数の形
グラフは次のような形。
f:id:Zellij:20111011234948p:image
xの値が大きくなると値が1に近づく(分母が1に近づくので)
xの値が小さくなると値が0に近づく(分母が∞に近づくので)
xが0の時に値は1/2になる。

下図に示すステップ関数(step function)を滑らかにしたものであると見なすことができる。
f:id:Zellij:20111011235621p:image

■シグモイド関数の性質
微分が自分自身の関数(シグモイド関数)を使って簡単に表現できる。
一階微分はS'(x)=S(x)(1-S(x))で表現される。

■応用
ニューラルネットワークでの、入力に対する応答を表現する関数として用いられる。
ニューラルネットワークの学習において、この関数の微分が用いられるので、微分が容易に求まるシグモイド関数が便利。

■参考
・Artificial Neural Networks/Activation Functions
http://en.wikibooks.org/wiki/Artificial_Neural_Networks/Activation_Functions

・Sigmoid Function (Wolfram MathWorld)
http://mathworld.wolfram.com/SigmoidFunction.html

・バックプロパゲーションでニューラルネットの学習(きしだのはてな)
http://d.hatena.ne.jp/nowokay/20080701/1214915017


はじめての機械学習

はじめての機械学習

学習とニューラルネットワーク (電子情報通信工学シリーズ)

学習とニューラルネットワーク (電子情報通信工学シリーズ)