スマートフォン用の表示で見る

線形基底関数

サイエンス

線形基底関数

せんけいきていかんすう

Linear Basis Function。線形基底関数モデルとは、以下で表現されるモデル。

y(¥bf{x}, ¥bf{w}) = w_0 + ¥sum^{M-1}_{j=1}w_j ¥phi_j (¥bf{x})

基底関数 ¥phi には、以下の物が使われることが多い。

基底関数非線形関数を使うことにより、線形基底関数モデルで非線形関数を表現できる。また、基底関数が無限個の完備系(完全系)関数からなる場合、任意の関数を表現できる。特に、完備正規直交系の場合、パラメータは一意に定まる。

二乗和誤差関数

二乗和誤差関数パラメータ偏微分すると、y^aを教師データとし、以下の通り。

¥frac{¥partial E(¥bf{x})}{¥partial w_j} = ¥[ y(¥bf{x}, ¥bf{w}) - y^a(¥bf{x}) ¥] ¥phi_j (¥bf{x})

二乗和誤差関数を最小にするパラメータは、

  1. 特異値分解(SVD)を使って、連立方程式を解く方法
  2. 勾配法などで、最適化問題を解く方法

などの解法で求まる。局所解は1つしかなく、それが最小解である。局所解が一つしかなく、かつ、その場所を容易に求めることができるので、同じパラメータ数であれば、非線形モデルよりも計算量が少ない。