最小二乗法の確認

さて、昨晩は最小二乗法についての確認をしたのでメモしておこう。

これは

Lxb

Lxの計算結果が極力bになる、そんなxを決めるためには、xに関する方程式、

L^{T}Lx = L^{T}b

を満たすようなxを求めればよいのだったということを思い出している情景を表現してみたものなんだ。まあこの、理論値と実測値との誤差σの表記を、xkで偏微分したものがゼロになるようなxを求める、というところがこの式の導出ではポイントになっているわけだな実際。
しかしこの最小二乗法の機械的に処理できるっぷりはどうだ、ここまで機械的に計算できるのなら、たいていの最適化問題はすぐにでも解けてしまいそうな気がしてこないか。
何を計算すればよいかがわかったなら、あとは具体的な計算方法を企てるだけだ。つまり巷の行列演算ライブラリを入手するか自作するかして、上記の方程式を解いてxを求めるだけだ。
はてなtex数式記法がちゃんと使えればよかったかな。orz..