最小二乗法の復習（４）

最小二乗法で「の値からの値を推定する（最良の）式」と「の値からの値を推定する（最良の）式」は異なることを示す簡単な例を見つけましたので紹介します。
データは以下の４つです。

• 

これらのデータからはが増加するとが増加するのか減少するのかさっぱり分かりません。逆にが増加するとが増加するのか減少するのかさっぱり分かりません。まず、の値からの値を推定するには、の値はの値と無関係なので、の値にだけ注目しての値の平均であると推定しておけば、最良の近似ということになります。一方、の値からの値を推定するのも、同様に考えることが出来てとなります。つまり

• 「の値からの値を推定する（最良の）式」は
• 「の値からの値を推定する（最良の）式」は

となり、両者はまったく異なることが分かります。

• 
  • 緑の線が「の値からの値を推定する（最良の）式」を表し、赤の線が「の値からの値を推定する（最良の）式」を表している。