ryamadaの遺伝学・遺伝統計学メモ このページをアンテナに追加 RSSフィード

数学・コンピュータ関連の姉妹ブログ『ryamadaのコンピュータ・数学メモ』
京都大学大学院医学研究科ゲノム医学センター統計遺伝学分野のWiki
講義・スライド
医学生物学と数学とプログラミングの三重学習を狙う学習ツール
駆け足で読む○○シリーズ
ぱらぱらめくるシリーズ
カシオの計算機
オンライン整数列大辞典

2014-03-23 関数空間 lp空間

[][][][][]関数空間 lp空間

  • こちらでGaussian Sequence Modelをなぞっている。その一環
  • 第3章 p58に"Suppose that ¥theta is restricted to lie in a parameter space ¥Theta ¥subset l_2"っていうフレーズがある。これがわからない…
    • 今、考えている『対象』があって、たとえば、1次元空間Rを台とする空間に何か曲線のようなものが『真値』としてあるようだが、その曲線に乱雑項を持って観測されているとする。
    • そのとき、『真値』たる曲線を¥thetaとする。連続空間だから、この¥thetaを地道にすべての値ペア((x,y);x ¥in R)とかで定義することもできるけど、∞の要素数になるし、やってられない。
    • それを、限定された数のパラメタで表せる関数に限定する、という意味
    • さらに、そのパラメタのセットで表された関数の1つ1つは、パラメタ空間上の点に対応するけれど、その関数が置かれているパラメタ空間はl_2ノルムで定義されたL_2関数空間であって、それを¥Thetaと書くことにしよう、ということ(らしい)
  • 以下に、この説明に出てくる用語に関する記事へのリンク
  • 関数空間
    • 関数の全体を幾何学的な考察の対象としてとらえたもの。その空間において連続・微分可能などの条件を満たせば、その空間上に尤度関数が置かれたりして最大尤度をもたらす関数に対応する点が見つかったりする
  • L_p空間とは『p-ノルムの自然な一般化を用いることで定義される関数空間である。』(WikiのL_p空間(こちら))
    • l_pノルム:||x||_p = (¥sum_{i=1} x_i^p)^{¥frac{1}{p}}
      • マンハッタン距離・マンハッタンノルムはl_1ノルム、ユークリッド距離はl_2ノルム
    • ノルムの場合はl_plを小文字で、ノルムが定義された「普通の空間」はl_p空間とlを小文字で表し、l_pノルムで定義された関数空間としてのL_p空間の場合はLを大文字で表すようだ(?:Wikiの記事ではそうなっている)
    • "p = 2 の時、空間 ℓ2 のように、空間 L_2 はそのクラスの内ただ一つのヒルベルト空間となる。"(Wiki記事)
      • これを、l_2とかL_2とかl_2ノルムを使った「普通の空間l_2」はヒトが慣れた空間で、そこには成り立つ素敵なことがたくさんあるが、それに対応する関数空間としてのL_2もそう…という意味の文
  • さて、このパラメタ空間とノルムうんぬんに引き続いて…
  • ¥Thetaとしてどんなのを取ってもよいとすると、コンパクトでないようなのも取れる(すぐ隣にまったく違う値をとってもよい・・・近隣の情報が役に立たない)が、それを許すような¥Thetaの場合には、最悪のシナリオを想定するとリスク関数値(E(||¥hat{¥theta}-¥theta||^2)は∞になりうるようにできる。それに対して¥Thetaをコンパクトであると限定して定めると、さすがに上限があるでしょう、上限があれば、¥Thetaの要素ごとにその最大値同士の大小も比較できますね、という話が続いている(ただしコンパクトであることは必要条件ではない)。
  • 実際どんな風に制限するかというと、2つの代表例
    • 原点を中心に楕球に制限
    • 原点を中心に多次元直方体に制限
  • ついで、[0,1]区間のホワイトノイズをフーリエ変換(三角関数のシリーズを使ってmean squared errorで取り扱う)する話を関数の微分を介して楕球制限でのminimaxリスク解であることを示している