工場統計力学(建設中!) このページをアンテナに追加 RSSフィード

いまだ輝かざる暁の数は、げに多かり    (リグ・ヴェーダ)

2017-02-26

[]「脳・心・人工知能」 甘利俊一著 へのメモ書き(4) オルスホーゼン教授 「脳・心・人工知能」 甘利俊一著 へのメモ書き(4) オルスホーゼン教授を含むブックマーク 「脳・心・人工知能」 甘利俊一著 へのメモ書き(4) オルスホーゼン教授のブックマークコメント

今、ディープ・ラーニングの起源を調べていて、その中でオルスホーゼン教授の業績を調べているのですが、ネットでもなかなか見つかりません。ところが以前読んだ「『脳・心・人工知能』 甘利俊一著」

を読み直していて、オルスホーゼン教授のことが少し出ていたのに気づきました。それをメモしておきます。

外部から信号¥vec{x}が到来し、脳がこれを処理して、信号¥vec{s}になったとしよう。¥vec{x}=A¥vec{s}という式は、信号¥vec{x}を脳内に表現したものが¥vec{s}という活動パターンであると考える。(中略)

 問題はどのような基底を用いれば自然界にあるxがスパースな¥vec{s}で表現できるかである。

 外部から多数の信号¥vec{x}を与えて、表現¥vec{s}がスパースになるという条件を入れて、どのような基底ならばよいかを議論してみよう。これは、独立成分分析という分野から派生した問題である。

 面白いことに、この条件で入力に自然画像を多数与えたときに、脳の視覚野で見られる線分の方向の表現や、脳内で実際に観測されるガボールフィルター(中略)による表現が得られる。これは、アメリカの脳科学者オルスハウゼンとフェルドの素晴らしい研究の成果である。

 しかもこれは自己組織化で得られる。

トラックバック - http://d.hatena.ne.jp/CUSCUS/20170226

2017-02-25

[]ネオコグニトロンをめぐって ネオコグニトロンをめぐってを含むブックマーク ネオコグニトロンをめぐってのブックマークコメント

の中の記述

ネオコグニトロンの回路構造は、第一次視覚野に関する神経生理学的な知見、すなわちHubel-Wieselの古典的な階層仮説にヒントを得て考案された。図1に示すように、特徴抽出を行うS細胞の層と、位置ずれを許容する働きを持つC細胞の層(pooling層)とを交互に階層的に配置した多層神経回路である。

について、別の本で読んだ記述を参考として並べます。

なお、この本は章ごとに執筆者が異なっています。

 D. HubelとT. Wieselは、LGNのニューロンの出力先である第一次視覚野(V1)の4層の神経細胞が、特定の向きの線分に応答することを発見した*1。この神経細胞を単純型細胞と呼ぶ。


「第5章 視覚情報処理入門」岡田真人著 より

ここに出てくる単純型細胞というのがS細胞(Simple cell)に当ります。


V1の単純型細胞は、同じV1の第供↓形悗惱侘呂鯀る。V1の第供↓形悗ニューロンは、多くの場合、複雑型細胞である。複雑型細胞は、単純型細胞のように最適な線分の傾きを持つが、その線分の位置をある程度ずらしても複雑型細胞の応答はほとんど変わらない。複雑型細胞は、同じ方位選択性を持ち、少しずつ受容野の位置が異なる単純型細胞から入力を得ている。そのため複数型細胞は、線分の位置のずれに対して、不変な特性を持つ。


「同上」

ここに出てくる複雑型細胞C細胞(Complex cell)に当ります。このように両者の記述を突き合わせると、なるほどネオコグニトロンは「第一次視覚野に関する神経生理学的な知見、すなわちHubel-Wieselの古典的な階層仮説にヒントを得て考案された。」ということが分かります。


また、Deep CNN ネオコグニトロンの学習では、

各層は、複数のsub-layer(細胞面)から構成されている。(中略)細胞面内には細胞がretinotopyを保って並んでおり、同一の入力結合を共有している(shared connection)。

という記述がありますが、ここに登場するretinotopy(レチノトピー)というのは、甘利俊一氏の

では、

外界の事物は、網膜上では2次元の像として映る。一方、脳の皮質も2次元である。網膜のある場所の情報が、大脳皮質の視覚野のある場所に写されるときに、場所ごとに対応がとれている。

 つまり、網膜と皮質との間に1対1の連続的な写像があって、場の2次元トポロジーを保存する。これを「レチノトピー」という。もちろん、脳内でこの対応がどこまでも続くわけではなく、層が高まるにつれて場所に関係しないより高次の情報が表現される。

説明されています。この説明の大筋はネオコグニトロンにも当てはまるので、ネオコグニトロンは大脳皮質の視覚野のモデルとしても興味深いものなんだろうと思います。


ところでチノトピーって変な名前だなと思って英辞郎 on the WEBで調べたらretinaって網膜のことなんですね。おそらくretinotopyはretina(網膜) + topos(場所:元々はギリシア語)なんでしょう。

*1:D. Hubel and T. Wiesel, "Receptive fields of single neurones in the cat's striate cortex" Journal of Physiology, 148, 571-591 (1959)

トラックバック - http://d.hatena.ne.jp/CUSCUS/20170225

2017-02-21

[][]ネオコグニトロン:サイバネティクスの香気 ネオコグニトロン:サイバネティクスの香気を含むブックマーク ネオコグニトロン:サイバネティクスの香気のブックマークコメント

今、時間のある時に

を読んでいるのですが、なかなか面白いです。

ニューラルネットのどちらかといえば工学的な話と、生理学的な話が対比されていて、私の好きなウィーナーのサイバネティクスを思わせる雰囲気があります。以下のような記述を読むと、私はうれしくなります。

ネオコグニトロンの回路構造は、第一次視覚野に関する神経生理学的な知見、すなわちHubel-Wieselの古典的な階層仮説にヒントを得て考案された。図1に示すように、特徴抽出を行うS細胞の層と、位置ずれを許容する働きを持つC細胞の層(pooling層)とを交互に階層的に配置した多層神経回路である。


あるいは


このように簡単なAiS則で、なぜ高い認識率が得られるのであろうか。入力パターンを最終的に識別するのは、多層回路の中間層ではなく最上位層である。中間層の役割は、入力層に提示されたパターンを、単一細胞の反応によってではなく、多数の細胞の反応の集合、すなわちpopulation codingによって、正確に表現することである。population codingの場合には、個々の細胞の反応特性が学習刺激に正確に一致していることは、必ずしも必要ではない。その層の全細胞の集団としての反応が、入力刺激を正確に表現してさえいれば十分なのである。

このことは、ヒトを含む哺乳動物の視覚神経系の形成に臨界期が存在し、臨界期を過ぎると下位の視覚野(第1次視覚野など)の神経系は可塑性を失うという神経生理学的な事実とも符合している。臨界期以前に多様な視覚刺激を与えておく必要はあるが、それ以降は下位の視覚野が可塑性を失っていても、上位の視覚野の働きで、新しい視覚パターンを学習し認識することができるのである。臨界期以降は可塑性を失っているので、特定の視覚対象に対する神経回路のtune-upは行われていないはずであるが、我々人間は新しい視覚対象でも問題なく学習し認識できるようになる。ネオコグニトロンでも、中間層の自己組織化が完了した後は、最上位層の細胞だけに可塑性を持たせて、学習を進めている。


というような記述です。


これらの記述は、今から70年以上前の1945年フォン・ノイマンコンピュータの設計仕様として書いたEDVACに関する第一草稿(First Draft of a Report on the EDVAC)に出てくる

2.6.

  • 3つの特殊部分CA,CC(合せてCとする)とMは人間の神経系における連合野に対応する。感覚神経つまり求心性神経と運動神経つまり遠心性神経にあたるものについて検討することが残っている。これらは装置の入力と出力の組織であり、これらを今、手短に考察しよう。
  • 言い換えると:装置の部分CとMの間の数値(や他の)情報の全ての伝達は、これらの部分に含まれる機構によって実行されなければならない。しかし、外部から装置へ元々の情報を得ることや、装置から外部へ最終情報、つまり結果、を得ることの必要性が残っている。

という、やはりコンピュータと人間の脳神経系を対比した記述を受け継いでいるように感じます。

トラックバック - http://d.hatena.ne.jp/CUSCUS/20170221

2017-02-17

[][]年表を作る 年表を作るを含むブックマーク 年表を作るのブックマークコメント

福島氏の開発されたネオコグニトロンに関する説明Deep CNN ネオコグニトロンの学習--JSAI2016タイムテーブル 06月06日(Mon)--1A3-OS-27a オーガナイズドセッション「大会特別講演:福島先生 / OS-27 Deep Learning (1)」)を読んでいた時に

ネオコグニトロンの回路構造は、第一次視覚野に関する神経生理学的な知見、すなわちHubel-Wieselの古典的な階層仮説にヒントを得て考案された。

という文に行き当たり、ヒューベル(Hubel)とウィーゼル(Wiesel)によるニューロンの反応選択性の発見はいつだったっけ、という疑問が私の中に出てきました。

それで調べたところ、はっきりしないのですがどうも1959年らしいです。一方、ネオコグニトロンの発表は1979年でした。これらを人工知能ニューラルネットの発展史の中でどんな位置にあるのか、調べたくなりました。


ということで年表を作ります。だんだん更新していきます。

1940年代

1943

1945

  • フォン・ノイマン EDVAC第一草稿

1946

  • ENIAC完成 コンピュータの始まり。

1950年代

1950

  • チューリング チューリング・テストを提唱

1955

  • ニューウェルとサイモン ロジック・セオリスト作成。AIの始まり。

1956

  • ダートマス会議

1957

1959

1960年代

1965

  • ファイゲンバウム Dendral エキスパートシステムの始まり。

1966

1969

1970年代

1972

  • バーロウ ニューロン・ドクトリンを提唱 (「おばあさん細胞」の仮説へと進む)
  • ファイゲンバウム Mycin

1973

  • ライトヒル ライトヒル報告書でAI研究を「なんら実質的な成果を上げていない」と批判。AIの冬の始まり。

1979

  • 福島邦彦 ネオコグニトロン

1980年代

1980

  • マクダーモット XCON(DECのVAXシステムの注文に対応したコンポーネントを過不足なく抽出するエキスパートシステムで、大成功をおさめた)。第二次AIブームの始まり。

1982

  • ホップフィールド ホップフィールド・ネットワーク
  • ディビット・マー 「ヴィジョン」公刊

1985

  • ヒントンとセジュノスキー ボルツマンマシン
  • パール、ベイジアン・ネットワーク

1986

1987

  • AI専用マシン市場の暴落。第二次AIの冬の始まり。

1990年代

1996

  • オルスホーゼンとフィールド スパースコーディングを提唱

1997

  • IBMのAI ディープ・ブルーが、チェス世界チャンピオンのガルリ・カスパロフに勝利

2000年代

2006

  • ヒントン ディープ・ラーニング

2010年代

2011

  • IBMのAI ワトソンがクイズ番組「ジェパディ!」で人間に勝利。第三次AIブームの到来

2012

  • ディープラーニングを使ったシステムが画像認識コンテスト「ILSVRC」で上位を独占。第三次ニューロブームの到来
トラックバック - http://d.hatena.ne.jp/CUSCUS/20170217

2017-02-15

[]最小二乗法の復習(4) 最小二乗法の復習(4)を含むブックマーク 最小二乗法の復習(4)のブックマークコメント

最小二乗法でxの値からyの値を推定する(最良の)式」と「yの値からxの値を推定する(最良の)式」は異なることを示す簡単な例を見つけましたので紹介します。

データは以下の4つです。

  • f:id:CUSCUS:20170215074828p:image

これらのデータからはxが増加するとyが増加するのか減少するのかさっぱり分かりません。逆にyが増加するとxが増加するのか減少するのかさっぱり分かりません。まず、xの値からyの値を推定するには、yの値はxの値と無関係なので、yの値にだけ注目してyの値の平均であるy=0と推定しておけば、最良の近似ということになります。一方、yの値からxの値を推定するのも、同様に考えることが出来てx=0となります。つまり

  • xの値からyの値を推定する(最良の)式」はy=0
  • yの値からxの値を推定する(最良の)式」はx=0

となり、両者はまったく異なることが分かります。

  • f:id:CUSCUS:20170215074827p:image:w500
    • 緑の線が「xの値からyの値を推定する(最良の)式」を表し、赤の線が「yの値からxの値を推定する(最良の)式」を表している。
トラックバック - http://d.hatena.ne.jp/CUSCUS/20170215