ブログトップ 記事一覧 ログイン 無料ブログ開設

翡翠はコンピュータに卵を生むか

2006-11-16

今やっている研究は結局環境に関する知識を人間が与えてしまっているから学習を高速化できるわけで、環境のモデル化を自動化できないと本質的な解決とは言えない。環境のモデル化・抽象化?例えばリンゴを見たとして、周囲の色と明確に異なるリンゴの赤によってその輪郭を知ることができ、その形の情報(他にも色々あるだろうけど)から概念としてのリンゴ(リンゴのクオリア)を引き出せる。このときにそのリンゴ固有の表面の色のグラデーションとかはさして重要でない。こういうのは結局はパターン認識や教師なし学習の範疇にはいるのかな。強化学習エージェントの内部でNNとかによって状態を抽象化している研究は結構あるらしい。有名なところではTD-Gammonとか。ああぁぁぁ勉強しないといけなさそうなのがゴロゴロ出てくるけどやる気でねー(ダメ人間

2006-11-12

輪読

強化学習

強化学習

先生には最早そういう時期ではないと言われたけどこれの輪読会をセッティングしてみた。この本は生協で安売りしてたこともあって、参加者には買ってもらった。水曜にやった1章では、強化学習が試行錯誤による学習であること、他の最適化手法との違い、探索と搾取とのジレンマを考えるほとんど唯一の手法であることなどが述べられている。

選択的/連想的による最適化手法の分類

手法選択的連想的
進化ありなし
教師ありなしあり
強化学習ありあり

選択的とは試行錯誤などで探索を行うかどうか、連想的とは記憶を用いる手法かどうかだと解釈している。シミュレーテッドアニーイングなども進化的手法に分類されるらしい。強化学習は探索もするし記憶も使うから両方あり。ランダム性と知識利用の兼ね合いを考える必要がある。昨日紹介した本の中でも、これまでによく研究されていたニューラルネットだと例からの訓練時には学習を行うが、実際の運用時には学習しないことがダメなんだと主張されていたような気がする。

2006-09-26

状態を多重化する

人間は一つの状況に対して複数の異なった見方を持つことがある。たとえば

f:id:masatoi:20060927001807p:image

ただの六面体でもよく見てると色々な底面がとれるに気づく。向きが変わって見えるなり。最初にこれがテーブルの上に置かれた六面体を上から見下ろしているように感じるのは、自分の頭に重力についてのモデルが出来上がっているからだろう。あるいは人間の思考全体が重力や慣性力なんかに支配されているのかもしれない。とすると、宇宙空間で生活する人間の空間認知能力はどうなってしまうのだろうか。奴め、ニュータイプだとでもいうのか!?

まあこの図とは関係ないけど、今研究していることは、本質的に同じ状態だがその表現方法が違うものが幾つかあるとき(抽象化されていたり、相対的な座標、絶対的な座標になっていたり)、それぞれの視点で学習を行い、その結果を統合するというものです。それぞれの状態表現の「良さ」を定量することができるか、そもそも学習の効率化がうまくいくのかがあやしい…

2006-09-24

科学技術振興団の研究業績ビデオがおもしろい件

脳を創り、脳を知る

http://www.jst.go.jp/erato/video/1996.htm

これの一番上のプロジェクトから出た論文はよく見かけていたんだけど、ビデオで概括されていてとてもありがたかった。わかりやすいしおもすろい。人型ロボットが良い感じ。これの他にもナノテクとかバイオに興味深いビデオが多い。色々みてみてます(日本語でおk*1)。こういうコンテンツをNHKでやるべきなんじゃないか。チャ○グムとかじゃなくてさw

この前みたテレビでは筋電で動く義手とかが紹介されてて、それはモーター制御だったみたいだけど、人工筋肉とかで出来るようになったら相当便利なんじゃないかな。まさしく夢がひろがりんぐですね。今日も昼頃に茂木健一郎氏が進行する脳の神経修飾物質と鬱病やパーキンソン病との相関を説明する番組をやっていた。最近脳は注目を浴びまくりである。21世紀になって人間のアイデンティティが爆発した模様。

*1:みてみてます の検索結果のうち 日本語のページ 約 261,000 件中 1 - 10 件目 (0.42 秒)

2006-09-15

BairdのVAPSアルゴリズムを元にした方策勾配法の学習速度が激遅。目的関数のパラメタの更新式の意味を読み間違えていたらしい。