Hatena::ブログ(Diary)

Mi manca qualche giovedi`? このページをアンテナに追加 RSSフィード Twitter

2017-09-15 次は DCGAN か無限関係モデルか

End-to-End Memory Networks の勉強会資料+補足


前記事で End-to-End Memory Networks の実装を公開してたが、さらに社内勉強会の資料も公開する。

モデルもわかるように一応説明したつもり。



以下、前記事で書き忘れたこと+補足。

  • 実装は CPU / GPU 両対応している。が、GPU の方が遅い(苦笑)。たぶんデータの渡し方が悪い&モデルが小さいので、演算時間がオーバーヘッドを上回れないのだろう。データの渡し方を工夫すれば改善するだろうが、Random Noise がどうせ台無しにするので、そこを頑張るのはやめた。
  • 質問と記憶から応答情報を生成するのが基本。その応答情報を新しい質問とみなしてフィードバックすることで RNN 的な多層ネットワークを構成することができる。表現力が上がる……のかな? 実装では層の数をオプションで指定できるようにしているので、1層と3層で傾向がどのように変わるのか確認してみるのも面白いかもしれない。

スパム対策のためのダミーです。もし見えても何も入力しないでください
ゲスト


画像認証


Connection: close