ゼロから作るDeep Learning3

ソースコード ステップ17 メモリ管理と循環参照 弱参照を使うことで、循環参照を解消し、メモリ使用量を減らす。 循環参照があると、参照カウント方式のメモリ管理では解放が難しいという。ガベージコレクタの方式によっては循環参照になっているオブジェクトでも解放できるが、コストが高いらしい。マニュアルによればSBCLは世代別GCを持っているとのことである。 Common Lispでは弱参照がANSI Common Lispの範囲にないため、処理系ごとにAPIがばらばらに定義されている。そこで、統一的に扱うためのラッパーとしてtrivial-garbageというライブラリがあるので使うことにした。 Py…

ソースコード ステップ11 可変長の引数(順伝播編) 可変長引数を取り扱うため、callやforwardのシグネチャを変更し、関数の入力も出力もリストとなるよう変更する。 総称関数の特性上影響が大きく、コンパイルエラーを参考に直していくことになる。 ステップ12 可変長の引数(改善編) Common Lispの関数は、仮引数リストの中で&restを使うことで可変長引数を受け取れるようになる。 forwardは総称関数として実装しているので、すべてのクラスで同じシグネチャにしなければならない。 オリジナルを見ると、仮引数リストが異なる同名のメソッドが定義されており、これでも問題ないところに違いを…

ソースコード ステップ9 関数をより便利に まず、呼び出し側が毎回gradientに全要素が1の配列を設定しなければならないのを直す。 ユーティリティ関数として次のようなものを定義する。 (defun full-like (array fill-value) (let ((dims (array-dimensions array))) (make-array dims :initial-element fill-value))) (defun ones-like (array) (full-like array 1)) あとは次の行を書いておけば、gradientが未設定の時、初期値を設定でき…

ソースコード ステップ4 数値微分 Common Lispでは0.942のような浮動小数点数リテラルを読み取ると、デフォルトで単精度浮動小数点数型(single-float)として扱ってしまう。この挙動は (setf *read-default-float-format* 'double-float) という行を挿入すれば変更できる。自分はそうする代わりに0.942d0のようにリテラルで型を明示する方針を取った。 オリジナルのPythonコードでは__call__メソッドを利用することで、関数とDeZeroの関数を同じように扱える。そのため普通の関数を使って合成関数を表すことができる。Ruby…

0. この投稿の概要 1. 学んだこと 自動微分を実現する仕組み ユーザビリティを向上させる仕組み メモリ効率を改善する仕組み 2. 感想 0. この投稿の概要 PyTorchのようなディープラーニングのフレームワークを自作する、ゼロから作るDeep Learning3を写経して学んだことをまとめました。 ゼロから作るDeep Learning ❸ ―フレームワーク編作者:斎藤 康毅オライリー・ジャパンAmazon フレームワークということでただ動くだけではなく、ユーザビリティやメモリ管理にも気を配っています。そこで本記事はコアとなる自動微分を実現する仕組み、ユーザビリティを向上させる仕組み、…

ゼロから作るDeep Learning ❸ ―フレームワーク編作者:斎藤 康毅オライリー・ジャパンAmazon まとめ 各ステップまとめ 第1ステージ ステップ1~ステップ4 ステップ5~ステップ10 第2ステージ ステップ11~ステップ16 ステップ17~ステップ20 ステップ21~ステップ24 第3ステージ ステップ25~ステップ32 ステップ33~ステップ36 第4ステージ ステップ37~ステップ40 ステップ41~ステップ44 ステップ45~ステップ46 ステップ47~ステップ51 第5ステージ ステップ52~ステップ54 ステップ55~ステップ58 ステップ59~ステップ60 まとめ…

hirohirohirohiros.hatenablog.com 前回のVGGに引き続き，dezeroでRNNとLSTMを実装します！ ステップ55, 56 RNN Truncated BPTT サイン波の予測 Truncated BPTTの効果検証 ステップ60 LSTM ステップ55, 56 RNN RNNは時系列データに対して効果を発揮するモデルです．それは，RNNが，出力を新たに入力してループする構造を持っているからです．これにより，RNNは状態を持つ事が出来ます．RNNにデータが入力されると，状態が更新されその状態に応じて出力が決まります．ループする構造を持ち，状態を保持すると言われ…

本の紹介 ゼロから作るDeep Learning３ ーフレームワーク編 斎藤康毅 著 https://www.amazon.co.jp/dp/4873119065/ref=cm_sw_r_tw_dp_U_x_KiA1Eb39SW14Q