Nand2Tetrisの次は、ゼロから作るDeepLearning3を進めています。 Nand2Tetrisの時は、一冊終わったところで振り返り記事を書いたら、えらく苦労したので今回は、区切り区切りでメモを残そうと思います。 第1ステージメモ ステップ6~8の逆伝播の実装がやや難しかったです。 実装してから、テストするケースはステップ6~8で、入力が常に同じ(順伝播ではx = 0.5, 逆伝播ではy.grad = 1.0)なので、都度一つ前と同じ答えになるか確認しながら進めました。 入力/出力のx/yだけでなく、途中の変数a/bについても、以下の様に手計算して、ステップごとに正しく計算されてい…