誤差逆伝播

深層CNNの対抗馬コントロールモデルとして機械学習からRandomForestを採用している。研究のために深層学習に手を出したから、パターン認識を含めた機械学習の基礎知識や経験が無い。 深層学習の学習過程に於けるパラメータの更新は、誤差逆伝播を通じながらも、ある分布に従ってランダムに書き換えられていくという理解をしている（そんな記述を見た気がする）。だから同じ学習データ・同じハイパーパラメータでも、学習後のモデルが持つパラメータが異なる。だから学習を終えたら、例えば tensorflow.keras.models.save_model() 等を用いて、モデルを保存しない限り結果を保証できない。…

ゼロから作るDeep Learning ❹ ―強化学習編 作者:斎藤 康毅 オライリージャパン Amazon ゼロから作るDeep Learning(4) 強化学習編が発売されて店頭に並んでいますね。私も公開レビューに参加させていただいて巻末に名前を載せていただきました。（自慢です） このシリーズは本当にすごくて、特にシリーズ1冊目を読み終えた時は、一冊の歴史小説を読み終わったような感動があったので改めて紹介させていただきます。 ゼロから作るDeep Learning ―Pythonで学ぶディープラーニングの理論と実装 作者:斎藤 康毅 オライリージャパン Amazon 大きく２つ理由があるの…

どうも、カタミチです。 さて、今日も「最短コースでわかる PyTorch&深層学習プログラミング」のひとり読書会、やっていきますかねー。 今回から微分の話ですね。 2-3. 自動微分機能 この節はどうやら、流れの説明だけのようですね。 PyTorchでは、偏微分計算のことを「勾配計算」という言い方をするようです。勾配って言葉から連想されるのは「勾配降下法」ですが、計算に勾配降下法を使うのが前提…ってことですかね。確かに、ディープラーニングのロジックの根幹は勾配降下法を用いたものでしたね。 ちなみに勾配降下法は、繰り返し計算で「近似解」を導くやり方でしたね。対して、繰り返し計算ではなく一気に正確…

データをまとめるだけでは帰納推論はできない。データの背後に一定の構造を「前提」することでそれが可能となるのだ―――といったようなことから、「因果」まで、表面的に統計学の教科書を撫でるだけではちっともわからない哲学的背景を教えてくれる本です。たいへんおすすめで、何度も読みなおしています。 以下、過去記事から、要約です。 統計学を哲学する 作者:大塚 淳 名古屋大学出版会 Amazon 第一章 現代統計学のパラダイム この記事では数学的な定義を行なわない。 大まかに言って統計学とは、数字や数学を用いてデータをまとめ、それに基づき推論するための学問である。（略）現代統計学には、「記述統計」と「推測統…

当シリーズではXAIの研究の概要の把握を行います。#3ではDeepLearningに関する解釈に関して取り扱いを行いました。 #4では#3で出てきたDeepLIFTやGrad-CAMに関して論文の内容の確認を行います。 [1704.02685] Learning Important Features Through Propagating Activation Differences [1610.02391] Grad-CAM: Visual Explanations from Deep Networks via Gradient-based Localization 以下が目次となります。1…

どうも、カタミチです。 さて、今日も「最短コースでわかる ディープラーニングの数学」のひとり読書会、やっていきたいと思います。 今日は10章「ディープラーニングモデル」も中盤戦。今日は5節からですね。さぁ…いきましょう！ 10-5. 誤差逆伝播 さて、前節で損失関数\(L\)に対する入力層→隠れ層の重み\(v\)についての偏微分が\( \frac {\partial L} {\partial v_{ij}}= x_j \cdot \frac {\partial L} {\partial a_i} \)となるとのことでしたが、ここで… \( bd_i= \frac {\partial L} {\…

なんでこの本をわざわざ買ったのか、うまく思い出せない。最初は紙の本を貸してもらったのだ。で、その後にオライリーのサイトからPDFをダウンロード購入したのだ。こいつをMOBIフォーマットに変換してKindleで読もうとしたのだが、文字化けがひどくてとても読めたもんではなかった。5年以上前の話だったと思う。 それをまた引っ張り出してきた。 引っ張り出した、ってMacに保存してあったPDFを探し出しただけの話だけど。 MOBIフォーマットに変換せずそのままKindleにコピーしたら、文字化けせずに読めた。何てこった。ゼロから作るDeep Learning ―Pythonで学ぶディープラーニングの理論…

Pythonでプログラミングして理解する機械学習アルゴリズム 「Pythonでプログラミングして理解する 機械学習アルゴリズム」内容紹介 「Pythonでプログラミングして理解する 機械学習アルゴリズム」目次 「Pythonでプログラミングして理解する 機械学習アルゴリズム」Amazonでの購入はこちら 「Pythonでプログラミングして理解する 機械学習アルゴリズム」楽天市場での購入はこちら Pythonでプログラミングして理解する機械学習アルゴリズム インプレスグループで理工学分野の専門書出版事業を手掛ける近代科学社は、2022年2月25日に、神野健哉氏著書による、「機械学習」のアルゴリズ…

英語ミーティングなど。誰もまともにリスニングできてなくてカオスなんだけど、なんでこれミーティングでやっているんだろ。機械翻訳使いながらチャットしたほうが数倍速いでしょ。 読書 脳とAI-言語と思考へのアプローチ (中公選書 125)作者:酒井 邦嘉,合原 一幸,辻子 美保子,鶴岡 慶雅,羽生 善治,福井 直樹中央公論新社Amazon 最初の章はよくわからない人間の感性礼賛的な記述が続いていてウゲーって感じだったけど、ガチガチの生成文法主義者の面が強く出てくる後半は面白かった。生成文法、つまり脳内に言語を扱うのが得意な構造があるという主張で、それはそうという気がするな。ニューラルネットワーク的に…

機械学習、ニューラルネットワーク、ディープラーニング。どう呼ぶのが正解なのかわからないけど、ついに誤差逆伝播法を理解できた。たぶん理解できたと思う。いったい何年かかったのか。「機械学習」で日記を検索すると一番古い日付は2016年だった。6年越し。ため息出るな。バックプロパゲーションの計算の中で、何が逆伝播されるのかというのがなかなか理解できなかった。連鎖率も意味がわかるまで時間がかかった。それにしても重要な部分で説明を省略するのだけはやめてほしいよな。そこ説明してくれな意味ないやろ。そういうの何か所もあったやん。そこの説明を書いてくれてないせいでエラい時間かかってもうたわ。まあでも年々衰えてい…

どうも、カタミチです。 さーて、G検定も終わったので、次にじっくり取り組む対象を何にしようかなーと考えたのですが、そろそろPythonを使って手を動かしたほうが良かろうと思いました。2ヶ月以上機械学習の勉強やっててPythonを一切触ってなかったってのも、逆にすごくないですか？（いや、すごくない） で、テキストとして選んだのがこれ。「ゼロから作るDeep Learning」です。 初版1刷が2016年ということで、5年以上前の本ですね。実は私、この本を発売された当初の2016年に買ってたんですが、5年間、本棚で眠っていました。（眠りすぎ） で、流石に今から勉強するには古いかなー、とも思ったんで…

どうも、カタミチです。 「G検定」の公式テキスト（深層学習教科書 ディープラーニング G検定（ジェネラリスト）公式テキスト 第2版）を使った勉強を1月3日から始めたのですが、このブログで記事を上げつつゆっくり読み込んで、めでたく最後まで駆け抜けたのが2月25日。 期間にして2ヶ月弱といったところですね。ちょっと休んだ日もありましたが、基本的に毎日少しずつ勉強していった…という感じでした。 今回は、「G検定」という資格を取得するぞ！…という意気込みで勉強したというより、AIについて何も知らんから勉強したいけど、何か取っ掛かりがないかなぁ、と思って始めた勉強でした。途中どこかで「こんなの、勉強して…