多変数の関数において、特定の変数以外を定数と見なし、微分する方法。
前回の記事でHMCの概要は理解したので作ってみることにした。 パラメタ推定のコードをGistに置いた: 1d_Gaussian_mixture_hmc · GitHub Normal distribution まずは普通の正規分布からサンプルすることを目標にする。各サンプル回ごとのleap frogによる移動を描画するとこんな感じ サンプルごとの軌跡 水色が開始地点で紫が終了地点、番号はサンプルのindex。採択率が高いので基本的に次ステップは前ステップの終了位置から運動量だけランダムサンプルされる(=垂直移動する) pが正ならxが正方向に移動するので負方向に回っているように見え、上下端に行く…
はじめに 「プログラミング」学習初手『ゼロから作るDeep Learning』民のための実装攻略ノートです。『ゼロつく1』学習の補助となるように適宜解説を加えています。本と一緒に読んでください。 関数やクラスとして実装される処理の塊を細かく分解して、1つずつ処理を確認しながらゆっくりと組んでいきます。 この記事は、5.6.2項「バッチ版Affineレイヤ」の内容になります。バッチデータ対応版のAffineレイヤの順伝播と逆伝播をPythonで実装します。 【前節の内容】 https://www.anarchive-beta.com/entry/2020/07/31/180000www.anar…
下記に新しくブログを書き改めましたので、こちらにアクセスしてください！ http://lemon15.com/ 学歴ロンダリング・外部院試試験ってどうなんだろう。 難しいのかな。 そう思っている方に地方国公立大学から旧帝大に合格した私が体験談を話していきます。 私は大学入試で 前期試験で旧帝大に落ちてしまい、 後期入学で中堅国公立大学 に進学しました。 あれだけ頑張ったのにダメだったのかと落ち込みました。 しかし大学院で挽回できるチャンスがあるとわかり、 旧帝大を共に目指し合格した親友と再びいっしょに学校に行きたい！ もっと高いレベルの研究、授業を受けたい 旧帝大に行くために大学受験で支えてく…
はじめに 「プログラミング」学習初手『ゼロから作るDeep Learning』民のための実装攻略ノートです。『ゼロつく1』学習の補助となるように適宜解説を加えています。本と一緒に読んでください。 関数やクラスとして実装される処理の塊を細かく分解して、1つずつ処理を確認しながらゆっくりと組んでいきます。 この記事は、5.4節「単純なレイヤの実装」の内容になります。乗算レイヤと加算レイヤの順伝播と逆伝播をPythonで実装します。 【前節の内容】 www.anarchive-beta.com 【他の節の内容】 www.anarchive-beta.com 【この節の内容】 はじめに 5.4 単純な…
こんにちは、そろそろweb開発も勉強しなきゃと思い始めたWINUです。 今回から初めての連載モノになります（お金の話は不定期連載、気が向いたときにします）。第一弾の連載シリーズは題して、「英語で征く深層学習」です！何の捻りもないですが、実際こういう系統の勉強は英語でやっておくとフィールドが広がって結果として知見が広がりますし、将来的には世界基準で仕事をする分野だと思うので、英語を勉強するというのは自己投資としては有効な手段だと思います。そのため、今回の連載は最近何かと話題の深層学習を英語で勉強して、更に明日から使えるようにしよう！という試みです。 さて、今回はその連載第一回という事で、どういう…
はじめに 「機械学習・深層学習」学習初手『ゼロから作るDeep Learning』民のための数学攻略ノートです。『ゼロつく1』学習の補助となるように適宜解説を加えています。本と一緒に読んでください。 NumPy関数を使って実装できてしまう計算について、数学的背景を1つずつ確認していきます。 この記事は、5.2節「連鎖率」の内容になります。解析的な微分・偏微分の求め方と、連鎖率(合成関数の微分)と計算グラフの対応関係について説明します。 【前節の内容】 www.anarchive-beta.com 【他の節の内容】 www.anarchive-beta.com 【この節の内容】 はじめに 微分 …
直交曲線族の話を久々に見かけた。こういうの↓↓ １つ１つの楕円は、全ての紫の放物線と直交する、逆も然り。実際にはパラメーターを動かして無限個の曲線を考える。式でいうと、放物線y=ax^2と楕円(x^2)/2+y^2=bのペア。 これ、複素解析の、正則関数の等角写像の図にそっくり。 wikipediaの等角写像へのリンク↓↓ https://ja.wikipedia.org/wiki/%E7%AD%89%E8%A7%92%E5%86%99%E5%83%8F#:~:text=%E7%AD%89%E8%A7%92%E5%86%99%E5%83%8F%EF%BC%88%E3%81%A8%E3%81%8…
ルンゲ＝クッタ法を導出せよ 大学の数値計算の講義で出された課題です。1週間ひたすら手計算して、計算ミスを繰り返し、ようやく自力で導出できた成果を掲載します。 グラフ理論などを使った別の導出方法もあるようですが、 数弱には偏微分とTaylor展開だけで精一杯なので、愚直に導いていきます。 最初の立式時に、制約からパラメータを少し減らせるような気もするのですが、 授業では触れていなかったため特に工夫していません。 ルンゲ＝クッタ法とは？ 世の中の様々なシステムは微分方程式で表せるのですが、 そのうちには解析的に解くことが不可能なものも存在します。 その場合、近似を利用して有限精度の数値解を得ようと…
