MathJax.Hub.Config({ tex2jax: { inlineMath: [ ['$','$'], ["\\(","\\)"] ], processEscapes: true } }); はじめに μP（Maximal Update Parametrization）とは μPが解決する根本的な問題 なぜハイパーパラメータ転移が困難なのか：SPの根本問題 μPの仕組み 順伝播における「初期状態」の安定化 学習を支配する「パラメータ更新」のスケーリング ハイパーパラメータの計算例 μPの実装 Qwen2.5で実験 まとめ We Are Hiring! はじめに こんにちは。Labsチ…
ゼロから作るDeep Learningの学習メモ続き。 今回もコードはなし。内容的にも、知識的なもの。 今回で最後の章になる。 8章 ディープラーニング 認識精度向上について 「層数」について 「層を深くすること」の重要性 代表的なCNN 学習、推論の高速化 GPUでの高速化 分散学習での高速化 演算ビット数の削減での高速化 ディープラーニングの実用例 以上 ↓ GitHub公開のソースコード(MITライセンス) github.com 著作権表示、ライセンス文書 Copyright (c) 2016 Koki Saitoh deep-learning-from-scratch/LICENSE.…
ゼロから作るDeep Learningの学習メモ続き。 今回もコードはなし。コード書くのが面倒 考え方の理解が優先で。 7章 畳み込みニューラルネットワーク 構成要素 Convolutionレイヤ Poolingレイヤ 学習結果の可視化 CNNの例 以上 ↓ GitHub公開のソースコード(MITライセンス) github.com 著作権表示、ライセンス文書 Copyright (c) 2016 Koki Saitoh deep-learning-from-scratch/LICENSE.md at master · oreilly-japan/deep-learning-from-scrat…
ゼロから作るDeep Learningの学習メモ続き。 今回はコードなしで、自分の学び・気づきのメモだけ。 6章 学習に関するテクニック 勾配の降りていき方 重みの初期化 バッチノーマライゼーション 正則化 ドロップアウト ハイパーパラメータの検証 以上 ↓ GitHub公開のソースコード(MITライセンス) github.com 著作権表示、ライセンス文書 Copyright (c) 2016 Koki Saitoh deep-learning-from-scratch/LICENSE.md at master · oreilly-japan/deep-learning-from-scrat…
ゼロから作るDeep Learningの学習メモ続き。 5章 誤差逆伝播法 計算グラフ 各種レイヤの実装 ネットワークでの誤差逆伝播法の実装 以上 ↓ GitHub公開のソースコード(MITライセンス) github.com 著作権表示、ライセンス文書 Copyright (c) 2016 Koki Saitoh deep-learning-from-scratch/LICENSE.md at master · oreilly-japan/deep-learning-from-scratch · GitHub 5章 誤差逆伝播法 計算グラフ 厳密な数式より、計算グラフを使ったほうが分かりやすい…
ゼロから作るDeep Learningの学習メモ続き。 4章 ニューラルネットワークの学習 交差エントロピー誤差 ミニバッチ学習 微分 ニューラルネットワークでの勾配 学習の実施 python関連 ちょっとハマったこと importでやっていること リストへの要素の追加(1要素だけ) 実際に試した結果 以上 ↓ GitHub公開のソースコード(MITライセンス) github.com 著作権表示、ライセンス文書 Copyright (c) 2016 Koki Saitoh deep-learning-from-scratch/LICENSE.md at master · oreilly-jap…
ゼロから作るDeep Learning、少し進めたので、学習メモ。 GitHubでソースコードが公開されている。MITライセンス。 github.com このコードの一部を引用させていただくので、ひとまず、著作権表示と、ライセンス文書を記載しておく。 Copyright (c) 2016 Koki Saitoh ↓ ライセンスの全文 deep-learning-from-scratch/LICENSE.md at master · oreilly-japan/deep-learning-from-scratch · GitHub 3章 ニューラルネットワーク 3章 ニューラルネットワークは、前…
こんにちは。CTO室リサーチャーの鈴木です。 近年、深層学習の分野では、さまざまなタスクにおいて「基盤モデル」と呼ばれる汎用的で高性能なモデルが注目を集めており、これらのモデルを活用した多岐にわたる応用が急速に進展しています。本記事では、その中でも画像分野における基盤モデルの一つである"DINO v2"[1]の概要をご紹介します。 本記事の概要 基盤モデルDINO v2は、 画像の本質特徴を抽出する「自己教師あり表現学習」の決定版！ Contrastive LearningやMasked Auto-Encoderの仲間だよ 画像分野における汎用性の高さが魅力！ 深度推定、インスタンス検索、物体…
次のGoogle Colabでの動作検証として、フレーム補間技術のFILM (FILM: Frame Interpolation for Large Motion)を試してみた。もう少し、丁寧にいろいろと検証して、その内容を書こうかと思ったのだが、そもそも動かすのに多少苦労したので、2025年1月現在、Google Colabで動いた内容を記録に残すこと自体も意味があるかな、というところで、とりあえずの内容にはなるが残すことにする。 FILMについて FILM: Frame Interpolation for Large MotionはGoogle Researchが2022年にECCVという…
aptpod Advent Calendar 2024 12月19日の記事を担当します、intdashグループの野本です。 普段からエッジデバイスでのコンテナ化やAIモデルの利用に携わっており、その調査を兼ねてIntel® Deep Learning Streamer（以下、DL Streamer）を試してみました。 特に、最近Dockerでのインストールがサポートされたとのことで、手軽に始められるようになった点にも注目しています。*1 本記事では、このDL Streamerを使った映像推論の手順や実践例をご紹介します。 Intel® Deep Learning Streamerとは DL S…
www.deeplearningbook.me
karaage.hatenadiary.jp
weblab.t.u-tokyo.ac.jp
kazoo04.hatenablog.com
qiita.com
speakerdeck.com
mickey24.hatenablog.com
tech.preferred.jp
christina.hatenablog.com
