Hatena Blog Tags
はてなブログ トップ
勾配消失
このタグでブログを書く
言葉の解説
ネットで話題
関連ブログ

勾配消失

このタグの解説についてこの解説文は、すでに終了したサービス「はてなキーワード」内で有志のユーザーが作成・編集した内容に基づいています。その正確性や網羅性をはてなが保証するものではありません。問題のある記述を発見した場合には、お問い合わせフォームよりご連絡ください。
初心者データサイエンティストの備忘録•7日前

LSTMはなぜRNNより勾配消失を起こしにくいのか？：誤差逆伝播の更新式を比較して確認

深層学習 改訂第２版 (機械学習プロフェッショナルシリーズ)作者:岡谷貴之講談社Amazon はじめに 系列データ RNNとLSTM RNN RNNの構造 RNNの誤差逆伝播 LSTM LSTMの構造 LSTMの誤差逆伝播 RNNとLSTMの更新式の比較 結論 補足：誤差逆伝播の更新式導出に用いた命題の証明 はじめに 株価の変動や文章のような系列データを扱う深層学習モデルに、RNN（Recurrent Neural Network）とLSTM（Long Short Term Memory）があります。RNNは、系列データを扱う基本的なモデルの一種ですが、学習の際に勾配消失が発生しやすく、層を多…

#深層学習#LSTM#RNN#勾配消失

関連ブログ

NRIネットコムBlog•22日前

AWSに関するAI・機械学習用語集 - AWS Certified AI PractitionerとAWS Certified Machine Learning Engineer - Associateの学習過程で得られたナレッジ

小西秀和です。 今回は新しく追加されたAWS認定であるAWS Certified AI PractitionerとAWS Certified Machine Learning Engineer - Associateに私が合格するまでの学習過程で得られたナレッジを「AWSに関するAI・機械学習用語集」として、ざっくりとまとめてみました。 この「AWSに関するAI・機械学習用語集」の内容は、日本の「技術書典17」向けに個人出版として共著した「AWSの薄い本の合本Vol.01」における「クイズで学ぶAWSの機能と歴史：厳選『機械学習』編」の問題・解答にも使用しています。 短時間にAI・機械学習の用…

mojiru【もじをもじる】•1ヶ月前

数理・データサイエンス・AI認定制度における応用基礎レベルをフォローした教科書

スッキリわかる数理・データサイエンス・AI 「スッキリわかる数理・データサイエンス・AI」内容紹介 「スッキリわかる数理・データサイエンス・AI」目次 「スッキリわかる数理・データサイエンス・AI」Amazonでの購入はこちら 「スッキリわかる数理・データサイエンス・AI」楽天市場での購入はこちら スッキリわかる数理・データサイエンス・AI インプレスグループで理工学分野の専門書出版事業を手掛ける株式会社近代科学社は、2024年9月20日に、近代科学社が著者とプロジェクト方式で協業するデジタルを駆使したオンデマンド型の出版レーベル・近代科学社Digitalレーベルより、皆本晃弥氏著書による、数…

趣味のPython・深層学習•2ヶ月前

Squeezeformerを理解したい

Squeezeformerの詳細解説 1. 全体構造の概要 Squeezeformerは音声認識などのシーケンス処理のために設計された効率的なアーキテクチャです。入力データ形状は (batch_size, sequence_length, channel_size) となっており、例えば: - batch_size = 2 (2つのデータを同時処理) - sequence_length = 16 (時系列の長さ) - channel_size = 64 (各時点での特徴量の次元) 全体コード import torch import torch.nn as nn class GLUMlp(nn.…

Programming Serendipity•2ヶ月前

読書メモ2024-2

｢​｣

趣味のPython・深層学習•2ヶ月前

LSTMのカスタムpoolingとtanhの理由

LSTMのカスタムpoolingとtanhの理由 CustomPoolerは時系列データに重みをつけてプーリングする層 class CustomPooler(nn.Module): def __init__(self, hidden_size): super(CustomPooler, self).__init__() # 全結合層のシーケンシャルモデルを定義 self.fc = nn.Sequential( nn.Linear(hidden_size, hidden_size, bias=True), # 特徴を隠れ層サイズに変換 nn.Tanh(), # 非線形変換で情報を圧縮 nn.Li…

jiku log•3ヶ月前

「大規模言語モデル入門」を読む　〜第2章 Transformer〜

はじめに 製造業においても，自然言語処理は重要な技術テーマのひとつである。週報などのメール，社内規定などのルール，安全記録や検査記録など，日々多くの文章が業務上で現れる。これらのテキストデータに対して自然言語処理技術を適用して業務効率化を実現していくために，近年発展が目覚ましい大規模言語モデルについて学ぶことにした。このたび，大規模言語モデルの入門書として，山田 育矢 著「大規模言語モデル入門」を読むこととした。gihyo.jp 目次 はじめに 目次 第2章 Transformer 2.1 概要 2.2 エンコーダ 入力トークン埋め込み 位置符号 自己注意機構 (self-attention)…

nodchipのコンピューター将棋ブログ•3ヶ月前

tanuki- 2024-09-14 ネットワークパラーメーター

tanuki- 2024-09-14 ネットワークパラーメーター 実験内容 ネットワークパラメーターの乱数での初期化後、一部のパラメーターを将棋の知識を考慮して変更してから学習させ、レーティングを測定する。 デフォルトの方法で初期化したあと、入力層から隠れ層第 1 層のネットワークパラメーターのうち、 0 番目のユニットにつながるネットワークパラメーターの中で、玉とそれに利きを持つ相手の駒の組み合わせに対応する重みを 1.0 に設定する。 棋譜生成 ランダムパラメーターから学習させる際の学習データ 生成ルーチン tanuki-棋譜生成ルーチン 評価関数 Hao (tanuki-.halfkp_…

初心者データサイエンティストの備忘録•4ヶ月前

【深層学習】RNN・LSTM・UGRNN・GRUの関係性：勾配消失問題の解決とパラメータの削減

深層学習 改訂第２版 (機械学習プロフェッショナルシリーズ)作者:岡谷貴之講談社Amazon はじめに 深層学習を読んでいます。本記事では、本書のChapter 6 に記載の系列データに用いる深層学習モデル間の関係性、および各モデルの構造図や順伝播の式を紹介します。 問題設定 モデルを紹介する前に、系列データについて説明します。深層学習では、系列データを下記のように定義しています。 個々の要素が順序付きの集まり として与えられるデータ 系列データの例としては、株価の値動きや文章などが考えられます。以下に系列データに関する問題例を2つ挙げます。 1.株価予測 一つ目の例として、株価予測を挙げます…

趣味のPython・深層学習•4ヶ月前

補助ロス（Auxiliary Loss）実装サンプルコード

Deep LearningにおけるAuxiliary Lossの詳細解説 1. はじめに Deep Learningの世界では、モデルの性能向上のために様々な手法が開発されてきました。その中でも「Auxiliary Loss（補助損失）」は、特に注目される手法の一つです。本記事では、Auxiliary Lossの概念、利点、そして実装方法について、できる限り詳細に解説していきます。 2. Auxiliary Lossとは Auxiliary Lossとは、ネットワークの中間層に追加の損失関数を導入する手法です。主な目的は以下の通りです： 勾配消失問題の軽減 中間層の特徴表現の改善 モデルの汎化…

HBLABJapanの日記•5ヶ月前

ディープラーニング（Deep Learning）とは？その種類や活用範囲について

ディープラーニング（Deep Learning）とは？その種類や活用範囲について 初めに 近年、ディープラーニングはAIや機械学習の分野で急速に進展しています。この技術は、多層のニューラルネットワークを用いて大量のデータから特徴を自動的に抽出し、複雑な問題を解決する能力を持っています。以下では、ディープラーニングの概要、特徴、種類、および応用分野について簡潔に説明します。 Deep Learning（ディープラーニング）とは？ ディープラーニングは、人間の脳を模倣したアルゴリズムで、大規模なデータセットからパターンや特徴を学習する技術です。特に画像認識、音声認識、自然言語処理などで大きな成果を…

AI吉のブログ•6ヶ月前

ai技術 一覧　AI技術の詳細　まとめ

AIで稼ぎたい方にお勧めのオンラインスクール（3日間無料）について紹介しています。 aikiti.hatenablog.com AI技術の詳細その1 畳み込みニューラルネットワーク（CNN）：画像認識の革新技術 導入部分 畳み込みニューラルネットワーク（Convolutional Neural Network, CNN）は、特に画像認識やコンピュータビジョンの分野で広く利用されているディープラーニングの一種です。CNNは、その高い精度と効率性から、多くの実世界のアプリケーションで活用されています。本記事では、CNNの基本的な仕組み、主要なコンポーネント、そしてその応用例について解説します。 1…

AI吉のブログ•6ヶ月前

AI技術の詳細その2　リカレントニューラルネットワーク（RNN）：時系列データ解析の鍵

導入部分 リカレントニューラルネットワーク（Recurrent Neural Network, RNN）は、時系列データや連続データの処理に特化したディープラーニングモデルです。RNNは、過去の情報を記憶し、現在の処理に反映させることができるため、自然言語処理や音声認識、株価予測など多くの分野で活用されています。本記事では、RNNの基本的な仕組み、主要なコンポーネント、そしてその応用例について解説します。 1. RNNの基本構造 RNNは、従来のニューラルネットワークとは異なり、時間的な依存関係を考慮することができます。これにより、連続したデータを扱うことが可能になります。 a. 隠れ層（Hi…

ml_t•6ヶ月前

6『乱数による初期パラメータ設定とバッチサイズ』

１）モデルの重みとバイアスの初期値はランダムに決められます。これはtorch.nnという機能を用いると裏で処理されてコード上に現れることがありません。手書きのコードでモデルの重みとバイアスを明示的に定義することもできます。（model.fc1.weight = nn.Parameter(fc1w_tc)） ２）初期値のランダム性により学習結果は毎回完全に一致するわけではない。しかしランダム性を同じにすることもできて、random_seedを固定すると利用されるランダム値が固定され、出力が同一となります。 random.seed(0) numpy.random.seed(0) torch.man…