Hatena Blog Tags
はてなブログ トップ
RNN
このタグでブログを書く
言葉の解説
ネットで話題
関連ブログ

RNN

このタグの解説についてこの解説文は、すでに終了したサービス「はてなキーワード」内で有志のユーザーが作成・編集した内容に基づいています。その正確性や網羅性をはてなが保証するものではありません。問題のある記述を発見した場合には、お問い合わせフォームよりご連絡ください。
初心者データサイエンティストの備忘録•2ヶ月前

LSTMはなぜRNNより勾配消失を起こしにくいのか？：誤差逆伝播の更新式を比較して確認

深層学習 改訂第２版 (機械学習プロフェッショナルシリーズ)作者:岡谷貴之講談社Amazon はじめに 系列データ RNNとLSTM RNN RNNの構造 RNNの誤差逆伝播 LSTM LSTMの構造 LSTMの誤差逆伝播 RNNとLSTMの更新式の比較 結論 補足：誤差逆伝播の更新式導出に用いた命題の証明 はじめに 株価の変動や文章のような系列データを扱う深層学習モデルに、RNN（Recurrent Neural Network）とLSTM（Long Short Term Memory）があります。RNNは、系列データを扱う基本的なモデルの一種ですが、学習の際に勾配消失が発生しやすく、層を多…

#深層学習#LSTM#RNN#勾配消失

関連ブログ

初心者データサイエンティストの備忘録•5ヶ月前

【深層学習】RNN・LSTM・UGRNN・GRUの関係性：勾配消失問題の解決とパラメータの削減

深層学習 改訂第２版 (機械学習プロフェッショナルシリーズ)作者:岡谷貴之講談社Amazon はじめに 深層学習を読んでいます。本記事では、本書のChapter 6 に記載の系列データに用いる深層学習モデル間の関係性、および各モデルの構造図や順伝播の式を紹介します。 問題設定 モデルを紹介する前に、系列データについて説明します。深層学習では、系列データを下記のように定義しています。 個々の要素が順序付きの集まり として与えられるデータ 系列データの例としては、株価の値動きや文章などが考えられます。以下に系列データに関する問題例を2つ挙げます。 1.株価予測 一つ目の例として、株価予測を挙げます…

#深層学習#系列データ#RNN#LSTM#UGRNN#図解
PyDocument•1年前

TransformerとRNN（Recurrent Neural Network）の違い

RNN（Recurrent Neural Network）とTransformerは、自然言語処理や時系列データなどの構造的な情報を扱う際に広く使用されるニューラルネットワークのアーキテクチャです。しかし、それぞれ異なる仕組みを持ち、特性が異なります。以下では、RNNとTransformerの主な違いについて解説します。 RNN（Recurrent Neural Network）とは Transformerとは 構造の違い 処理方法の違い 学習時間の違い まとめ RNN（Recurrent Neural Network）とは RNNは、時系列データやシーケンスデータを扱うのに適したネットワーク…

#Transformer#RNN#自然言語処理#生成AI
PyDocument•1年前

再帰型ニューラルネットワーク（RNN）の基本とPythonによる実装方法

再帰型ニューラルネットワーク（Recurrent Neural Network、RNN）は、ディープラーニングの一種であり、主にシーケンスデータを処理するために設計されたニューラルネットワークのアーキテクチャです。RNNは、他のニューラルネットワークアーキテクチャ（たとえば、畳み込みニューラルネットワーク）とは異なり、自己ループ（自己参照）構造を持ち、過去の情報を保持し、新しい情報と組み合わせて次の出力を生成する能力を持っています。 ここではRNNの基本について説明し、Pythonを使用してRNNを実装する方法を具体的な例とコードを交えて説明します。 (adsbygoogle = window…

#再帰型ニューラルネットワーク#RNN#Python
ビジネスパーソン・ガジェット置場　empty lot for business•2年前

Python: ディープラーニング用語②（様々なニューラルネットワーク）

備忘録です。今回はディープラーニングの内、自然言語処理の用語をまとめたものです。

#自然言語処理#RNN#seq2seq
技術は使ってなんぼ•4年前

PyTorchで作るLSTM　なぜRNNではなくLSTMなのか

こんにちは。GWいかがお過ごしでしょうか？私はここぞとばかりにブログを更新するぞ！と躍起になっております。何か深く学ぶのにじっくり時間をかけられるので、連休を有意義に過ごしたいものですね。さてRNNの発展形とされているLSTMについて実装してみました。今回は実装の前段階として、「なぜRNNではなくLSTMが良いされるのか」について解説してみたいと思います。 RNNの課題 RNNとLSTMのモデル比較

#Python#Pytorch#RNN#LSTM
技術は使ってなんぼ•4年前

PyTorchで作るRNN　検証編

皆様こんにちは。 新年度が始まりましたがいかがお過ごしでしょうか？ 私は3月入ってから本業のみならず副業や家事育児に忙殺されてほぼ休みがない日々を過ごしております（現在進行形）。 前回のRNNで、活性化関数がtanhやReLuよりも予測結果が悪かった件について、色々試してみました。 合間合間を見つけては、ちょこちょこソースコードいじったり、パラメータをいじったりしてました。 結論として、 本質的な問題の原因はよくわかりませんでした。。 とはいえわかったことのひとつとして、パラメータがいけてないことがわかりましたので、その結果をご紹介します。 エポック数と隠れ層のノード数がいけてない 前回のエポ…

#Python#Pytorch#RNN
福岡人データサイエンティストの部屋•4年前

Peformance RNN使ってみた【図解速習DeepLearning】#021

こんにちは！こーたろーです。 春からDeepLearningや機械学習を教えることになりました。 今は準備でばたばたしております。 合間を縫ってブログを書いていきます。 毎日書くのは大変！ ということで、今回も【図解速習DEEP LEARNING】やっていきます！ 今回はPerformance RNNで音源を作っていきます。 事前準備 環境の準備 モデルを取得する 曲の生成及び演奏データの生成

#Google Colaboratory#Deep learning#machine learning#機械学習#深層学習#RNN#LSTM
技術は使ってなんぼ•4年前

PyTorchで作るRNN　実験編

こんにちは。 前回PyTorchを使ってRNNを実装してみました。 せっかく活性化関数を変更できるようになったので、今回は実験編ということで、活性化関数による精度や処理時間の違いを見ていきたいと思います。

#Python#RNN#Pytorch
kawabacchan’s diary•4年前

再帰的ニューラルネットワーク（RNN）

どうも、かわばっちゃんです。 今回は、再帰的ニューラルネットワーク（RNN）について紹介します。 再帰的ニューラルネットワーク（RNN）とは AIの中でも、ディープラーニングの手法の一つです。 ディープラーニングでは入力が中間層で複雑に掛け合わさった後に、出力される構造である人工ニューラルネットワークを構築します。 このニューラルネットワークの出力結果が入力側に循環する仕組みを再帰的ニューラルネットワーク（RNN）と呼びます。 具体的に言うと、出力結果から、遡って、重みやバイアスを最適に修正していくような仕組みですね。 最適な重みやバイアスを人が計算することは非常に難しいためにある仕組みです。

#AI#RNN#再帰的ニューラルネットワーク#人工ニューラルネットワーク#ディープラーニング#重み