RNN

RNN（Recurrent Neural Network）とTransformerは、自然言語処理や時系列データなどの構造的な情報を扱う際に広く使用されるニューラルネットワークのアーキテクチャです。しかし、それぞれ異なる仕組みを持ち、特性が異なります。以下では、RNNとTransformerの主な違いについて解説します。 RNN（Recurrent Neural Network）とは Transformerとは 構造の違い 処理方法の違い 学習時間の違い まとめ RNN（Recurrent Neural Network）とは RNNは、時系列データやシーケンスデータを扱うのに適したネットワーク…

再帰型ニューラルネットワーク（Recurrent Neural Network、RNN）は、ディープラーニングの一種であり、主にシーケンスデータを処理するために設計されたニューラルネットワークのアーキテクチャです。RNNは、他のニューラルネットワークアーキテクチャ（たとえば、畳み込みニューラルネットワーク）とは異なり、自己ループ（自己参照）構造を持ち、過去の情報を保持し、新しい情報と組み合わせて次の出力を生成する能力を持っています。 ここではRNNの基本について説明し、Pythonを使用してRNNを実装する方法を具体的な例とコードを交えて説明します。 (adsbygoogle = window…

備忘録です。今回はディープラーニングの内、自然言語処理の用語をまとめたものです。

こんにちは。GWいかがお過ごしでしょうか？私はここぞとばかりにブログを更新するぞ！と躍起になっております。何か深く学ぶのにじっくり時間をかけられるので、連休を有意義に過ごしたいものですね。さてRNNの発展形とされているLSTMについて実装してみました。今回は実装の前段階として、「なぜRNNではなくLSTMが良いされるのか」について解説してみたいと思います。 RNNの課題 RNNとLSTMのモデル比較

こんにちは！こーたろーです。 春からDeepLearningや機械学習を教えることになりました。 今は準備でばたばたしております。 合間を縫ってブログを書いていきます。 毎日書くのは大変！ ということで、今回も【図解速習DEEP LEARNING】やっていきます！ 今回はPerformance RNNで音源を作っていきます。 事前準備 環境の準備 モデルを取得する 曲の生成及び演奏データの生成

こんにちは。 前回PyTorchを使ってRNNを実装してみました。 せっかく活性化関数を変更できるようになったので、今回は実験編ということで、活性化関数による精度や処理時間の違いを見ていきたいと思います。

どうも、かわばっちゃんです。 今回は、再帰的ニューラルネットワーク（RNN）について紹介します。 再帰的ニューラルネットワーク（RNN）とは AIの中でも、ディープラーニングの手法の一つです。 ディープラーニングでは入力が中間層で複雑に掛け合わさった後に、出力される構造である人工ニューラルネットワークを構築します。 このニューラルネットワークの出力結果が入力側に循環する仕組みを再帰的ニューラルネットワーク（RNN）と呼びます。 具体的に言うと、出力結果から、遡って、重みやバイアスを最適に修正していくような仕組みですね。 最適な重みやバイアスを人が計算することは非常に難しいためにある仕組みです。

今更ながらにはなりますが、今回、CNN+LSTMを使ったモデルの実験をしました。 モチベーションとしては、前回の記事で取り上げた論文のFuture WorkでAs future work, we will explore options to incorporate temporal dependencies into Dyna-BOLT. とあり、時系列を考慮した拡張のための技術の下調べになります。 CNN+LSTM構造 時系列データといったらLSTMやGRUがすぐに頭に思い浮かびますがCNNをLSTMと組み合わせることで性能を上げることが可能です。 Different ways to co…

はじめに 展示作品について（ざっくり） 専攻とあんま関係ない学会に行くと楽しいぜ。 非同期同調セルオートマトン ミナミコメツキガニと熱湯風呂 カオスの縁は綱渡り 選ばれしセルオートマトンたち 非同期同調セルオートマトンと拡張されたカオスの縁 リザバーコンピューティング 水面をのぞき込み、過去に投げ入れられた石を知る 自然計算器、誕生 計算器自然計算 余談: 計算器自然計算器自然計… 作品解説（詳細） 1. 人工生態系 2. 仮想神経ネットワーク 3. 物理空間とのインプット・アウトプット 4. 人工生態系をリザバーとしたリザバーコンピューティング（未実装） 表現方面の話 メディアアート計算 そ…

こんにちは！ABEJAでデータサイエンティストをしている藤原です。ABEJAアドベントカレンダー2024 の11日目のブログになります！ キーフレーズ抽出を簡単に試すという機会がよくあるのですが、簡単に検証する範囲だといつも同じツール・モデルを使っているため、他の方法でも上手くキーフレーズ抽出ができないか？ということで今回いくつか検証してみました。やることとしては、まず Embedding Model を使って日本語の長めの文章からキーフレーズを上手く抽出できるか？というのを検証します。その上で、色々な Embedding Model 間で抽出されるフレーズがどのように違うか？も比較してみます…

こんにちは！エキサイト株式会社、SaaS・DX事業部エンジニアの岩田史門です！ エキサイトHDアドベントカレンダー7日目を担当させていただきます! はじめに 自動音声認識 (ASR: Automatic Speech Recognition) と話者分離 (SD: Speaker Diarization) は、カスタマーサポート、自動議事録作成、音声インタフェースの改善など、さまざまな分野で活用されています。 現在開発に携わっている、FanGrowthというプロダクトでも、ウェビナーレポートという機能で活用しています！ www.fangrowth.biz 本記事では、OpenAIのWhispe…

この記事は生成AI Advent Calendar 2024の3日目の記事です。 AIの歴史は60年ほどで、「冬の時代」と呼ばれる停滞期もありましたが、昨今の生成AIの発展は「Transformer」と呼ばれる論文から始まりました。 この「Transformer」論文をわかりやすいように生成AIに要約させてみました。 arxiv.org 「Transformer」論文は上記サイトで見ることができます。 論文の正式名称は「Attention Is All You Need」で、現在 v7。 右側のAccess Paper:から閲覧することができます。 なお、PDFの直リンクはこちら Google…

はじめに 製造業におけるデータ分析において，時系列分析は重要かつ頻出課題の１つである。時系列分析の理論とPythonによる実装の両方を学ぶために，最近注目を集めている馬場真哉 著 「Pythonではじめる時系列分析入門」を読むことにした。本記事は，第6部「機械学習法」の第2章「ニューラルネットワークと深層学習」の読書メモである。 本書の紹介ページ www.kspub.co.jp 目次 はじめに 目次 第6部 第2章 ニューラルネットワークと深層学習 2.1 ニューラルネットワーク 2.2 パラメータ推定における工夫 2.4 深層学習と時系列分析 2.5 リカレントニューラルネットワーク(RNN…

小西秀和です。 今回は新しく追加されたAWS認定であるAWS Certified AI PractitionerとAWS Certified Machine Learning Engineer - Associateに私が合格するまでの学習過程で得られたナレッジを「AWSに関するAI・機械学習用語集」として、ざっくりとまとめてみました。 この「AWSに関するAI・機械学習用語集」の内容は、日本の「技術書典17」向けに個人出版として共著した「AWSの薄い本の合本Vol.01」における「クイズで学ぶAWSの機能と歴史：厳選『機械学習』編」の問題・解答にも使用しています。 短時間にAI・機械学習の用…

暑い暑い暑い夏が続いた2024年も、すっかり寒くなってちゃんと年末らしくなって参りました！ 今回は年末年始特集！ 第一回目は今年の推し 「ノイズとか実験とか電子音楽とか即興系の音楽やってるお兄さん特集♡」 自分、不器用ですから、あまり欲張らず・・・4名厳選で！ 米本実 音楽音響講座「米本実のミュージック・アカデミー」主宰。「楽しい電子楽器 自作のススメ(オーム社)」著者。 https://umizuha01.exblog.jp/30317355/ これ、今年2024年の夏の高円寺Oriental Forceのライブの時に作ったブログで 米本実様とは、音楽音響講座「米本実のミュージック・アカデミ…

はじめに プラグイン10選 必須プラグイン 1.PluginRepo 2.ThemeRepo 便利系プラグイン 3.InvisibleTyping 4.NotificationSounds 6.GameActivityToggle 7.Translator UI系プラグイン 8.CallTimeCounter 9.AllCallTimeCounter 10.BetterFolders 11.BetterAnimations 12.ReadAllNotificationsButton おすすめテーマ 1.Nocturnal カスタムCSS はじめに 1年以上使用してきた中でおすすめプラグインをご…

スッキリわかる数理・データサイエンス・AI 「スッキリわかる数理・データサイエンス・AI」内容紹介 「スッキリわかる数理・データサイエンス・AI」目次 「スッキリわかる数理・データサイエンス・AI」Amazonでの購入はこちら 「スッキリわかる数理・データサイエンス・AI」楽天市場での購入はこちら スッキリわかる数理・データサイエンス・AI インプレスグループで理工学分野の専門書出版事業を手掛ける株式会社近代科学社は、2024年9月20日に、近代科学社が著者とプロジェクト方式で協業するデジタルを駆使したオンデマンド型の出版レーベル・近代科学社Digitalレーベルより、皆本晃弥氏著書による、数…