誤差逆伝播

はじめに 私が調査した内容を備忘録としてまとめたもので，実際に全てを試したわけではありません． なので，間違えている，または効果のない内容が含まれている可能性があります． それを踏まえて参考として読んでいただけると助かります． 高速化方法 ヤコビ・ヘッセ行列の計算 最適化の中で用いられる目的関数・制約の勾配（ヤコビ行列）の推定に使用されるのは有限差分であるため，勾配の計算は正確ではありません． 多くの場合，解の更新の回数が増え，計算時間が長くなります． そこで，ヤコビ行列を戻り値とする関数を用意することで，より高速に計算することができます（詳細）． （ただ，勾配の計算が複雑な場合は，有限差分の…

気になった用語等をまとめる Numpyまとめ Numpyの配列の作成①（N次元配列） A = np.array([1, 2], [3, 4]) => [[1 2], [3 4]] Numpyの配列の作成② x = np.arange(0, 6, 0.1) => [0, 1, ..., 5.9] Numpyによる多次元配列の計算 B = np.array([[5, 6], [7, 8]]) np.dot(A, B) => array([[19, 22], [43, 50]]) # 2つの行列で対応する次元の要素数を一致させるのがポイント 次元の数え方 # 一次元配列 # 1 x 2(縦(列)、横…

皆さん、こんにちは。AnyTechの立浪と申します。 突然ですが、技術の進展は速いものですね。特に巨大テック企業は我々には使えないような莫大な計算リソースを使って、日々研究を進めています。羨ましい限りです。そんな莫大な研究リソースを手にしているGoogleから、「いまさらわかったの？もっと早くやってよ」と思わず言いたくなるようなTechnical Reportが出されました。この記事ではこの記事の内容についてご紹介したいと思います。 ConvNets Match Vision Transformers at Scale これが論文のタイトルです。ConvNetsはViTとスケールと一致する..…

「戦略ゲームAI解体新書」読書会ログ 1, 2 章 - You are done! 「戦略ゲームAI解体新書」読書会ログ 3 章 - You are done! 「戦略ゲームAI解体新書」読書会ログ 4 章 前半 - You are done! 今週も読書会ログ。4章は後半。 4.5 コンストラクション ここからの題材になる「クラフトシリーズ」の紹介が主でした。 コンストラクションとは 周りから資源を集めて、お城や基地を建設し、その中でさらに兵士や宇宙船を生産するシステム コンストラクションと戦闘を掛け合わせたゲームの場合、交互にかつ効率的にそれらを行う必要がある コンストラクションばかりでは…

気になった用語等をまとめる 第1章_機械学習入門 学んだこと 機械学習・ディープラーニングの根本原理は「損失関数」の値を最小化するパラメータを見つけること そのためには勾配降下法を利用し微分をする 数値を予測する「回帰」と離散値を予測する「分類」 1階層のモデルを「ロジスティック回帰」、2階層のモデルを「ニューラルネットワーク」、3階層のモデルを「ディープラーニング」(全て分類モデル) 第2章_微分・積分 学んだこと 微分とは「関数のグラフ上のある点を中心にグラフを無限に拡大していくとグラフは限りなく直線に近づく。この時の直線の傾き」(つまり接線の傾き)のこと 微分とは「xを少し増やした時のy…

気になった用語等をまとめる 第1章_人工知能基礎知識 学んだこと 人工知能とは人と同じような知的処理を行うことができる機械のこと 機械学習は人工知能の一つで入力されたデータを元に数値を予測したりすること 機械学習のプロセスは、 ①期待される出力データと学習モデルが計算した結果を比較 ②期待される出力データに近づくように学習モデルを修正 機械学習の問題は分類と回帰に分けられる ①分類はどのデータがどの種類に属するかを見る(=離散値) ②回帰はデータの傾向を見る(=連続値) 深層学習は脳の神経回路を模したニューラルネットワークと呼ばれる学習モデルを用いる 機械学習のこと 機械学習との違いは深層学習…

「ニューラルネットワークを多層化し、誤差逆伝播法を用いることで、単純パーセプトロンの限界を克服することができるようになりました。」 公式テキストには確かこんな感じで書かれていたような・・・ まるで「誤差逆伝播は『常識』の一つですよね？」とでも言わんばかりに。。しかも「え？常識ですからそんな説明する必要もないかと。。」とでも言わんばかりに、サラ――っと紹介して・・・ んな雑な紹介でいいんですか？これがなければ今の深層学習はなかった技術だろうに。確かに「深層学習の勉強するなら『常識』ですね」でしょうが、初学者にそれ求めるなっちゅうねん。。 誤差逆伝播法の説明自体は後述しますが、G検定公式テキストで…

ここでは、「G検定」の １）試験範囲・試験概要 ２）試験対策・勉強方法 について『ざっくり』ご紹介します。 めちゃくちゃざっくりなので、ちゃんと調べたい他のWEBサイトをご覧ください。 「このブログ、読み進めていいのかどうか」の材料にしていただきたいページです。 １）試験範囲・試験概要 試験範囲・・・「ディープラーニング」の概要・手法・実装事例まで網羅的に試験。 具体的には ⑴人工知能とは ⑵人工知能をめぐる動向 ⑶人工知能分野の問題 ⑷機械学習の具体的手法 ⑸ディープラーニングの概要 ⑹ディープラーニングの手法 ⑺ディープラーニングの社会実装に向けて 『G検定』学んで何が得れるか？というと、…

久々に、ブログを書く気になったので、最近読んでいて面白かった「Unsupervised Sound Separation Using Mixture Invariant Training」についてまとめる。 特に記載がなければ論文中の図表は以下を参照しています。 [1] S. Wisdom, E. Tzinis, H. Erdogan, R. J. Weiss, K. Wilson, and J. R. Hershey, “Unsupervised sound separation using mixture invariant training,” Adv. Neural Inf. Proc…

はじめに はじめまして．ふかだ（@towardbluesky）と申します． 2023年7月8日と9日に実施された編入試験で大阪大学基礎工学部 情報科学科 ソフトウェア科学コースに合格したので，体験記を書きます！ はじめに 自己紹介 勉強内容 英語（TOEIC） 数学 物理 過去問 面接・口頭試問 出願情報 試験の内容 英語（TOIEC） 数学（120分） 物理（90分） 面接・口頭試問 どうして合格できたのか 伝えたいこと 余談 自己紹介 名前：ふかだ 出身：N高専情報科 席次：1年生1位，2年生2位，3年生1位，4年生1位 受験年度：2024年度（令和6年度） 併願校：広島大学情報科学部，京…

support page 以降、章ごとのメモや思ったことを混ぜて書く（目次併記） 0, 1 2, 3 4 5 6 終 あとがき その他、思ったこと 手書きメモ おまけ：メモをテキスト化してgpt(3.5)に食わせてみた input output 感想 support page https://hillbig.github.io/large-language-models/ 以降、章ごとのメモや思ったことを混ぜて書く（目次併記） 0, 1 序章 チャットGPTがもたらした衝撃 登場から二カ月で月間一億人が利用するサービスに 大規模言語モデルはこれまでにない汎用サービスを実現する 生活や社会を変え…

こんにちは！株式会社 ABEJA で ABEJA Platform 開発を行っている坂井（@Yagami360）です。世間では ChatGPT などの大規模言語モデル（LLM）による対話型 AI が盛り上がってますね。クオリティーも凄いし AI 業界以外でも盛り上がってると嬉しいですよね。この数年で一段と AI の社会実装が業界以外の人にも目に見える形で進んできたなあと実感しております。 自分は普段業務では ABEJA Platform という AI プロダクトやその周辺プロダクトのバックエンド開発とフロントエンド開発をやっているのですが、AI 業界所属していながら ChatGPT などの L…