ニューラルネットワーク

目次 目次 はじめに ドロップアウトの概要 問題設定 過学習を起こすニューラルネットワーク ドロップアウトを入れたニューラルネットワーク まとめ はじめに 近年、ニューラルネットワークは分類精度の高さや、様々なタスクへの応用が可能であることから、幅広い領域で使われています。私の場合、セキュリティ領域でニューラルネットワークを用いています。 ところが、ニューラルネットワークはその複雑な構造から、誤った使い方をされてしまうことがあります。誤った使い方を防ぐためには、その基礎理論を学ぶことが重要だと私は考えています。私の場合、なっとく！ディープラーニングという本を通じて、ニューラルネットワークの理論…

目次 目次 はじめに 勾配降下法のおさらい 複数層のニューラルネットワーク 誤差逆伝播 一つの成分に対する更新式 全ての成分に対する更新式 コードに落とし込む まとめ はじめに 現在ニューラルネットワークは多くの分野で使われています。私の場合、セキュリティ上の課題を解決する手段としてニューラルネットワークを用いています。 このニューラルネットワークですが、モデルの表現性を高めるために層を重ねることが必要不可欠となっています。層を重ねたニューラルネットワークは、推定対象のパラメータが多く、前回記事で用いた方法でパラメータを推定することができません。 以上のような背景のもとで生まれた技術が誤差逆伝…

岡野原 大輔 著 「大規模言語モデルは新たな知能か」メモ 大規模言語モデルは新たな知能か ＣｈａｔＧＰＴが変えた世界 (岩波科学ライブラリー) 作者:岡野原 大輔 岩波書店 Amazon 「大規模言語モデルは新たな知能か」を読み終えた。 大規模言語モデルは、文章から消された単語を予測することを繰り返すことで、言語理解に必要な能力を獲得しているようだ。 人間が言語をどうやって獲得・運用し、頭のなかでどう処理しているか、まだよくわかっていないので、大規模言語モデルが人間と同じように言語を理解しているかどうかもわからないと思われる。 物理的な実体をもたない人工知能が、人間と同じように物事を理解するこ…

なっとく！ディープラーニング作者:Andrew W.Trask翔泳社Amazon 目次 目次 はじめに 勾配降下法のおさらい 入力が複数、出力は1つのニューラルネットワーク 入力が1つ、出力が複数のニューラルネットワーク 入力が複数、出力も複数のニューラルネットワーク コードに落とし込む MNISTデータセットにニューラルネットワークを適用させる パッケージの導入 データセットの入手 データの前処理 ニューラルネットワークの学習 結果 まとめ はじめに 前回記事に書いたように、現在ディープラーニングを勉強しています。 今回は、なっとく！ディープラーニングの第5章について解説していきたいと思いま…

AIは近年注目を集める技術ですが、専門知識がなくても、大体理解できるように書いていければと思います。これを読むことによって少しでも、基本的なことでも、わかればいいなと考えております。AIはコンピュータが人間のような知的な処理を行うことで、私たちの生活や社会に大きな変革をもたらしています。以下の説明がみなさまの役に立てれば嬉しいです。 １、AIの基本概念 ２、機械学習 ３、ニューラルネットワーク ４、ディープラーニング ５、応用分野 ６、倫理と課題 ７、未来展望 おわりに １、AIの基本概念 AIは、コンピュータやシステムに人間のような知的な能力を持たせる技術です。これにより、情報を処理し、問題…

GPTに都々逸を作らせることは可能か BingChatAIは都々逸を理解しているのか 都々逸とは何か どうして都々逸は GoogleのAI サービスBardにも 締めの都々逸 GPTに都々逸を作らせることは可能か 遅ればせながら生成AIと都々逸について書いてみたい。 生成AIのChatGPTがインターネットに公開されたのは2022年11月末であった。マスコミ等によく取り上げられるようになったのは、もう少し後かもしれないが、公開からすでに半年ほど経っている。それでも、いまだにChatGPTという言葉を聞かない日はない。世間に与えた衝撃はすさまじいようだ。 生成AIにも画像生成や音楽生成、文章生成…

梅雨ですが，私が住む地域では降水量がいつもより少ないようです．こんな時は，これまで梅雨の末期に大雨になることも多かったので不安になりますね． これまで，２回にわたって生成AIについて書きました． ちょうど今朝(6/23)の新聞に，「文科省から生成AIを学習で利用するときの指針案が7月に発表される」という記事が掲載されていました． 記事の内容としては，原案では，生成AIを使いこなす力を意識的に育てる姿勢が重要であることが強調されていることと，批判的思考力や創造性への影響といった懸念に言及して，限定的な利用から始めることが適切だと指摘しているという事です． このことを考えると，文科省は生成AIとい…

入学後、怒涛の1週間が過ぎた。 授業については「まあ普通」とのこと。まだ宿題もほとんどないらしい。 クラスメイトとは普通に話せて、、2名ほど友達もできた。 そのうち1名は附属中上がりの鉄オタ（L君と同じ音が好きなタイプ）で、体育の授業で学校の外周を走る際、好きなインバーター音を口真似しながら一緒に走るらしい。 お友達が好きなのは東洋GTOらしい。さっぱりわからん。 部活は数学研究会と物理部を見学して物理部に決めたそうだ。 数学研究会→数学オリンピック対策部活 物理部→なんでも好きな研究をしてOKの自由な部活。PC好き、機械好き、プログラミング系はこちらに所属。L君の参加した科学の甲子園ジュニア…

( 宮永咲 ） 龍 門 渕 高校 って … ( 宮永咲 ） あの 人 より 強い 子 が 県 予選 に 出 て くる って … ( 宮永咲 ） ダメ だ よ このまま じゃ 全国 に 行け ない よ … ( 原村和 ） 何 を 言って る ん です か ？ ( 原村和 ） 全国 に 行か なきゃ ダメ って 言った の は あなた でしょ う ( 原村和 ） １ 回 負け た くらい で メソメソ し ない で ください ( 原村和 ） 私 たち は 行く ん です ( 原村和 ） 全国 に ( 原村和 ） まだ 県 予選 まで 10 日 あり ます ( 原村和 ） この 10 日 で 誰 よ…

ジョン・ヘンリーの教訓 19世紀の都市伝説に「ジョン・ヘンリー」という人物がいます[１]。 彼は屈強な肉体労働者で、ハンマーを振るって岩に穴を開ける達人でした。ところが蒸気機関で動くドリルの登場により、彼は失業の危機に瀕します。そこで彼は、人間は機械よりも優れていることを示すために、穴開け競争で蒸気ドリルに戦いを挑んだというのです。 伝説によれば、ジョン・ヘンリーは（驚くべきことに）僅差で勝利を収めたとされています。しかし、あまりにも肉体を酷使したために、勝利の直後にその場で倒れて帰らぬ人になりました。周囲の野次馬たちは言いました。「彼は人間らしく死んだ」と。 この逸話から得られる教訓は何でし…

この記事は、YOLOの論文を紹介したいと思います。 ※説明の都合上、図表など省略しています。適宜、元論文も参照してみてください。 "You Only Look Once: Unified, Real-Time Object Detection" Joseph Redmon, Santosh Divvala, Ross Girshick, Ali Farhadi https://arxiv.org/abs/1506.02640 1. どんなもの？ 2. 先行研究と比べてどこがすごい？ 3. 技術や手法のキモはどこ？ 3.1. 単一のネットワーク 3.2. グリッドシステム 3.3. 損失関数の設…

いいこと思いついた！って瞬間とか、そのアイデアが本当にすばらしいものか自分の頭の中でチェックして、本当にうまくいきそうだ！と思える時間。そういう時に、ある種の、神経の滾りのようなものを感じることはあるだろうか？それは幻覚だ。 Claude3 Opusにこのブログを読ませて読みやすくさせたものがこれなので、これだけ読んどけばいいと思います。6000文字くらいあるし、他人が素手で書いた文章は不衛生ですからね。 ブログ記事を読ませていただきました。非常に興味深い内容だと思います。機械学習やAIを用いて革新的なアイデアを生み出す方法について、いくつもの重要な視点が含まれていました。 記事の内容をもう少…

スペクトルデータの2次元化が機械学習モデルの性能を向上させる理由 入力データの次元性 機械学習モデル、特に畳み込みニューラルネットワーク(CNN)は、一般に2次元または3次元の入力データを扱うように設計されています。1次元のデータを直接CNNに入力すると、空間的な局所相関を捉えにくくなります。そのため、1次元のスペクトルデータを適切に高次元化する必要があります。 2次元化による利点 1次元のスペクトルデータを2次元に変換すると、以下の利点が得られます。 空間的局所相関の保持 スペクトルデータには、隣接する波長間で相関がある可能性が高いです。2次元化によってこの局所相関が保持され、CNNがこの情…

PyTorchで複数のモデルの出力をアンサンブルする方法 こんにちは。今日は、PyTorchで複数の深層学習モデルの出力をアンサンブルする方法について説明します。 アンサンブル学習は、単一のモデルよりも高い予測精度を得るための強力な手法です。異なる種類のモデルや同じモデルの異なる初期化からの複数の出力を組み合わせることで、モデルの一般化性能を向上させることができます。 今回は基礎編ということで非常にシンプルな例を解説します。 ここでは、2つの畳み込みニューラルネットワーク(CNN)の出力を結合し、全結合層に入力して損失を計算する例を示します。 ※当然同じアーキテクチャでは多様性が獲得されません…

- 米国の子どもの10人に1人以上がADHDで診断されている Antipsychotic prescribing in children and adolescents in Ireland タイトル: 22q11.2欠失症候群および関連する精神病の強固かつ再現可能な機能的脳シグネチャー：深層ニューラルネットワークに基づくマルチコホート研究。 Behavior problems, social relationships, and adolescents' future Cortico-striatal differences in the epigenome in タイトル：ADHDを研究す…

00-06 × 06-12 DD 12-18 HDBD 18-24 × A. 北海道地方-０-０-０-０=０ B. 東北地方 ---０-０-１-０=１ C. 関東地方 ---０-０-０-０=０ D. 中部地方 ---０-２-２-０=４ E. 近畿地方 ---０-０-０-０=０ F. 中国地方 ---０-０-０-０=０ G. 四国地方 ---０-０-０-０=０ H. 九州地方 ---０-０-１-０=１ I . 沖縄地方 ---０-０-０-０=０ 合計回数 ------０-２-４-０=６06:50 石川県加賀地方 浅/2.7 ① 11:51 石川県能登地方 10/2.5 ① 12:43 日向灘 2…

情報科学とは 『情報科学』は、情報分野の科学です。若干意味は異なりますが「IT（情報処理技術）」と言う方が一般的かもしれません。 ゲーム自体がITの産物であるため、当然ITを学ぶのに適したコンテンツが多数あります。 (adsbygoogle = window.adsbygoogle || []).push({}); ゲーム紹介 プログラミング Minecraft サンドボックス・クラフトの代表作！ 『Minecraft』は、言わずと知れた大人気クラフトSLGです。建築・掘削・探検・など何をやるかはプレイヤー次第。自由度の高さやマルチプレイなどで長期に渡り人気を維持しています。 Human Re…

目次 はじめに AI研究・開発上の問題点 AIが仕事を奪う AIの可能性 おわりに はじめに こんにちは。ふらうと申します。 今年2月まで、大学院でAIの研究をしておりまして、現在システムエンジニアとして企業に就職いたしました。 これまでAIの研究をしていた中で感じたことを、皆様と共有したいと思い、本記事を書いております。 AI研究・開発上の問題点 まずAIについて、皆様が思うことは、著作権侵害や悪用についてでしょう。GoogleやYahooのニュース、X(旧Twitter)などのSNSでは、生成AIの学習材料にてアーティストの著作物（写真・絵・音声など...）の無断使用が問題視されています。…

はじめに こんにちは！AIの世界へようこそ！🌟 今回は、「AIとは何か？」について、初心者の方にもわかりやすいように、基本用語を中心に解説します。AIがどのように私たちの生活に関わっているのか、一緒に見ていきましょう！✨ 目次 １、AI（人工知能）とは？ ２、機械学習とは？ ３、ディープラーニングとは？ ４、自然言語処理（NLP）とは？ ５、更に具体的に ６、終わり 本題 1. AI（人工知能）とは？ AI（Artificial Intelligence）は、人間の知能を模倣することを目的としたコンピューターシステムです。AIは、画像認識、言語理解、意思決定など、様々なタスクを自動で行うことが…