→ニューラルネットワーク
機械学習を理解したいので，少しずつ勉強してます． 後で思い出せるように，勉強した内容をメモします． 参考書：高校数学からはじめるディープラーニング 手書き数字を学習，分類するしくみを丁寧に解説してます．わかりやすいです． 付録としてエクセルVBAをダウンロードできます．これが良い． 例えば，手書き数字0～9の画像のデータセットを使った学習および 学習した結果を用いた手書き数字の分類をエクセルで体験できます． VBAのコードを読み解けば，どのような繰り返し処理を行い，重みが更新されるのか理解が深まります． 付録のVBAを参考に，自分でコードを書いて，動作確認すれば更に理解が深まります． 定価14…
モデルの定義 データ集合を とします。 また、 とします。 はクラス またはクラス に属し、 のとき、、 のとき、 とします。パーセプトロンは2クラスを分類するモデルです。 入力ベクトルを変換して、特徴ベクトルを得たとき、以下のモデルで識別します。は一般的にバイアス成分を含んでいます。ここで、はです。目的変数はとします。よって、分類が正しければとなります。 目的関数 目的関数(パーセプトロン基準)を以下のように定義します。は誤分類されたデータの集合です。 誤分類されていれば、は正の値を取り、誤分類されていなければ、はです。 最適化 確率的最急降下アルゴリズムによって最適化します。 確率的最急降…
今回は、パーセプトロンでアヤメの分類を実装していきたいと思います。 パーセプトロンとは 分類問題に使われる手法の一つで、いわゆる「教師あり学習」を行うためのもの。 「あるデータがどのグループに属するか」を学習して、未知のデータからグループごとに分類することができる。 「教師ラベル」といって、学習用データにはどのグループに属しているかという情報があらかじめ与えられていて、この「教師データ」を使って学習していきます。 パーセプトロンは、実はあまり使われていないらしく その理由としては 「与えられたデータが線形分離可能でなければアルゴリズムが収束しない」 という弱点があるかららしい。 線形分離とは、…
どうも、かわばっちゃんです。 今回は、機械学習でよく名前が出るパーセプトロンという言葉します。 パーセプトロンとは ざっくりとしたイメージで言うと、パーセプトロンはニューロンとシナプスを模倣したものです。 ニューロンは神経細胞のことで、シナプスはニューロン間を接続するものです。 ニューロンが周りのシナプスから信号を受けて、ある閾値を超えると、また他のニューロンへ情報を出力すると言う形がパーセプトロンの形です。 プログラミング的に言うと、複数の入力を受けて、その入力にそれぞれの重みをかけた数値を足し合わせた結果が、バイアスを超えると出力される、と言う構造です。 パーセプトロンはクラス識別に使われ…
ブログへお越しいただきありがとうございます。 今日は、人工知能（AI)について、これまで書いたことも含めて自分の整理のために記事にしてみました。 最近の人工知能の進歩は目覚ましいものがあります。 過去のブームの歴史も振り返りながら基礎的な理解を深めてみたいと思います。 興味のある方は、お付き合いください。 目次 1.人工知能（AI）とは 2.人工知能（ＡＩ）研究の歴史 3.AI時代の到来について 4.技術関連の情報 1.人工知能（AI）とは Wikipediaには、人工知能（AI)について以下のように説明されています。 「人工的にコンピュータ上などで人間と同様の知能を実現させようという試み、 …
「ニューラルネットワークを多層化し、誤差逆伝播法を用いることで、単純パーセプトロンの限界を克服することができるようになりました。」 公式テキストには確かこんな感じで書かれていたような・・・ まるで「誤差逆伝播は『常識』の一つですよね？」とでも言わんばかりに。。しかも「え？常識ですからそんな説明する必要もないかと。。」とでも言わんばかりに、サラ――っと紹介して・・・ んな雑な紹介でいいんですか？これがなければ今の深層学習はなかった技術だろうに。確かに「深層学習の勉強するなら『常識』ですね」でしょうが、初学者にそれ求めるなっちゅうねん。。 誤差逆伝播法の説明自体は後述しますが、G検定公式テキストで…
面白い記事を読んだ． これまで，創造性を発揮する年齢は，若ければ若いほどよいと一般的に言われてきたが 創造性の「内容」によっては，50代が最もピーク年齢だという． リンク先のページでは，ノーベル経済学賞を受賞した人に対して，受賞の対象となった業績が何歳のときに行われたものか調べたとのこと． 「実験経済学」と「概念経済学」という2つの分類で調べた．その結果，概念経済学は20代後半だったが，実験経済学はなんと50代だったというから驚きだ． 私は経済学の素人だが，おそらく概念経済学は純粋な理論を扱い，実験経済学は実際の経済データに基づいた分析が中心（すなわち応用研究）なのだろう． 純粋な理論研究であ…
ChatGPTの話題がとても活発になって、多くの人が業務効率化のような話をしている。これを使って効率化しない奴は情弱のバカだと、直接は言わないにしても、ほとんど言ってるに等しいような世の中の論調になっているように見える。2010年初頭に画像認識分野でAIが着目され始めて、それから数年後、猫も杓子もAI (Deep Learning)だと騒ぎだした頃に、業務でAIに少し関わった。ラズパイくらいのマイコンでいかに軽量に画認をするか、とか、そもそも大規模分野では太刀打ちできないので、自社のしょぼいプロセッサでエッジで軽い信号処理をするというような。OPENCV3が出たての頃で、tensoflowで簡…
目次 目次 はじめに NeRFの概要と最近の課題 モデル軽量化に関する論文 PlenVDB: Memory Efficient VDB-Based Radiance Fields for Fast Training and Rendering Masked Wavelet Representation for Compact Neural Radiance Fields MobileNeRF: Exploiting the Polygon Rasterization Pipeline for Efficient Neural Field Rendering on Mobile Architect…
Fiducialマーカーを用いた視覚的SLAMによる移動ロボットの定位に関する比較研究 原題：Comparative Study of Visual SLAM-Based Mobile Robot Localization Using Fiducial Markers 本論文では、フィデューシャルマーカー（白黒格子模様の正方形の人工ランドマーク）を用いた視覚SLAMに基づく移動ロボットの定位に関する3つのモードの比較研究を紹介する： SLAM、事前地図を用いたSLAM、事前地図を用いた定位である。フィデューシャルマーカーを活用したSLAMベースのアプローチを比較する理由は、これまでの研究で、特…
ベイズの光線 Neural Radiance Fieldsの不確実性定量化 原題：Bayes' Rays: Uncertainty Quantification for Neural Radiance Fields Neural Radiance Fields (NeRF)は、ビュー合成や奥行き推定などのアプリケーションで有望視されているが、マルチビュー画像からの学習は固有の不確実性に直面している。現在の不確かさを定量化する方法は、発見的であるか、計算量が多いかのどちらかである。本論文では、学習プロセスを変更することなく、事前に学習されたNeRFの不確実性を評価するポストホックフレームワークで…
Development of learning support application using voice chatbot 2023/08/18 藤田昭人 2023/08/19: 早速、追記しました。 はじめに 本研究は（2021年度実施）昨年度発表した下記の研究の継続 音声チャットボットを活用した「ＡＩを体験」する実習授業 音声チャットボットによる対話型ＡＩ体験実習 チャットボットのルール記述を利用したAIとプログラミング教育の試み ＡＩが図書館司書の業務の「童話の読み聞かせ」を行うと仮定 テーマ：聴衆の関心を惹くセリフをＡＩに教える 対象は幼児から小学校低学年 退屈したり集中できない児…
暑すぎて外に出るのが億劫なので冷房の効いた自室でそこそこ本を読んでた。 お盆休み入ったのでサッと更新。 基準： 当該月に読み終わった本が対象（※読み始めたのがその月とは限らない） 最初から最後まで目を通した本を『読み終わった』と定義 昨月の記事： 2arctan-1.hatenablog.com 目次： 光できらめく理系女性たち―理想のワークライフバランスを目指して 制御システム技術の理論と応用 野田の日記 -2006-2011(はじめのほう)それでも僕が書き続ける理由 (ヨシモトブックス) 大規模言語モデルは新たな知能か ＣｈａｔＧＰＴが変えた世界 (岩波科学ライブラリー) 京都三大学 京大…
Author Haoyu Hanらのグループ Link icml.cc メモ書き GNNモデルは以下の二つのアルゴリズムからなる 特徴変換…入力特徴を低次元空間に写像するもの。学習可能なパラメタを持つ 特徴伝搬…グラフ構造を利用して情報を伝搬するもの。the message passing scheme を利用するのが多いらしい。 後者はback-propagationを用いるため計算コストが大きい、なんとかしたい 多くの既存研究では学習において二段階の最適化問題を解いている 本研究では誤差関数を一つに統一し、最適化すべきパラメタとのそれぞれについてiterativeに最適化することを提案(A…
おはようございます(｀・ω・´) 見てしまいましたこの講義動画を・・・ www.youtube.com 先に感想でも述べましょうか？ 知能の差 知能にボコられた気分です。 しかし、この動画 FXで勝つためには知っておきたい内容は間違いないです しかし！しかし！！！ 3時間と比較的長い講義動画であり FX初心者ではすこし敬遠したくなるような難しい内容にも思えました(;´･ω･) 素人の僕は当然のギャン泣き劣等感でしたが なんとかイメージだけでも！と必死に喰らいつきまとめてみました この記事の内容 プロトレーダーチームの舞台裏 AIトレードの歴史 バスケットトレードとリスクヘッジの重要性 トレード…
David Marr のこの本はもともと 1982 年発行ですが、原著が絶版になっており私は on demand 版で入手しました。白血病で若くして亡くなられた伝説的な神経科学者で、この本も没後に出版されたものです。 小脳パーセプトロン説とかすばらしい業績もありますが、自分にとっては計算論的神経科学における３つのレベルの話が神経科学に限らず影響力が大きい話だと思います。 ３つのレベルが強調されたのは、岡田さんが代表をされたスパースモデリングの新学術でした。スパースモデリングでは、天文の本間さんや惑星科学の宮本さんなど有名研究者のオンパレードという感じでしたが、それらの自然科学分野と情報科学分野…
1. はじめに NeRF (Neural Radiance Field) とは、複雑なシーンに対して、任意の視点からの3次元的なシーンを画像から再構成する技術です。以下の動画にあるように、物体に対して、様々な角度から見たときのシーンをキレイに再現することができます。反射に関しても、それぞれの角度から見たときの見え方が反映されており、角度によって同じ場所でも微妙に違う反射特性を見て取ることができます。この手法を利用して、例えば、地点AとBで画像を取得した場合、その中間地点の任意の角度から対象物体を見たときのシーンを生成可能です。 この記事では、このNeRFと呼ばれる技術と、それを実行するにあたっ…
こんにちは！株式会社 ABEJA で ABEJA Platform 開発を行っている坂井（@Yagami360）です。世間では ChatGPT などの大規模言語モデル（LLM）による対話型 AI が盛り上がってますね。クオリティーも凄いし AI 業界以外でも盛り上がってると嬉しいですよね。この数年で一段と AI の社会実装が業界以外の人にも目に見える形で進んできたなあと実感しております。 自分は普段業務では ABEJA Platform という AI プロダクトやその周辺プロダクトのバックエンド開発とフロントエンド開発をやっているのですが、AI 業界所属していながら ChatGPT などの L…
はじめに 初めまして、スタッフの小林です。 最近はChatGPTが話題ですね。今までの対話型AIとは異なり、幅広い分野の質問に違和感なく回答できることから注目を集めています。ChatGPTを開発したのはアメリカのOpenAIという企業ですが、日本でもNECが日本語に特化した生成AIを開発し、企業向けにサービスの提供を開始したようです。独自の生成系AIの開発を巡って他の企業も開発に乗り出していて、競争が激しくなっています。 そんな人工知能(Artificial Intelligence, AI)ですが、「人間っぽい知能をもつ何か」みたいなイメージはあるものの、どういうものなのかよくわからないとい…
弁別学習（べんべつがくしゅう、Discriminative Learning）は、機械学習の一種であり、データの特徴を認識し、クラスの分類や予測を行うためのアルゴリズムや手法のことを指します。弁別学習は、入力データとそのデータに関連するクラスのラベル情報を用いて、データの特徴とクラスの関係をモデル化します。 弁別学習は、統計的な手法や機械学習アルゴリズムを使用して、データの特徴とクラスの関係を学習します。典型的な弁別学習の手法には、ロジスティック回帰、サポートベクターマシン（SVM）、ニューラルネットワーク（特に多層パーセプトロン）、決定木などがあります。 弁別学習では、入力データとそれに対応…
the01.jp
nowokay.hatenablog.com
antibayesian.hateblo.jp
sinhrks.hatenablog.com
aidiary.hatenablog.com
aidiary.hatenablog.com
hokuts.com
echizen-tm.hatenadiary.org
qiita.com
