機械学習

AIで自由自在にお絵描きできる未来はすぐそこかもな。 あわせてよみたい AIで自由自在にお絵描きできる未来はすぐそこかもな。 なんかさ、昔から存在するんだけど、頭の左側の方に何かもやもやしたものが張り付いてるような触覚があるのよ。自分の体にはこういう正体不明の謎感覚って色々とある。ちょっと前にブログの方で一人でから騒ぎしてたけど、最近からは左胸の方にもなにか小さな痛みのような違和感がある。これは両方とも総合病院で検査してもらったけど異常はなかった。頭の方も気になって病院に行ってCTスキャンとか取ってみたけど異常なし。 この頭のもやもやが張り付いてる感覚に関しては、統失患った頃に出てきた症状なの…

端緒 第1章、第2章 第3章、第4章 第5章、第6章、第7章 おわりに 端緒 機械学習とはどういうものかを端的に理解する必要があり、手に取った1冊。確かに書名の通り、「しくみと技術がこれ1冊でわかる」ある程度分かる内容だと思う。「しっかり」という点については、何に力点を置くかで変わってくるが、入門者が機械学習ってこういうものかという理解を得られるということであれば確かにそうだ。 珍しくkindle版で読んでいる 本書は、全部で8章立てになっていて、AIの心臓部である理論体系の機械学習とディープラーニングについて以下の通り解説している。 1章：人工知能の基礎知識 2章：機械学習の基礎知識 3章：…

（解決済み） 非深層学習系の提案手法を実装するならJulia一択だと思うのですが，比較手法をすぐに試せないとpython民に戻りたくなりますね．．LightGBMで多クラス分類をしようとして，ちょっと詰まったので，二度と再び本件で躓かないためのマイメモです． LightGBMはここにあるgithubのものを落としてきました． github.com まぁ普通に]add LightGBMでインストールできるのですが，提供されているデモは二値分類用．多クラス分類用なのでいろいろ変えないといけない． using LightGBM using DelimitedFiles function LGBM(x…

・データ間の距離情報のみを得た場合に、階層型クラスタリグを適用したい。 ・そこで、距離情報を読み込んで階層型クラスタリングに適用してみたい。 ・サンプルデータとして、10個のポイントの相互距離を用いた（下図）。 ・これを三角行列風の表に加工し、csvファイルとして出力した後、Distance Matrix Readerで読み込む。 ・三角行列風の表に加工して書き出すところまでは、以下のような感じ。 ・個人的なポイントは、Rule Engineノードを何も設定せずに回すとNull列を挿入できること。 ・書き出し直前の表は以下のような感じ。 ・Dsitance Matrix Readerノードでの…

rakuten_design="slide";rakuten_affiliateId="1484aae4.13da31e2.1484aae5.20c71e55";rakuten_items="ctsmatch";rakuten_genreId="0";rakuten_size="728x90";rakuten_target="_blank";rakuten_theme="gray";rakuten_border="off";rakuten_auto_mode="on";rakuten_genre_title="off";rakuten_recommend="on";rakuten_ts="16…

ニューラルネットワークにおける各層の線形変換の直後には、必ず活性化関数が挟まれています。 今回は、「なぜ ReLU が好まれるのか」についてまとめておきます。 [目次] 活性化関数 中間層における活性化関数 出力層における活性化関数 中間層で ReLU がよく使われる理由 誤差逆伝播法 損失関数の微分の値 ニューラルネットワークにおいて おわりに おまけ（関数のコード） 関数 関数の微分 Error 活性化関数 まず、活性化関数は、中間層のものと出力層のものでは求められる役割が異なることに注意しておきます。 中間層における活性化関数 その後も線形変換が続くため、一旦非線形にするのが主な役割。非…

AIを使うばかりでなく、自分で作って利用する時代になった。10年前にここまでになるなんてこと、考えてもいなかった。RPA（ロボティック・プロセス・オートメーション）といって業務の自動化も可能になった。そうなってくると自分でも何かしたくなろうというもの。 (adsbygoogle = window.adsbygoogle || []).push({}); だいぶ前に機械学習によく使われるPythonを始めたという記事を書いたが、こえがそれ以来止まっていた。今回それを再スタートするということ。 mnoguti.hatenablog.com さて、再スタートにあたって、何をするか・・・昔、ほぼ30年…

更新日時 2022/01/29/07:00 Qiita Trends Daily 1位 ※前日6位 Python,自然言語処理,お笑い,bert,コウメ太夫 Qiita Trends Daily 2位 [New] 機械学習,統計学,データサイエンス Qiita Trends Daily 3位 ※前日3位 CSS,Design,IE,デザイン,grid Qiita Trends Daily 4位 [New] HTML,CSS,HTML5,CSS3 Qiita Trends Daily 5位 [New] Rails,個人開発,nuxt.js,tiktok,face-api.js Qiita Tre…

どうも、カタミチです。 前回は、モデルを評価する際のデータの扱いについての話でしたが、今回は評価指標についての話です。 正解率・適合率・再現率・F値 例えば、10,000枚のイヌ、オオカミの画像を学習させた上で、2,000枚の画像がイヌなのかオオカミなのかを予測する分類問題を考えた場合、訓練データが10,000、テストデータが2,000ということになります。 このとき、実際の値と予測値のパターンは以下の4つですね。 1. 予測がイヌで実際もイヌ2. 予測がイヌで実際はオオカミ3. 予測がオオカミで実際はイヌ4. 予測がオオカミで実際もオオカミ イヌをPositive、オオカミをNegative…

『人気ブロガーからあげ先生のとにかく楽しいAI自作教室』 概要 注意点 内容一覧 AIの概要 画像認識：CNN 自然言語処理：Word cloud、マルコフ連鎖 画像生成：GAN 姿勢推定 エッジコンピューティング 個人的見解 またまた、AI関連の書籍をご紹介。昨年２０２１年の１２月の中頃に購入し、通読しました。 最近はPythonのなかでもディープラーニング関係の書籍にハマっており、実のところ、この本がきっかけだったりします。僕にとって、この本が機械学習への関心の起爆剤になりました。 どういう経緯で買おうと思ったのか、あまり覚えていません。書店のPython書籍棚を漁っているうちに、たまたま…

はじめに 機械学習で登場する確率分布について色々な角度から理解したいシリーズです。 ガンマ分布の計算とグラフの作成をR言語で行います。 【前の内容】 www.anarchive-beta.com 【他の記事一覧】 www.anarchive-beta.com 【この記事の内容】 はじめに ガンマ分布の作図 定義式の確認 確率密度の計算 統計量の計算 分布の可視化 パラメータと分布の形状の関係 乱数の生成 分布の生成 1次元ガウス分布 ポアソン分布 参考文献 おわりに ガンマ分布の作図 ガンマ分布(Gamma Distribution)の計算と作図を行います。 利用するパッケージを読み込みます。…

■ はじめに 図書館でAWSの資格の本「AWS認定アソシエイト3資格対策」(※) を借りてみた。 せっかくなんで、AWS認定資格について調べてみた。 調べて安かったら、受けるかもしれないので。 ※補足１：借りた本について AWS認定アソシエイト3資格対策~ソリューションアーキテクト、デベロッパー、SysOpsアドミニストレーター~作者:平山 毅,岡 智也,池田 大,原 江梨佳,澤田 拓也,原 俊太郎,仲村 勇亮,上村 祐輝,鳥谷部 昭寛リックテレコムAmazon 目次 【１】AWS認定資格一覧 １）基礎レベル ２）アソシエイトレベル ３）プロフェッショナルレベル ４）スペシャリストレベル 【２…

Index Index SIFT 記述子 / SIFT Descriptor とは 処理手順 参考 SIFT 記述子 / SIFT Descriptor とは 画像処理で利用される記述子 / Descriptorという考えのひとつ. yhayato1320.hatenablog.com その中でも、輝度勾配を利用する手法. 処理手順 SIFT 記述子 は、はじめの処理として、局所領域内の各画素 を 強度 と傾き角度 で表現される輝度勾配画像に変換する. 次に、キーポイントの検出が少しずれても記述子の表現に大きな影響を与えないように、 キーポイントを中心として、ガウス分布で重み付けを行う. yh…

Index Index CNN Descriptor 代表的な手法 シャムネットワーク / Siamese Network 応用アルゴリズム 参考 CNN Descriptor 画像処理で利用される記述子 / Descriptorという考えのひとつ. yhayato1320.hatenablog.com 訓練データを用いて学習された CNN (畳み込みニューラルネットワーク / Convolutional Neural Network) を用いて特徴量記述子を得ることができる. yhayato1320.hatenablog.com 実際に、ImageNet と呼ばれる物体クラス認識用の訓練デー…

こんにちは。Fukuです。 最近は、多くのお客様に バイオインフォマティクス・トレーニング を受講いただいています。 バイオインフォマティクスやデータ分析を行うために基本となるLinuxコマンドや、R、Pythonの入門講座も好評です。 そこでよくきかれる、「おすすめ入門書」を紹介します！ 初心者の方は、ひとりひとり、わかる・わからないポイントが異なるので、 プログラミングの感覚を掴むまでは 詳しい人に説明してもらったり疑問に答えてもらうと効率がupします。 初級者・中級者にレベルアップしたあとは、書籍をよむとたくさんのコマンドや関数を知ることができ、 応用がどんどんできますので書籍による学習…

増川 直裕 ■探偵のように ■パーティションの実行 ■さらに分岐してみると ■結局、どの変数が影響しているのか ■探偵のように アンケート調査では、総合的な満足度に影響を及ぼすような、回答者の属性や回答を調べるといったことがあります。 例えば、飲料会社が新しい飲料のアンケート調査を行う際、「この飲料を他人に勧めますか？（勧める/勧めない）」といった満足度に関する選択肢があったとき、ある程度の回答が集まっていれば、勧めたいと答えた人はどのような属性の人なのかを知ることができるのです。 分析した結果として、”30代以下の女性で、過去に同社の類似製品を買っていて、普段から健康に気をつけている方“ の…

・機械学習で多変量を扱う際に、変量（特徴量）を減らしたいことがある。 ・Uncle Bernie's ruleというもので、学習に必要なデータの数は、説明変数の数の10倍以上は準備しましょうというもので、いたずらに特徴量や説明変数を増やしてモデルするのはよろしくないということらしい。 ・モデル構築に際して、適切に情報を選抜・要約することが求められてくる。 ・例えば、欠損の多い特徴量、分散の小さい特徴量などは、削ることを考慮した方が良い。 ・情報を要約することも大切で、中でも頻繁に使われる手法が主成分分析（PCA）と呼ばれるものだ。 ・いろいろなネット記事で私なりにPCAを以下のように解釈した。…

皆さまこんにちは！ 先日オンラインで開催したアカ談のまとめです。今回はヨシナガさんとの共同主催でした。ありがとうございました。 「研究だけでなく社会やビジネスに関しても、普段仕事で接している人々とは違う見方・意見があって面白く思いました」や 「アカ談で分野が違っても雑談がうまく行く理由の一つは、興味の幅広さという点が参加者に共通していることかもしれないですね」 という感想のように、今回もバックグラウンドだけでなく、それぞれの中にある関心も多様な方々ばかりで、とても幅広いお話が繰り広げられていました。アカ談の良さですね。 そして「それぞれの研究の話ではなく、それぞれ研究のバックグラウンドがある中…