coublood.hatenablog.com 引き続き、統計検定のお勉強。 ■ ロジスティック回帰 「重回帰分析」は予測したい目的変数が連続的な数値データである必要がありますが、それに対して、目的変数が２値のカテゴリデータの場合は、重回帰分析ができません。 その２値のカテゴリデータの場合の「可能性」を予測することをロジスティック回帰の分析になります。 よくあるのが、受験生の受験合否の予測などですね。 各科目の成績を元に、そこから目的の学校（例えば高校、大学など）の合否を判定する場合などです。 各科目の点数・平均点・分散などの情報を入力として、そこから合格率を算出。 その合格率から合否を予想す…
ロジスティック回帰分析について。 【目次】 計算式等 ノート プログラムコード 交差エントロピー誤差の偏微分 参考 今回はモデル作成まで。モデルの評価は別記事で。 計算式等 ロジスティック回帰は二値分類（）で用いられる分析手法。モデル式は回帰分析と似ているが、シグモイド関数を使って０～１の範囲の結果を出すことが特徴（通常の回帰分析では０～１の範囲を超えてしまい、解釈不能な結果になってしまう）。（青線：ロジスティック回帰、緑線：単回帰分析） モデル式、シグモイド関数および損失関数はそれぞれ次のとおり。 モデル式 シグモイド関数（活性化関数） 交差エントロピー誤差（分類問題の損失関数） ※ ln(…
要約いまさらロジスティック回帰?と思うかもしれないが, もう火鍋の話はしない. 昔書いたやつを読み返したら中途半端だったので改めて(2値)ロジスティック回帰のいくつもある表現について書きたくなった. 昔書いたやつというのは以下のことである.ill-identified.hatenablog.com 今度は以下の4種類に触れる. 最初の2つは前回の記述を推敲しただけでほとんど同じである. 経済学でよく使われるロジットモデルの潜在変数モデルによる表現 一般化線形モデル (GLM) の特殊形としてのロジスティック回帰 機械学習の分類タスクとしてのロジスティック回帰 (分類) モデル 事後確率で見たロ…
Softmax層 Softmax関数を計算する層です。出力層でよく用いられる活性化関数の一種ですが、少し特殊なため前回は実装しませんでした。 今まで実装した活性化関数(sigmoid, tanh, ReLU)は、変数を1つ受け取って1つの値を出力する関数でした。対して、Softmax関数は変数を個受け取って、個の値を出力する関数です。Softmax関数への入力を、出力をとしたとき、番目の出力は以下のようになります。 上の式から、Softmax関数の出力の和は1となるため、確率分布を表現する際によく用いられます。Softmax関数は多変数関数なので偏微分をします。をで偏微分すると次式のようになり…
活性化層 今回は、活性化関数に相当する活性化層を実装します。ただし、Softmax関数に関しては少し特殊なので次回に。 活性化層のインターフェース 活性化層は、基本的に行列を入力して、入力行列と同じ大きさの行列が出力されます。前回と同様、出力先を呼び出し元で与える場合と、メソッド内で動的確保する場合の2種類のメソッドを用意しています。 using MathNet.Numerics.LinearAlgebra.Single; namespace NeuralNET.Layers.Activation { /// <summary> /// 活性化層(活性化関数)が実装するインターフェース ///…
ちょっと個人的には面白いなぁって思ったので記事にしてみました。 Twitterでの話なので、ツィートを貼り付けて説明した方が良いかどうか悩んだのですが相手を貶めたりしたい話でもないのと直リンクでなければ、スクショを切りはりしても意図的に会話の流れの一部を切り取ってもわからないのでエビデンスとして意味をなさないので、今回は省略します。 あとはブロックされていました（笑）
G検定を受けるにあたり、用語を整理する。自分の学習用である。 あ～ アンサンブル学習 バギング ブースティング スタッキング オートエンコーダ 変分オートエンコーダ（VAE） オントロジー か～ カーネルトリック 画像セグメンテーション セマンティックセグメンテーション インスタンスセグメンテーション パノプティックセグメンテーション 機械学習 教師あり学習 分類 回帰 教師なし学習 強化学習 エージェント 環境 状態 行動 報酬 Q学習 Sarsa モンテカルロ法 クラスタリング 階層クラスタリング 非階層クラスタリング ハードなクラスタリング ソフトなクラスタリング 交差検証 ホールド・ア…
はじめに Random Recursive Support Vector Machine（R2SVM）は、ランダム射影による特徴変換を繰り返すことで、線形SVMで非線形な分類器を実現する手法である。また、Rumale::SVMは、Rubyの機械学習ライブラリであるRumaleと同様のインターフェースで、様々なSVMアルゴリズムを利用できるGemである。このRumale::SVMに、R2SVMを実装した。 Vinyals, O., Jia, Y., Deng, L., and Darrell, T., "Learning with Recursive Perceptual Representat…
日記 先ほどまで北朝鮮(実は日本は国として認めてない)が「ミサイル」を発射したとかで騒ぎになっていたものの、太平洋に通過したらしいので今こうしてブログを書くことに集中できている。 授業 本日も遠隔なり 数学特論 担任の先生に遠隔授業を受ける旨のことをメールで話した。先生は教務課にも連絡してくださったものの、どうやら選択科目だったために教務課が動けなかったらしく、自分が連絡して初めて対応して下さった。 そのため途中からの参加になってしまい内容がよくわからない箇所があった。今回はJordan曲線、Jordan閉曲線、並びに複素関数の積分の定義及びそこから導かれる複素積分の性質を学んだ。 についての…
初めに G検定、E資格は、日本ディープラーニング協会が実施するディープラーニングに関する検定、資格になります。本記事では、この二つの検定、資格についてまとめます。
気になった用語等をまとめる Numpyまとめ Numpyの配列の作成①（N次元配列） A = np.array([1, 2], [3, 4]) => [[1 2], [3 4]] Numpyの配列の作成② x = np.arange(0, 6, 0.1) => [0, 1, ..., 5.9] Numpyによる多次元配列の計算 B = np.array([[5, 6], [7, 8]]) np.dot(A, B) => array([[19, 22], [43, 50]]) # 2つの行列で対応する次元の要素数を一致させるのがポイント 次元の数え方 # 一次元配列 # 1 x 2(縦(列)、横…
万能近似定理 万能近似定理(Universal approximation theorem)(Hornik et al., 1989; Cybenko, 1989) ネットワークが十分な数の隠れ層を持つ時、線形の出力層と、(ロジスティックシグモイド活性化関数のような)「押しつぶす」事ができる活性化関数を持つ隠れそうが少なくとも一つ含まれる順伝播型ネットワークはどんなボレル可測関数でも任意の精度で近似できる 『深層学習』- 6章「深層順伝播型ネットワーク」 - HackMD 万能近似定理（Universal Approximation Theorem）は、ニューラルネットワークや深層学習に関連す…
日記 なんか毎日更新してて暇人だなーと 授業 数学特論 今日は正則関数、冪級数の一様収束、絶対収束などについて学んだ 冪級数の収束には収束、一様収束、絶対収束、そして一様に絶対収束というものもある。最後のに関してはワイエルシュトラスのMテストというものがあって冪級数に対してこの収束をするかどうかを調べることができ、なんならワイエルシュトラスが考えてからずっと変わってもないらしい プログラミング演習 今日はソフトマックス関数、シグモイド関数、最尤推定値などを学んだ。課題はプリント 前半の授業では数式出るのでまだいいものの、後半のそれは何やってんのか分からないので退屈に感じてしまいがちの授業 画像…
気になった用語等をまとめる 第1章_機械学習入門 学んだこと 機械学習・ディープラーニングの根本原理は「損失関数」の値を最小化するパラメータを見つけること そのためには勾配降下法を利用し微分をする 数値を予測する「回帰」と離散値を予測する「分類」 1階層のモデルを「ロジスティック回帰」、2階層のモデルを「ニューラルネットワーク」、3階層のモデルを「ディープラーニング」(全て分類モデル) 第2章_微分・積分 学んだこと 微分とは「関数のグラフ上のある点を中心にグラフを無限に拡大していくとグラフは限りなく直線に近づく。この時の直線の傾き」(つまり接線の傾き)のこと 微分とは「xを少し増やした時のy…
ファンと共に時代を進める、Web3スタートアップのGaudiyで、開発責任者をしている勝又（@winor30）です。 昨日、GaudiyはArbitrum対応のプレスリリースを発表しました。 prtimes.jp これに関連して、今回は「Gaudiyはパブリックチェーンで、大きなエンタメIPとともに、ど直球なweb3的プロダクトづくりを本気でやっていくよ！」という宣言をしたいと思います！ この記事では、なぜGaudiyは今、本気でパブリックチェーンに向き合っていくのか？という背景や、今回の宣言に至るまでの経緯についてお話ししていきます。 1. そもそもGaudiyはなにを目指している会社なのか…
ja.wikipedia.org
www.kogures.com
atmarkit.itmedia.co.jp
www.kogures.com
manabitimes.jp
www.kamishima.net
nonbiri-tereka.hatenablog.com
zellij.hatenablog.com
