多クラス分類

こんにちは。コミュニケーションIT事業部 ITソリューション部の英です。 普段はWebアプリやスマホアプリの案件などを担当しています。あと、趣味でAIを勉強しています。 突然ですが、AIの勉強をしているとk-means法とk近傍法って混同しませんか？ 不意に尋ねられた際にぱっと答えられる自信がありません。 前回はk-means法について解説したので、今回はk近傍法の検証をしましょう。 k-means法：クラスタリング手法で、データをk個のグループに分ける、教師なし学習 k近傍法：あるデータ点を、その点に最も近いk個の既知のデータ点(近傍)の多数決で分類する、教師あり学習 → 前回の記事 この記…

はじめに 引き続き、今度はGBDTに関しての記事を書いていこうと思います。GBDTといえば、最近も機械学習の第一手段として人気の、XGboostやLightGBMの元となっているモデルです。（LightGBMはXGboostを基に改善したモデルですが）概念を理解している人は多くいるものの、図解的な概念での理解にとどまっており、理解しながら使用してる人は実際は少ないのではないかと思っているモデルでもあります。バギングに比べ、ブースティングは少々理解するのが難しい部分でもあるので、そんなGBDTに関して理論を中心に、フルスクラッチのコードを添えて記事を書いていこうと思います。 元々Xgboostま…

クロスエントロピー誤差の不安定さ 前回、クロスエントロピー誤差を実装しましたが、計算にlogが含まれるため非常に不安定でした。しかし、そもそもクロスエントロピー誤差は多クラス分類問題で用いる損失関数であり、その場合はモデルの出力にソフトマックス関数を適用することが一般的です。だったら、ソフトマックス関数とクロスエントロピー誤差の計算をまとめてしまっても良いのではないでしょか。実は、これら2つの計算を1つにまとめると、クロスエントロピー誤差の順伝播が非常に安定し、さらに逆伝播の計算コストも下がります。このようにソフトマックス関数とクロスエントロピー誤差の計算をまとめて行う関数をSoftmaxWi…

損失関数 DNNの学習では、正解例とDNNとの出力の誤差を計算する損失関数というものが必要です。 損失関数は、問題によって様々であり、回帰を行う場合は平均二乗誤差、クラス分類を行う場合はクルスエントロピー誤差などを用います。 今回はこれら2つの損失関数を実装していきます。 損失関数 設計方針 平均二乗誤差 順伝播の実装 逆伝播の実装 クロスエントロピー誤差 順伝播の実装 逆伝播の実装 2値クロスエントロピー誤差 順伝播の実装 逆伝播の実装 カテゴリカルクロスエントロピー誤差 順伝播の実装 逆伝播の実装 次回 設計方針 損失関数も層の一種として考えます。すなわち、モデルの最後の層は損失関数となり…

www.rdocumentation.org サポートベクターマシンは、分類、新奇性検出、回帰のための優れたツールである。ksvmは、ネイティブのマルチクラス分類の定式化や境界制約SVMの定式化とともに、よく知られたC-svc、ν-svc、（分類）one-class-svc（新奇性）eps-svr、ν-svr（回帰）の定式化をサポートしている。 ksvmは、クラス確率の出力と回帰の信頼区間もサポートする。 type type パラメータは SVM をどのように適用するかを指定するために使われる。 C-svc (C classification): これは通常の SVM 分類器で、二クラスまたは…

要旨 Winnyの作者、金子勇が提案した(そしてrejectされたらしい)誤差拡散法(Error Diffusion algorithm, ED法)を理解する。 web.archive.org 今更ではなくない？ ブログに公開されたのは1999年だから今更ではあるよ。 では解説する。 概要 ED法ではNNにおけるニューロンを興奮性細胞(excitatory neuron)と抑制性細胞(inhibitory neuron)とに区別し、また重みについても正数であるべき(興奮的に働くべき)興奮性シナプス(excitatory synapse)と負数であるべき(抑制的に働くべき)抑制性シナプス(inh…

この記事は、量子サポートベクターマシーンを利用して、MNISTから配布されているデータベースの分類を行う方法をある程度略して説明するものです。変分量子計算の方法論は、機械学習における分類問題にも応用されています。その1つがQuantum Support Vector Machine(QSVM)です[1]。これはクラス分類問題において、評価関数に現れるカーネルを量子状態の内積で代用して、それを解くというものです。この方法において、過学習が抑えられるということが報告されています。本来ならば、実装してデータを採りたいところですが、手書き文字の認識分類をさせるだけでも画像を取り込んだ上に数字とアルファ…

要約 はじめに GLM の特殊形としてのロジスティック回帰 潜在変数モデルとしてのロジスティック回帰 機械学習の分類モデルとしてのロジスティック回帰 事後確率の近似としてのロジスティック回帰 (追記) 多項選択・多クラス分類への拡張 より実用的な観点からの補足 参考文献 要約いまさらロジスティック回帰?と思うかもしれないが, もう火鍋の話はしない. 昔書いたやつを読み返したら中途半端だったので改めて(2値)ロジスティック回帰のいくつもある表現について書きたくなった. 昔書いたやつというのは以下のことである.ill-identified.hatenablog.com 今度は以下の4種類に触れる.…

G検定を受けるにあたり、用語を整理する。自分の学習用である。 あ～ アンサンブル学習 バギング ブースティング スタッキング オートエンコーダ 変分オートエンコーダ（VAE） オントロジー か～ カーネルトリック 画像セグメンテーション セマンティックセグメンテーション インスタンスセグメンテーション パノプティックセグメンテーション 機械学習 教師あり学習 分類 回帰 教師なし学習 強化学習 エージェント 環境 状態 行動 報酬 Q学習 Sarsa モンテカルロ法 クラスタリング 階層クラスタリング 非階層クラスタリング ハードなクラスタリング ソフトなクラスタリング 交差検証 ホールド・ア…

『評価指標入門』をRで書く この記事はR言語 Advent Calendar 2023 シリーズ2の16日目の記事です。qiita.com 多クラス分類の評価指標 パッケージの呼び出し。 library(tidyverse) library(palmerpenguins) library(rsample) library(yardstick) library(ranger) ペンギンの種類を判別するランダムフォレストのモデル。 pen_split <- penguins |> mutate(year = as.factor(year)) |> drop_na() |> initial_spli…

今回はPytorchのEmbeddingBagレイヤーを使い、日本語の入力文章がポジティブかネガティブか判定する簡易的な分類モデルを作成します。単語の埋め込みベクトル化にはword2vecを用います。main関数内のパラメータを変えることでポジティブ、ニュートラル、ネガティブの3クラスなど、多クラス分類にも容易にカスタマイズできます。 EmbeddingBagを使う利点は、入力シーケンスがすべて同じ長さになるように、\<pad>でパディングする必要がなくなることです。 まずは以下のような教師データ20個をtsvファイルで準備します。 ラベル0はネガティブ、1はポジティブな文章です。 label…

LLMの極めて高い表現力やAPI化&OSS化が進んで、昔ながらのNLPシステムにとってはおおよその個別タスクが解かれてしまったように思われているところがある。具体的にNLPシステムの設計や構成要素、役割がどのように変わったのか？さらにこれから変わっていくのだろうか？を、過去のシステムと対比する形で考えてみたい。 NLPモジュールの進化発展: 記号システムと機械学習システム 推論器としてのNLPのシステムの進化発展は、入出力データに対する「意味付け」「仮定」が弱まる方向に進化してきたといえる。人間が行なっている自由度の高い自然言語や対話プロトコルに従ったコミュニケーションを再現しようと、機械が意…