Hatena Blog Tags
はてなブログ トップ
正則化
このタグでブログを書く
言葉の解説
ネットで話題
関連ブログ

正則化

(サイエンス)
【せいそくか】

Regularization。統計や機械学習において、過学習を抑止する。Tikhonov正則化やLASSO(Least Absolute Selection and Shrinkage Operator)など。Tikhonov正則化はパラメータが0を中心に正規分布しているという学習前の事前確率を意味する。

wをパラメータとすると、以下の式を誤差関数に加える。

Tikhonov正則化（L2正則化）
\frac{\lambda}{2} w^2
LASSO（L1正則化）
\lambda |w|

Tikhonov正則化はパラメータが0に近づくだけであるが、LASSOはパラメータが0になりやすいという効果がある。

このタグの解説についてこの解説文は、すでに終了したサービス「はてなキーワード」内で有志のユーザーが作成・編集した内容に基づいています。その正確性や網羅性をはてなが保証するものではありません。問題のある記述を発見した場合には、お問い合わせフォームよりご連絡ください。
ryamadaのコンピュータ・数学メモ•4 日前

ぱらぱらめくる『量子コンピュータによる機械学習』

量子コンピュータによる機械学習 [ Maria Schuld ]価格: 4840 円楽天で詳細を見る 目次 監訳者まえがき 機械学習の基礎は高次元データ・線形代数・確率分布の計算であり、それを適切な精度で高速に計算するための近似を発展させてきた 量子力学では確率分布関数が対象であり、１つの自由度に無限（次元）の可能性が付随する。この関数を量子ビットに限定しても、ビットを増やすとその組み合わせは指数関数的に増大する。そのことが量子計算の可能性を支えるが、地道に計算すると、逆行列計算、固有値・固有ベクトル計算をすることに対応し、それは、線形代数演算で最も計算量が多いものであることから、「地道な計算…

ネットで話題

もっと見る
117ブックマーク統計的学習理論と正則化に関するちょっと数理的な基礎 - 横須賀の某Prisonで働く研究者？のブログsetten-qb.hatenablog.com
54ブックマークRでL1 / L2正則化を実践する - 渋谷駅前で働くデータサイエンティストのブログtjo.hatenablog.com
47ブックマークSVMにおける損失と正則化 - 射撃しつつ前転 改tkng.hatenablog.com
39ブックマーク任意の学習率の式に対する効率的なL1正則化の計算方法 : Preferred Researchtech.preferred.jp
37ブックマークDropoutの実装と重みの正則化 - もちもちしているolanleed.hatenablog.com
31ブックマーク回帰モデルにおけるL1正則化とL2正則化の効果 - old school magic概要 回帰モデルとは、与えられた入力を用いて目標変数を予測するモデルです。 回帰モデルでは過学習を防ぐため、誤差関数(二乗誤差関数など)に次の式で表される正則化項を加えて最小化します。 この形の正則化項を用いる回帰をブリッジ回帰と呼びます。 特にの時をLasso回帰、の時をRidge回帰と呼びます。また、それぞ...breakbee.hatenablog.jp
31ブックマークunnonouno: L1正則化で重みが0につぶれる理由blog.unnono.net
29ブックマーク正則化つき線形モデル(「入門機械学習第6章」より)www.slideshare.net
27ブックマークGradient Boostingについて - 正則化編・Xgboost - - Qiitaqiita.com

関連ブログ

機械学習基礎理論独習•7 日前

ソフトマージン

ハードマージンとの違い 2値分類について考えます。 訓練データがの個の入力ベクトルと それぞれに対応する目標値からなり、 未知のデータ点はの符号について分類されるとします。と、ここまではハードマージンと同じですが、違いは 訓練データは特徴空間で線形分離可能と仮定しないことです。下図のようにマージンの内側に点が入り込んでいます。 ハードマージンの主問題と比較 ハードマージンの主問題は以下です。ソフトマージンの主問題は以下です。のはスラック変数と呼ばれます。 は日本語では「グザイ」、「クシー」と呼ぶことが多いようです。 主問題を考察 ・マージンの外側 が成立し、です。・マージン上 が成立し、です。…

ころがる狸•13 日前

【EfficientNetV2】軽量・高精度な最新の画像認識モデルを解説！

機械学習を使った画像認識モデルの進化が止まりません。2019年以降に絞ってみても、EfficientNet, Big Transfer, Vision Transformerなど数多くのモデルが提案され、当時最高の予測精度が報告されてきました。そして最近になり注目を集めているのが、従来手法より軽量でかつ高精度なモデル：EfficientNetV2です。なんと、最近の最強モデルVision Transformerと同様の計算リソースを使って5倍から11倍高速で、かつ2%も高性能化に成功したと報告していいます。どのような手法を用いたのか、順を追って確認していきましょう。 原著文献はこちらからご参照…

yiskw note•14 日前

Don't Judge an Object by Its Context: Learning to Overcome Contextual Biasを読んだのでメモ

概要 既存のモデルは，物体とそのコンテキストの共起性を活用することがあるが，あまりコンテキストに頼りすぎるとコンテキストがない場合に認識できない(上図)． 本研究では，コンテキストとカテゴリの特徴表現の相関を減らすことを目的とし，これを実現するためにコンテキストとカテゴリを表現するjoint spaceと一緒に，カテゴリmにみを表現するsubspaceを学習する． 物体分類と属性分類のマルチタスク学習において，精度の向上を確認した．

nykergoto’s blog•15 日前

特徴量選択アルゴリズム HSIC Lasso とその周辺を調べた

先日、特徴量選択についてツイートしたところ Kaggle Master のアライさんに「HSIC Lassoはまさにぴったしなんではないでしょうか?」と教えていただきました。 お、となるとHSICLassoはまさにぴったしなんではないでしょうか？https://t.co/Ezigm9OriK— Hidehisa Arai (@kaggle_araisan) 2021年3月28日 HSIC Lasso は直前にあった統計学勉強会#2でのアライさんの発表資料でも取り上げられていたものです。 統計学勉強会は twitter から眺める程度で見ていたのですがとても盛り上がっていて楽しそうした。次回は是…

YOSSY'sブログ•19 日前

9_習慣と実績

こんにちはYOSSYです。 私のライフワークとして、ＡＩやアプリケーション開発の学習を進めていきます。 やることと実績を記載していきたいと思います。 習慣 実績

496の落書き帳•20 日前

にっき「決意」

今日は、喋った。とにかく朝から晩まで喋った。去年の6月に喋った量の合計を優に超えたと思われる(仕事で喋った分はノーカンとしよう)。学科の知り合いと会って、偶然にも学科外の人にも出会って、ただ人と喋りまくった。 ※知能システムに興味ない人は後編いきましょう。 前編 午前は知能システムの復習をしてみた。知識は抜けまくっていて、機械学習が前提みたいな世界に飛び込むんだからやらなきゃダメじゃないかという気持ちになり、ひたすら同期と議論しながら復習した。 成果をノート的にまとめておこう。学習とは未知関数を既知の点群から推定することである。最初に教わる方法として、いくつかのパラメータを持つ関数(モデル)を…

Sansan Builders Blog•23 日前

【ネットワークの統計解析】第6回　論文紹介1「GCNを用いたフェイクニュースの検知」

こんにちは． Sansan DSOC 研究開発部の黒木裕鷹です．先月も，今月も，また服を買ってしまいました． 出かける先はコンビニぐらいしかないのですが，おしゃれをすると心が躍り，陳列商品も不思議とキラキラして見えますね． さて，この連載では，自分の勉強・復習も兼ねて，ネットワークデータにまつわる統計解析を気の向くままに紹介しています． 前回の記事では，ネットワークデータに対する深層学習 (Graph Neural Network; GNN) を俯瞰し，直感的に全体像を把握するような導入をしました． 今回の記事では，番外編的に分析手法の紹介を少し離れ，グラフデータの分析を実際に応用する論文を1…

CV CG CP ML CMOS•23 日前

2021年3月 文献/技術記事解説

360°パノラマ画像から部屋のレイアウトを推定する。ラベルなしデータと少量のラベル付きデータを必要とする半教師あり学習。HorizonNetとMean Teacherの長所を組み合わせ両者を拡張することで、わずか12%のラベルで完全な教師あり学習に匹敵する性能を得ることができる。https://t.co/LEY7SzxRJE pic.twitter.com/y8m5cC7JXT— Teppei Kurita (@kuritateppei) 2021年3月30日 3D点群から教師なしでキーポイントを検出する。候補キーポイントからSkeletonを生成し、各エッジに対して一様なサンプリングを行い明…

ゴリラからの逃走•先月

Getting started with TensorFlow 2を受けた (Coursera / Imperial College London)

TensorFlowのチュートリアルがてらCertificationまで取得しました。 しかしCourseraのピアレビュー方式採点は謎が多い。。 リンク 概要 シラバス 受講目的 受講期間 副読本 感想 余談 今後 リンク www.coursera.org 概要 「TensorFlow 2 for Deep Learning」の中の1つの講座です。主にSequential型の書き方について解説されています。 シラバス Introduction to TensorFlow The Sequential model API Validation, regularisation and callb…

zypressen•先月

【読書メモ】 Murphy Probabilistic Machine Learning: An Introduction ドラフトを読んだメモ

Probabiistic Machine Learning: An Introduction (Murphy) のドラフト(2021 Mar 8)をちろちろ読んだ感想を書き溜めてく。 1章 Introduction - 確率的アプローチを取る理由 1. 不確実性の元での決定にたいする効率的なアプローチ - 意思決定するのは人間である前提? (機械がするなら確率じゃない、Energy based modelのほうが良さそう) 2. 確率的モデリングは色んな分野で使われた統一的なフレームワーク - 帰納バイアス Foundation 2章 Probability: univariate model…

技術をかじる猫•先月

ニューラルネットの弱点

過学習 現在のデータセットに過度に最適化されすぎて、未知のデータに対処できなくなる問題。 これはニューラルネットに限った話でもない。 同一のデータセットを学習させ続けることでも起きるが、ニューラルネットの場合以下のケースがある。 少ないデータを学習に使い続ける ニューロンの学習は1回で決まるものでもないので、エポック(データセット1週分)内の確率的というか平均というか…そんな特徴を捉えていく。 データ数が少ない場合、特徴を取り違える可能性がある。 ニューロン数を増やしすぎる データセットにピッタリ合いすぎて、未知のデータに対応できなくなる。 ニューロン数が増える＝表現力が上がる…が上がった表現…

薬剤師のプログラミング学習日記•先月

畳み込みニューラルネットワークを自作の手書き数字画像に利用する

自分で用意した画像から手書き数字の切り出し→前処理と行なってきました。今度はこれらの手書き数字をMNISTデータセットで学習させた畳み込みニューラルネットワーク（convolutional neural network：CNN）に読ませるということをやってみます。また、モデルで分類する数字画像は一文字ずつバラバラの数字ですが、元の画像の位置に応じて数値としてCSVファイルに書き込みます。 Keras＆TensorFlowでディープラーニング CNNモデルの構築 MNISTデータセットでCNNモデルを学習する 保存したモデルを手書き数字に利用する 予測した数字を数値としてファイルに書き込む 参考…

機械学習基礎理論独習•先月

正則化の意味

正則化 目的関数に正則化項を加えることにより、過学習を防ぐことができます。 一般的な正則化項を用いて目的関数を表してみます。(1)において、の時をラッソ回帰、の時をリッジ回帰というのでした。 異なるの値に対する正則化関数のグラフを示します。 正則化の意味 正則化していない目的関数(2)を、(3)の制約条件の下で最小化することを考えます。(3)を変形します。(2)、(4)より、ラグランジュ関数は以下のようになります。(1)と(5)はに関して同じ式であるので、 (1)をについて最小化するのと、(5)をについて最小化するのは等価です。(5)の最小化をで考えると、KKT条件よりとなることが分かります。…