Hatena Blog Tags
はてなブログ トップ
正則化
このタグでブログを書く
言葉の解説
ネットで話題
関連ブログ

正則化

(サイエンス)
【せいそくか】

Regularization。統計や機械学習において、過学習を抑止する。Tikhonov正則化やLASSO(Least Absolute Selection and Shrinkage Operator)など。Tikhonov正則化はパラメータが0を中心に正規分布しているという学習前の事前確率を意味する。

wをパラメータとすると、以下の式を誤差関数に加える。

Tikhonov正則化（L2正則化）
\frac{\lambda}{2} w^2
LASSO（L1正則化）
\lambda |w|

Tikhonov正則化はパラメータが0に近づくだけであるが、LASSOはパラメータが0になりやすいという効果がある。

このタグの解説についてこの解説文は、すでに終了したサービス「はてなキーワード」内で有志のユーザーが作成・編集した内容に基づいています。その正確性や網羅性をはてなが保証するものではありません。問題のある記述を発見した場合には、お問い合わせフォームよりご連絡ください。
Goodな生活•昨年

【統計検定準1級】非線形回帰における正則化

線形回帰では直線による回帰しかできなかった一方、説明変数を変数変換したものを説明変数に加えることで非線形回帰ができる。を変数変換したものを基底関数と呼ぶ。基底関数をたくさん使うことで説明変数をいくらでも増やすことができるが、過学習*1が起こる。そこで意味のない説明変数（基底関数）の回帰係数がゼロになるように工夫して推定する。 正則化 lasso推定 リッジ推定 Elastic Net推定 参考 正則化 以下の非線形回帰モデルを想定する。 通常の残差平方和はであるが、以下のように罰則項（正則化項）を加える。として、 (2)の最小化を行う。をゼロではない値に推定することにより、正則化項の影響で式全…

#統計検定#統計検定準1級#正則化

ネットで話題

もっと見る
116ブックマーク統計的学習理論と正則化に関するちょっと数理的な基礎 - 横須賀の某Prisonで働く研究者？のブログsetten-qb.hatenablog.com
53ブックマークRでL1 / L2正則化を実践する - 渋谷駅前で働くデータサイエンティストのブログtjo.hatenablog.com
46ブックマークSVMにおける損失と正則化 - 射撃しつつ前転 改tkng.hatenablog.com
38ブックマーク任意の学習率の式に対する効率的なL1正則化の計算方法 : Preferred Researchtech.preferred.jp
36ブックマークDropoutの実装と重みの正則化 - もちもちしているolanleed.hatenablog.com
30ブックマークL1正則化で重みが0につぶれる理由blog.unnono.net
30ブックマーク回帰モデルにおけるL1正則化とL2正則化の効果 - old school magic概要 回帰モデルとは、与えられた入力を用いて目標変数を予測するモデルです。 回帰モデルでは過学習を防ぐため、誤差関数(二乗誤差関数など)に次の式で表される正則化項を加えて最小化します。 この形の正則化項を用いる回帰をブリッジ回帰と呼びます。 特にの時をLasso回帰、の時をRidge回帰と呼びます。また、それぞ...breakbee.hatenablog.jp
28ブックマーク正則化つき線形モデル(「入門機械学習第6章」より)www.slideshare.net
27ブックマークわしの思うリッジ回帰(L2正則化)と正則化法。 - Pseudo Theory of Everythingpseudo-theory-of-everything.hatenablog.com

関連ブログ

sinchir0のブログ•13 日前

リッジ回帰のパラメータの大きさの計算と、λを変化させたときの結果の変化

この記事は何？ リッジ回帰は、正則化項としてパラメータの大きさの項を足したものです。 ただ自分の場合は、「パラメータの大きさって具体的に何？🤔」とか、「パラメータが変化すると、回帰直線にどんな影響を与えるの？🤔」とか気になったので、簡単な実験をしました。 今回の内容は、「機械学習のエッセンス 第05章 03 リッジ回帰」を非常に参考にしています。 機械学習のエッセンス -実装しながら学ぶPython,数学,アルゴリズム- (Machine Learning) | 加藤 公一 |本 | 通販 | Amazon 3行で 2次元において、リッジ回帰のパラメータの計算を行った。 を変化させた時に、リッ…

渋谷駅前で働くデータサイエンティストのブログ•14 日前

データサイエンティストは何を勉強すべきか：「教養」と「必須」と「差別化」と

(Image by Wokandapix from Pixabay)個人的な観測範囲での話ですが、データサイエンティストという職業は「21世紀で最もセクシーな職業」として刹那的な注目を集めた第一次ブーム、人工知能ブームに煽られて火がついた第二次ブーム、そして「未経験から3ヶ月で人生逆転」ムーブメントと折からのDXブームに煽られる形で沸き起こった第三次ブームを経て、何だかんだで社会に定着してきた感があります。 で、このブログを始めた頃からの連綿と続くテーマになっていますが、いつの時代も話題になるのが「データサイエンティスト（になるに）は何を勉強すべきか」ということ。7年前から恒例にしてきた「スキ…

にんひどりんはんのう•16 日前

[論文メモ] Masked Autoencoders that Listen

arxiv.org FAIRのtechnical reportMasked Autoencoderを音声(スペクトログラム)に適用したTransformerベースな音声タスク用の手法が提案されているがImageNetでの事前学習が行われていて、言うまでもなくこれは適切ではない。 音声データをBERT等で事前学習するにしても長いシーケンスを扱う場合、計算量が非常に多くなる。 Vision Transformer(ViT)は画像をパッチに分けシーケンスとして扱うが、パッチ化することでシーケンスサイズを抑えることができる。 ViTを使った自己教師あり学習の手法の1つであるMasked Autoenc…

にんひどりんはんのう•先月

[論文メモ] DelightfulTTS 2: End-to-End Speech Synthesis with Adversarial Vector-Quantized Auto-Encoders

arxiv.orgVQ-GANをつかったEnd-to-End(E2E)なTTSの提案既存のTTSの多くはメルスペクトログラムを介したacoustic model と vocoderによる構成だが、 1) メルスペクトログラムは位相情報が失われている 2) 実際のメルスペクトログラムで学習したvocoderにとってacoustic modelが生成した不正確なメルスペクトログラムはドメインが異なる といった問題があり、E2Eにしたいというお気持ちもとのDelightfulTTSと多分同じチーム？ 手法 提案するDelightfulTTS2のアーキテクチャは図1参照。 仕組みとしては単純で、 1)…

「大人の教養・知識・気付き」を伸ばすブログ•先月

統計的機械学習の数理100問（目次）

いい加減時代の潮流に乗ろうということで機械学習を学びたいと思う。またRはともかくとしてPythonは未経験であるため、丁度良い書籍として統計的機械学習の数理100問 with R (with R) (機械学習の数理100問シリーズ)作者:讓, 鈴木共立出版Amazon統計的機械学習の数理100問 with Python (機械学習の数理100問シリーズ)作者:讓, 鈴木共立出版Amazon 1. 復習：線形代数 2. 線形回帰 3. 回帰：重回帰の導入 4. 回帰：重回帰の推定量(1) 5. 回帰：重回帰の推定量(2) 6. 回帰：決定係数・多重共線性 7. 回帰：信頼区間・予測区間 8. 分…

はじめよう実験計画•先月

回帰モデルの選択手法について｜AIC、Partial F-test、LASSO、Ridgeなど

はじめに 実験計画法に基づいて実験をした後、モデル（数式）を構築する方法はたくさんあります。通常の実験計画法の教科書では、要因が例えばx1,x2,x3、目的変数がyだとしたら、 y= β0+β1x1+β2x2+β3x3 の一次式や y= β0+β1x1+β2x2+β3x3+β12x1x2+β23x2x3 のように交互作用項を加えた2次式を仮定します。当ブログで説明している決定的スクリーニング計画や、応答曲面計画のような試行回数の多い計画だと、さらにx1^2やx2^2の2乗項を加えたモデル式を仮定して、回帰分析を行います。 モデル選択とは、例えば、そもそもx1はモデルに含めるのが妥当なのか？x2…

ころがる狸•先月

【エネルギーベースモデル】EBMの仕組みと拡散モデルとのつながり

こんにちは。今回は、深層学習における生成モデルの１つであるエネルギーベースモデル（EBM）について解説します。EBMは深層学習のブレイク以前からある伝統的な技術ですが、最近Googleが発表したImagen等の超高精度生成モデルで使われる拡散モデルと深い関わりがあります。拡散モデルは主にスコアベースモデルと確率拡散モデルの2通りの流儀があり、両者を統合したモデルはまだ確立していない模様です[1, 2]。今回取り上げるEBMは前者のスコアベースモデルを理解する上で必須の技術です。そのため本記事と次回の投稿で、それぞれEBMとスコアベースモデルの解説を行います。 拡散モデルの流儀 EBMに関する日…

盆暗の学習記録•先月

SHAP valuesの論文を読んだのでメモする

Lundberg, S. M., & Lee, S. I. (2017). A unified approach to interpreting model predictions. Advances in neural information processing systems, 30. 2017年の論文なので今更ですが読んだのでメモします。 沢山の内容を10ページに詰め込んだような全体的に説明が少ない論文だったので、ふわっとした理解のまま書いてます。誤情報があったらごめんなさい。 概要 「この予測値はどういう特徴量が影響してこうなったのか」という局所的説明（local explanati…

サブロウ丸•2 か月前

Transformerによる翻訳システム自作; part4 FeedForward & Residual Connection

本稿ではFeedForward層とResidual connection（残差接続）、正規化層を導入します。Transformerはattention機構とFeedForward機構から構成されており、それぞれに対して残差接続が行われています。 実装 FeedForward FeedForwardとは循環構造を持たないニューラルネットワークの総称です。Transformerでは単純に隠れ層が1つの全結合層が用いられます。また隠れ層の次元は通常入力次元とは大きなものが用いられ出力次元は入力次元と同じものに設定されます。 さてそれではなぜこのfeedforward層が必要なのでしょうか。少なくとも…

クッキーの日記•2 か月前

雑記： 学習し過ぎてほしくない話

お気付きの点がありましたらご指摘いただけますと幸いです。 Overfitting - Wikipedia（2022年6月20日参照）. model selection - Why isn't Akaike information criterion used more in machine learning? - Cross Validated（2022年6月20日参照）. Can the BIC be used in neural nets despite its large no. of parameters? - Cross Validated（2022年6月20日参照）. How to…

macでインフォマティクス•2 か月前

ショートリードメタゲノミクスデータから薬剤耐性を分類する AMR-meta

抗菌剤耐性（AMR）は世界的な健康問題である。微生物サンプルのハイスループットなメタゲノムシークエンシングにより、精選されたAMRデータベースとの比較によるAMR遺伝子のプロファイリングが可能になる。しかし、データベースの不完全性や、シークエンシングされたサンプル中の他の非AMR遺伝子との相同性/同形形質の存在により、現在の手法の性能はしばしば妨げられる。 AMR-metaは、データベースもアライメントも不要で、k-mersに基づく、代数的行列分解と正則化回帰を組み合わせたメタフィーチャの手法である。メタフィーチャーは、主な抗生物質クラスにわたるマルチレベルの遺伝子多様性を捉える。AMR-me…

ぽんぽこ日記•2 か月前

Learning Fine-grained Image Similarity with Deep Ranking

Deep Metric Learning系の論文を読んでいこうかなと思います。 Learning Fine-grained Image Similarity with Deep Ranking [1] この論文は有名なTriplet Lossが提案された論文です。CVPR2014で発表されました。 時の流れを感じる(´；ω；｀) 0. ざっくり説明 1. 導入 2. 主な考え 3. 定式化 4. Network Architecture 5. OptimizationとSamplinng 5.1 Optimization 5.2 Triplet Sampling 5.2.1 画像の選び方 5.…

ぺーぱーの日々•2 か月前

機械学習の用語集

用語 機械学習 モデル 回帰 分類 データセット（dataset） 中間層 過学習（Overfitting） 特徴量（feature） 交差検証（cross-validation） パラメーター（parameter） スタッキング（stacking） 正規分布（normal distribution） 正規分布曲線（bell curve） アルゴリズム 二分探索法 幅優先探索 ham 離散値 決定木（decision tree） ランダムフォレスト（random forest） ロジスティクス回帰 カテゴリー変数（categorical feature） 歪度（skewness） 尖度（ske…

プロKagglerブログ•2 か月前

【機械学習】特徴量選択手法

はじめに こんにちは．株式会社音圧爆上げくんにプロKagglerとして所属していますAshmeと申します． 業務の一環としてKaggleの様々なコンペティションに参加し，そこで得られた知見などを記事にして投稿しております．よろしくお願いいたします．また使用したソースコードはこちらにあります． Kaggleでも実データでも入力データの特徴量数が非常に多い場合があります．その中には予測に不要なものや，ときには悪影響を与えるようなものが存在します．今回は使用する特徴量を絞るための，様々な特徴量選択の手法について説明していきます． 本記事では説明のために特に特徴量が多いわけではないですが，scikit…