目次 リッジ回帰は、最適化の視点で見ると 「不安定な逆問題を、数学的な小細工で『確実に解ける問題』に作り替える」 という、極めて実用的かつ基礎的な立ち位置にあります。 エンジニアやデータサイエンティストにとって、Ridgeは単なる「回帰の手法」ではなく、特定の数理構造を持つ最適化問題の代表例として扱われます。 本日は、Ridge回帰の前に最小2乗誤差の最小化についての説明を行い、その上でRidge回帰そのものについて説明を行います。 最小二乗法が微分可能 最小二乗法の誤差項 ∥Ax−b∥2\|Ax - b\|^2∥Ax−b∥2 が微分可能(滑らか)である理由は、この式を分解してみると 「多項式…