リッジ回帰の考察 こちらの回で求めた最小二乗法とリッジ回帰の解は以下のようになりました。 2つの違いは逆行列を求める際に、対角成分にを足し合わせる点です。は罰則項の強さを調整するハイパーパラメータです。これが一体何を意味しているか式変形を行っ…

固有値分解と特異値分解は統計学や機械学習において頻繁に登場する手法です。とくに、主成分分析やリッジ回帰をより深く理解する上で大いに役立ちます。 固有値分解(Eigenvalue Decompositions) 一言でいうと、与えられた行列を直交するベクトルとその大きさ…

最小二乗法による線形回帰モデル リッジ回帰を説明する上で最小二乗法による線形回帰モデルの推定方法の理解が必要になりますので、まずこちらから説明します。 説明変数が2以上の線形回帰モデル（重回帰モデル）は以下で表されます。 ここでは目的変数、は…