線形判別分析 線形判別分析(LDA)は各クラスの説明変数の分布が正規分布に従っていること、また各クラスの共分散行列が等しいと仮定した特別な場合です。説明変数が複数ある場合は多変量正規分布になりますが、多変量正規分布の確率密度関数は です。ここでは…

よくバイアスがあると言うことがありますが、これが一体何を意味しているのかを説明するというのが今回の意図です。データをもとに母数を言い当てることを推定といいます。ちなみに母数とは、正規分布における平均値や分散などそのモデルが持っている特性値…

ロジスティック回帰について ロジスティック回帰は機械学習の分類問題において、おそらく基本的な手法に位置するものであると思います。この手法は線形回帰モデルをその目的変数について、カテゴリカルな量に対応できるよう拡張させたものと考えることができ…

リッジ回帰の考察 こちらの回で求めた最小二乗法とリッジ回帰の解は以下のようになりました。 2つの違いは逆行列を求める際に、対角成分にを足し合わせる点です。は罰則項の強さを調整するハイパーパラメータです。これが一体何を意味しているか式変形を行っ…

固有値分解と特異値分解は統計学や機械学習において頻繁に登場する手法です。とくに、主成分分析やリッジ回帰をより深く理解する上で大いに役立ちます。 固有値分解(Eigenvalue Decompositions) 一言でいうと、与えられた行列を直交するベクトルとその大きさ…

最小二乗法による線形回帰モデル リッジ回帰を説明する上で最小二乗法による線形回帰モデルの推定方法の理解が必要になりますので、まずこちらから説明します。 説明変数が2以上の線形回帰モデル（重回帰モデル）は以下で表されます。 ここでは目的変数、は…

線形単回帰モデル 線形単回帰(Simple linear regression)モデルは1つの入力（変数）を用いて予測をするものであり、回帰モデルの中でも最もシンプルなものです。シンプルであるがゆえに入力と出力との関係を解釈しやすいモデルです。また、特に訓練データの…

機械学習における「次元の呪い」とは高次元（特徴量の数が多い）のときに生じる問題のことです。ということなので、この特徴量の数を''という変数にして、増やしていったときにどのような事象が発生するのかを考えてみましょう。 まず、各辺の長さが1であるp…