こんにちは、データサイエンスチーム tmtkです。
この記事では、回帰分析において誤差項が正規分布に従うと仮定すれば、最小二乗法が最尤法だとみなせることを説明します。

最小二乗法とは

以前の記事で説明したとおり、最小二乗法とは、回帰問題において残差の二乗和を最小化するパラメータを選択する手法です。
線形回帰について復習すると、線形回帰とは、

1. [latex]n[/latex]個のデータ[latex](x_{11}, x_{12}, \ldots, x_{1K}; y_1) , (x_{21}, \ldots, x_{2K}; y_2), \ldots, (x_{n1}, \ldots, x_{nK}; y_n) \in \mathbb{R}^K \times \mathbb{R}[/latex]が与えられている。
2. 変数[latex]x_{ij}, y_{i}[/latex]の関係が[latex] y_i = \sum_{j=1}^K x_{ij}\beta_j + \beta_0[/latex]で近似できると仮定する。
3. [latex]y[/latex]の残差[latex] y_i – (\sum_{j=1}^K x_{ij}\beta_j + \beta_0)[/latex] の二乗和[latex]\sum_{i=1}^n \left(y_i – \left(\sum_{j=1}^K x_{ij}\beta_j + \beta_0\right)\right)^2[/latex]を最小にする[latex]\beta_0, \beta_1, \ldots, \beta_K[/latex]を計算する。（これが 最小二乗法 ）
4. 1. で得られた[latex]\beta_0, \ldots, \beta_K[/latex]を用いて、データ列に[latex]y_i = \sum_{j=1}^K x_{ij}\beta_j + \beta_0[/latex]の関係があると見積もる。

という手続きです。

線形回帰モデル

前節では線形回帰についての概略を復習しましたが、2. の仮定の部分についてより正確に述べると、以下のようになります。
線形回帰の標準的仮定というものがあり、それは以下のとおりです。

1. [latex]y_i = \sum_{j=1}^K x_{ij}\beta_j + \beta_0 + \epsilon_i[/latex]という式が成り立つ。ここで、[latex]\epsilon_i[/latex]は誤差項と呼ばれる確率変数である。
2. 各[latex]i[/latex]に対して、誤差項[latex]\epsilon_i[/latex]の平均は[latex]0[/latex]である。[latex]\mathbb{E}(\epsilon_i) = 0[/latex].
3. [latex]\epsilon_i[/latex]の分散は[latex]i[/latex]によらない。[latex]\mathbb{V}(\epsilon_i)=\mathbb{E}(\epsilon_i^2)=\sigma^2[/latex].
4. 誤差項[latex]\epsilon_i[/latex]たちは互いに無相関である。[latex]\mathrm{Cov}(\epsilon_i, \epsilon_j) = 0 (i\neq j).[/latex]
5. 説明変数[latex]x_i[/latex]は確率変数ではない。

以上の仮定を標準的仮定と呼びます。（ただし、標準的仮定にはいろいろな変種があるようです。）

標準的仮定とGauss-Markovの定理

Gauss-Markovの定理という定理があります。
その内容は、以下のとおりです。

定理（Gauss-Markov）

標準的仮定のもとで、線形回帰で最小二乗法によって得られた係数[latex]\beta_0, \beta_1, \ldots, \beta_K[/latex]は、最良線形不偏推定量（Best Linear Unbiased Estimator, BLUE）になっている。すなわち、[latex]\beta_0, \beta_1, \ldots, \beta_K[/latex]は不偏推定量であり、かつ、[latex](\beta’_0, \beta’_1, \ldots, \beta’_K)^{\mathrm{T}} = C(y_1, \ldots, y_n)^\mathrm{T} (C \in \mathrm{M}(K+1, n)) [/latex]とすると、分散共分散行列の差[latex]\mathbb{V}( (\beta’_0, \beta’_1, \ldots, \beta’_K)^\mathrm{T}) – \mathbb{V}( (\beta_0, \beta_1, \ldots, \beta_K)^\mathrm{T})[/latex]が半正定値行列になっている。
証明は省略します。
この定理から、最小二乗推定量[latex]\beta_0, \beta_1, \ldots, \beta_K[/latex] はよい推定量であるといえます。

正規分布仮定と最尤法

線形回帰をする際、実際には上の標準的仮定にくわえて、誤差項[latex]\epsilon_i[/latex]が互いに独立であることと正規分布に従うこと（[latex]\epsilon_i\sim N(0, \sigma^2)[/latex]）を仮定することが多いようです。
この仮定をくわえると、最小二乗法による推定量[latex]\beta_0, \beta_1, \ldots, \beta_K[/latex]が、誤差項についての最尤推定量になっていることがわかります。以下で、これを説明します。
いま、観測データの中にデータ[latex](x_{i1}, \ldots, x_{iK}; y_i)[/latex]が現れるということは、残差[latex]\epsilon_i[/latex]が[latex]\epsilon_i = y_i – (\sum_{j=1}^K x_{ij}\beta_j + \beta_0)[/latex]をとるということです。誤差項が正規分布に従うという仮定から、その確率（確率密度）は
[latex]\frac{1}{\sqrt{2\pi\sigma^2}}\exp(-\frac{\left(y_i-(\sum_{j=1}^K x_{ij}\beta_j + \beta_0)\right)^2}{2\sigma^2})[/latex]
です。したがって、残差に関する尤度関数は
[latex]\prod_{i=1}^n \frac{1}{\sqrt{2\pi\sigma^2}}\exp(-\frac{\left(y_i-(\sum_{j=1}^K x_{ij}\beta_j + \beta_0)\right)^2}{2\sigma^2})[/latex]
です。対数尤度関数は、
[latex]\mathscr{L}(\beta_0, \beta_1, \ldots, \beta_K)=\sum_{i=1}^n \ln \frac{1}{\sqrt{2\pi\sigma^2}}\exp(-\frac{\left(y_i-(\sum_{j=1}^K x_{ij}\beta_j + \beta_0)\right)^2}{2\sigma^2})\\=-\frac{1}{2\sigma^2}\sum_{i=1}^n \left(y_i-(\sum_{j=1}^K x_{ij}\beta_j + \beta_0)\right)^2 -\frac{n}{2}\ln(2\pi\sigma^2)[/latex]
です。この[latex]\mathscr{L}(\beta_0, \beta_1, \ldots, \beta_K)[/latex]を最大化する[latex]\beta_0, \beta_1, \ldots, \beta_K[/latex]が最尤推定量になります。
[latex]\mathscr{L}(\beta_0, \beta_1, \ldots, \beta_K)[/latex]の式をよくみると、[latex]\mathscr{L}(\beta_0, \beta_1, \ldots, \beta_K)[/latex]を最大化することと残差の二乗和[latex]\sum_{i=1}^n \left(y_i – \left(\sum_{j=1}^K x_{ij}\beta_j + \beta_0\right)\right)^2[/latex]を最小化することは同じですから、最尤推定量と最小二乗推定量の[latex]\beta_0, \beta_1, \ldots, \beta_K[/latex]は等しいことがわかります。
また、議論を振り返ると、最小二乗法で与えるパラメータが最尤推定量であることを示すためには、回帰問題が線形回帰であることは使っていません。回帰する関数がなんであろうと、誤差項が平均0の正規分布に従うとき、最小二乗法が有効だといえると思います。

まとめ

• 標準的仮定から、最小二乗法で求めたパラメータが最良線形不偏推定量であることを導けます。（Gauss-Markovの定理）
• さらに誤差項が互いに独立であることと正規分布に従うということを仮定すれば、最小二乗法で求めたパラメータが最尤推定量であることが導けます。
• 誤差項が正規分布にしたがうと仮定したときの回帰問題では、最小二乗法が有効です。

参考

• 倉田博史・星野崇宏『入門統計解析』新世社，2009年
• Gauss–Markov theorem – Wikipeida
• Gauss-Markov Theorem, Weighted Least Squares(PDF)