多変量正規分布の最尤推定量を導出する - エンジニアを目指す浪人のブログ

本記事は以下の過去記事の結果を用います．

与えられた観測データがある確率分布にしたがっていると仮定しそのパラメータを推定する手法に最尤推定(maximum likelihood estimation ; MLE)があります．実際のデータ解析でよく使われると思われる，確率モデルを多変量正規分布(multivariate normal distribution)とするときの最尤推定量(maximum likelihood estimator)の導出を取り上げます．導出の過程で微分して0をとることの背景，理由についてモヤモヤしてしまったので，その部分に注意しつつ内容をまとめておくことにしました．主に文献[1][2][3]を参考にしています．

=================================================================================
[ 0. 準備 ]

記号を準備します．

$X \in \mathbb{R}^n \;\;\;\;\;\;$ 確率変数
$x_{\cdot} \in \mathbb{R}^n \;\;\;\;\;\;$ $X$ の実現値
$\mu \in \mathbb{R}^n \;\;\;\;\;\;\;$ 平均ベクトル
$\Sigma \in \mathbb{R}^{n \times n } \;\;\;$ 分散共分散行列
$\hat{ \mu }_{ML} \;\;\;\;\;\;\;\;\;\;\; \mu$ の最尤推定量
$\hat{ \Sigma }_{ML} \;\;\;\;\;\;\;\;\;\;\; \Sigma$ の最尤推定量

$N \;\;\;\;\;\;\;\;\;\;\;\;\;\;\;$ 試行回数(サンプル数)
$\mathcal{D} = \{ x_1,x_2,\ldots,x_N \} \;\;\;$ 観測データ集合

線形関数(linear function)の定義は文献[5]にあります．

凸(convex)，狭義凸(strictly convex)，凹(concave)の定義と性質は文献[6]にあります．

正定値(positive definite)の定義は文献[7]にあります．

転置行列(transpose)についての以下の性質は文献[8]にあります．

(0.1) $\;\;\; \left( A_1 A_2 A_3 \right)^T = \left( A_3 \right)^T \left( A_2 \right)^T \left( A_1 \right)^T$

逆行列の行列式(determinant)についての以下の性質は文献[9]にあります．

(0.2) $\;\;\; \mathrm{det} \left( A^{-1} \right) = 1 / \mathrm{det} \left( A \right)$

[ 1. 対数尤度関数 ]

平均ベクトル $\mu$ ，分散共分散行列 $\Sigma$ の多変量正規分布の確率密度関数(probability density function ; PDF)は以下です(文献[10]にあります)．この定義の $\Sigma$ は正定値なので，冒頭の過去記事(正定値行列の逆行列)事実.より $\Sigma^{-1}$ も正定値です．

(1.1) $\;\;\; f_X \left( x | \mu,\Sigma \right) = \frac{ 1 }{ (2 \pi )^{n/2} \ \left[ \mathrm{det} \left( \Sigma \right) \right]^{1/2} } \exp \left( - \frac{1}{2} ( x - \mu )^T \Sigma^{-1} ( x - \mu ) \right)$

観測データ集合 $\mathcal{D}$ のときの尤度関数(likelihood function)は以下です．

(1.2) $\;\;\; L \left( \mu,\Sigma \; | \mathcal{D} \right) = \prod_{i=1}^N f_X \left( x_i | \mu,\Sigma \right)$

対数尤度関数(log-likelihood function)は以下です．最尤推定の目的はこれを最大にする $\mu,\Sigma$ を求めることです．

(1.3) $\:\:\: l \left( \mu,\Sigma \; | \mathcal{D} \right)$

$= \log L \left( \mu,\Sigma \; | \mathcal{D} \right)$

$= \log \prod_{i=1}^N f_X \left( x_i | \mu,\Sigma \right) \;\;\; \because$ (1.2)

$= \sum_{i=1}^N \log f_X \left( x_i | \mu,\Sigma \right)$

$= \sum_{i=1}^N \log \left[ \frac{ 1 }{ (2 \pi )^{n/2} \ \left[ \mathrm{det} \left( \Sigma \right) \right]^{1/2} } \exp \left( - \frac{1}{2} ( x_i - \mu )^T \Sigma^{-1} ( x_i - \mu ) \right) \right]$

$= \sum_{i=1}^N \left[ \log \frac{ 1 }{ (2 \pi )^{n/2} } + \log \frac{1}{ \left[ \mathrm{det} \left( \Sigma \right) \right]^{1/2} } - \frac{1}{2} ( x_i - \mu )^T \Sigma^{-1} ( x_i - \mu ) \right]$

$= \sum_{i=1}^N \left[ - \log (2 \pi )^{n/2} - \log \left[ \mathrm{det} \left( \Sigma \right) \right]^{1/2} - \frac{1}{2} ( x_i - \mu )^T \Sigma^{-1} ( x_i - \mu ) \right]$

$= \sum_{i=1}^N \left[ - \frac{n}{2} \log (2 \pi ) - \frac{1}{2} \log \left[ \mathrm{det} \left( \Sigma \right) \right] - \frac{1}{2} ( x_i - \mu )^T \Sigma^{-1} ( x_i - \mu ) \right]$

$= - \frac{Nn}{2} \log (2 \pi ) - \frac{N}{2} \log \left[ \mathrm{det} \left( \Sigma \right) \right] - \sum_{i=1}^N \frac{1}{2} ( x_i - \mu )^T \Sigma^{-1} ( x_i - \mu )$

$= - \frac{Nn}{2} \log (2 \pi ) + \frac{N}{2} \log \left[ \frac{ 1 }{ \mathrm{det} \left( \Sigma \right) } \right] - \sum_{i=1}^N \frac{1}{2} ( x_i - \mu )^T \Sigma^{-1} ( x_i - \mu )$

$= - \frac{Nn}{2} \log (2 \pi ) + \frac{N}{2} \log \left[ \mathrm{det} \left( \Sigma^{-1} \right) \right] - \sum_{i=1}^N \frac{1}{2} ( x_i - \mu )^T \Sigma^{-1} ( x_i - \mu ) \;\;\; \because$ (0.2)

[ 2. $\mu$ の最尤推定量の導出 ]

対数尤度関数(1.3)を再掲します． $l \left( \mu,\Sigma \; | \mathcal{D} \right)$ を $\Sigma$ を固定して $\mu$ の関数と考えます．第1項と第2項は定数です． $\Sigma^{-1}$ は正定値なので，冒頭の過去記事(係数行列が対称行列)系2.より第3項は狭義凹です．

(2.1) $\;\;\; l \left( \mu,\Sigma \; | \mathcal{D} \right) = - \frac{Nn}{2} \log (2 \pi ) + \frac{N}{2} \log \left[ \mathrm{det} \left( \Sigma^{-1} \right) \right] - \sum_{i=1}^N \frac{1}{2} ( x_i - \mu )^T \Sigma^{-1} ( x_i - \mu )$

$\mu$ の関数と考えるとき $l \left( \mu,\Sigma \; | \mathcal{D} \right)$ は狭義凹(したがって凹でもある)です．冒頭の過去記事(ラグランジュ関数)0章(0.9)付近の記述より，微分可能な凸(凹)関数は勾配が0となる点で最小(最大)値をとります．したがって $l \left( \mu,\Sigma \; | \mathcal{D} \right)$ を $\mu$ で微分して0としたときの $\mu$ を求めればよいことになります．冒頭の過去記事(係数行列が半正定値)定理3.も参考になります．

(2.2) $\;\;\; \frac{ \partial }{ \partial \mu } l \left( \mu,\Sigma \; | \mathcal{D} \right)$

$= \frac{ \partial }{ \partial \mu } \left[ - \frac{Nn}{2} \log (2 \pi ) + \frac{N}{2} \log \left[ \mathrm{det} \left( \Sigma^{-1} \right) \right] - \sum_{i=1}^N \frac{1}{2} ( x_i - \mu )^T \Sigma^{-1} ( x_i - \mu ) \right]$

$= \frac{ \partial }{ \partial \mu } \left[ - \sum_{i=1}^N \frac{1}{2} ( x_i - \mu )^T \Sigma^{-1} ( x_i - \mu ) \right]$

$= \frac{ \partial }{ \partial \mu } \left[ - \sum_{i=1}^N \frac{1}{2} ( x_i - \mu )^T \left( \Sigma^{-1} x_i - \Sigma^{-1} \mu \right) \right]$

$= \frac{ \partial }{ \partial \mu } \left[ - \sum_{i=1}^N \frac{1}{2} \left( x_i^T \Sigma^{-1} x_i - x_i^T \Sigma^{-1} \mu - \mu^T \Sigma^{-1} x_i \;\;\;\;\;\;\;\;\;\; + \mu^T \Sigma^{-1} \mu \right) \right]$

$= \frac{ \partial }{ \partial \mu } \left[ - \sum_{i=1}^N \frac{1}{2} \left( x_i^T \Sigma^{-1} x_i - x_i^T \Sigma^{-1} \mu - \left( \mu^T \Sigma^{-1} x_i \right)^T \;\;\;\;\; + \mu^T \Sigma^{-1} \mu \right) \right]$

$= \frac{ \partial }{ \partial \mu } \left[ - \sum_{i=1}^N \frac{1}{2} \left( x_i^T \Sigma^{-1} x_i - x_i^T \Sigma^{-1} \mu - x_i^T \left( \Sigma^{-1} \right)^T (\mu^T)^T + \mu^T \Sigma^{-1} \mu \right) \right] \;\;\; \because$ (0.1)

$= \frac{ \partial }{ \partial \mu } \left[ - \sum_{i=1}^N \frac{1}{2} \left( x_i^T \Sigma^{-1} x_i - x_i^T \Sigma^{-1} \mu - x_i^T \left( \Sigma^{-1} \right)^T \mu \;\;\;\;\;\;\; + \mu^T \Sigma^{-1} \mu \right) \right]$

$= \frac{ \partial }{ \partial \mu } \left[ - \sum_{i=1}^N \frac{1}{2} \left( x_i^T \Sigma^{-1} x_i - x_i^T \Sigma^{-1} \mu - x_i^T \Sigma^{-1} \mu \;\;\;\;\; + \mu^T \Sigma^{-1} \mu \right) \right] \;\;\; \because$ $\Sigma^{-1}$ は正定値(対称行列)

$= \frac{ \partial }{ \partial \mu } \left[ - \sum_{i=1}^N \frac{1}{2} \left( x_i^T \Sigma^{-1} x_i - 2 x_i^T \Sigma^{-1} \mu + \mu^T \Sigma^{-1} \mu \right) \right]$

$= \frac{ \partial }{ \partial \mu } \left[ - \sum_{i=1}^N \left( \frac{1}{2} x_i^T \Sigma^{-1} x_i - x_i^T \Sigma^{-1} \mu + \frac{1}{2} \mu^T \Sigma^{-1} \mu \right) \right]$

$= \frac{ \partial }{ \partial \mu } \left[ - \sum_{i=1}^N \left( - x_i^T \Sigma^{-1} \mu + \frac{1}{2} \mu^T \Sigma^{-1} \mu \right) \right]$

$= \frac{ \partial }{ \partial \mu } \left[ - \left[ - \left( \sum_{i=1}^N x_i \right)^T \Sigma^{-1} \mu + \frac{1}{2} \mu^T \left( N \Sigma^{-1} \right) \mu \right] \right]$

$= \frac{ \partial }{ \partial \mu } \left[ \left( \sum_{i=1}^N x_i \right)^T \Sigma^{-1} \mu - \frac{1}{2} \mu^T \left( N \Sigma^{-1} \right) \mu \right]$

$= \frac{ \partial }{ \partial \mu } \left( \sum_{i=1}^N x_i \right)^T \Sigma^{-1} \mu - \frac{1}{2} \frac{ \partial }{ \partial \mu } \mu^T \left( N \Sigma^{-1} \right) \mu$

$= \frac{ \partial }{ \partial \mu } \left( \sum_{i=1}^N x_i \right)^T \Sigma^{-1} \mu - \frac{1}{2} \;\;\; 2 \left( N \Sigma^{-1} \right) \mu \;\;\; \because$ 冒頭の過去記事(いくつかの公式その1)事実2.(2.1)

$= \left( \left( \sum_{i=1}^N x_i \right)^T \Sigma^{-1} \right)^T - \frac{1}{2} \;\;\; 2 \left( N \Sigma^{-1} \right) \mu \;\;\; \because$ 冒頭の過去記事(いくつかの公式その1)事実3.

$= \left( \Sigma^{-1} \right)^T \left( \left( \sum_{i=1}^N x_i \right)^T \right)^T - \left( N \Sigma^{-1} \right) \mu$

$= \left( \Sigma^{-1} \right)^T \left( \sum_{i=1}^N x_i \right) - \Sigma^{-1} \left( N \mu \right)$

$= \Sigma^{-1} \left( \sum_{i=1}^N x_i \right) - \Sigma^{-1} \left( N \mu \right) \;\;\;\;\;\; \because$ $\Sigma^{-1}$ は正定値(対称行列)

$= \Sigma^{-1} \left[ \left( \sum_{i=1}^N x_i \right) - N \mu \right] = 0$

$\Rightarrow \;\; \sum_{i=1}^N x_i - N \hat{ \mu }_{ML} = 0$

$\Leftrightarrow \;\; \hat{ \mu }_{ML} = \frac{1}{N} \sum_{i=1}^N x_i$

これは標本平均です． $\Sigma$ に依存していないので， $l \left( \mu,\Sigma \; | \mathcal{D} \right)$ が最大となるときの $\mu$ は $\Sigma$ にかかわらずこの $\hat{ \mu }_{ML}$ であることがわかります．

[ 3. $\Sigma$ の最尤推定量の導出 ]

対数尤度関数(1.3)を再掲します． $l \left( \mu,\Sigma \; | \mathcal{D} \right)$ を $\mu$ を固定して $\Sigma^{-1}$ の関数と考えます．第1項は定数です．冒頭の過去記事(行列式の対数)事実1.より第2項は $\Sigma^{-1}$ の凹関数です．第3項は $\Sigma^{-1}$ の線形関数です．

(3.1) $\;\;\; l \left( \mu,\Sigma \; | \mathcal{D} \right) = - \frac{Nn}{2} \log (2 \pi ) + \frac{N}{2} \log \left[ \mathrm{det} \left( \Sigma^{-1} \right) \right] - \sum_{i=1}^N \frac{1}{2} ( x_i - \mu )^T \Sigma^{-1} ( x_i - \mu )$

線形関数は凸かつ凹であり，凸(凹)関数の非負加重和は凸(凹)関数である(文献[6]にあります)ので， $\Sigma^{-1}$ の関数と考えるとき $l \left( \mu,\Sigma \; | \mathcal{D} \right)$ は凹です．冒頭の過去記事(ラグランジュ関数)0章(0.9)付近の記述より，微分可能な凸(凹)関数は勾配が0となる点で最小(最大)値をとります．したがって $l \left( \mu,\Sigma \; | \mathcal{D} \right)$ を $\Sigma^{-1}$ で微分して0としたときの $\Sigma$ を求めればよいことになります．

(3.2) $\;\;\; \frac{ \partial }{ \partial \Sigma^{-1} } l \left( \mu, \Sigma \; | \mathcal{D} \right)$

$= \frac{ \partial }{ \partial \Sigma^{-1} } \left[ - \frac{Nn}{2} \log (2 \pi ) + \frac{N}{2} \log \left[ \mathrm{det} \left( \Sigma^{-1} \right) \right] - \sum_{i=1}^N \frac{1}{2} ( x_i - \mu )^T \Sigma^{-1} ( x_i - \mu ) \right]$

$= \frac{ \partial }{ \partial \Sigma^{-1} } \left[ \frac{N}{2} \log \left[ \mathrm{det} \left( \Sigma^{-1} \right) \right] - \sum_{i=1}^N \frac{1}{2} ( x_i - \mu )^T \Sigma^{-1} ( x_i - \mu ) \right]$

$= \frac{ \partial }{ \partial \Sigma^{-1} } \left[ \frac{N}{2} \log \left[ \mathrm{det} \left( \Sigma^{-1} \right) \right] \right] - \frac{ \partial }{ \partial \Sigma^{-1} } \left[ \sum_{i=1}^N \frac{1}{2} ( x_i - \mu )^T \Sigma^{-1} ( x_i - \mu ) \right]$

$= \frac{N}{2} \left( \left( \Sigma^{-1} \right)^{-1} \right)^T - \frac{ \partial }{ \partial \Sigma^{-1} } \left[ \sum_{i=1}^N \frac{1}{2} ( x_i - \mu )^T \Sigma^{-1} ( x_i - \mu ) \right]$

$\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\; \because$ 冒頭の過去記事(いくつかの公式その3)事実1.

$= \frac{N}{2} \left( \Sigma \right)^T - \frac{ \partial }{ \partial \Sigma^{-1} } \left[ \sum_{i=1}^N \frac{1}{2} ( x_i - \mu )^T \Sigma^{-1} ( x_i - \mu ) \right]$

$= \frac{N}{2} \Sigma - \frac{ \partial }{ \partial \Sigma^{-1} } \left[ \sum_{i=1}^N \frac{1}{2} ( x_i - \mu )^T \Sigma^{-1} ( x_i - \mu ) \right] \;\;\;\;\;\;\;\;\; \because$ $\Sigma$ は正定値(対称行列)

$= \frac{N}{2} \Sigma - \frac{ \partial }{ \partial \Sigma^{-1} } \left[ \sum_{i=1}^N \frac{1}{2} \mathrm{Tr} \left[ ( x_i - \mu ) ( x_i - \mu )^T \Sigma^{-1} \right] \right]$

$\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\; \because$ 冒頭の過去記事(いくつかの公式その2)事実2.(2.2)

$= \frac{N}{2} \Sigma - \sum_{i=1}^N \frac{1}{2} \frac{ \partial }{ \partial \Sigma^{-1} } \mathrm{Tr} \left[ ( x_i - \mu ) ( x_i - \mu )^T \Sigma^{-1} \right]$

$= \frac{N}{2} \Sigma - \sum_{i=1}^N \frac{1}{2} \left[ ( x_i - \mu ) ( x_i - \mu )^T \right]^T$

$\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\; \because$ 冒頭の過去記事(いくつかの公式その2)事実3.(3.1)

$= \frac{N}{2} \Sigma - \sum_{i=1}^N \frac{1}{2} \left( ( x_i - \mu )^T \right)^T ( x_i - \mu )^T$

$= \frac{N}{2} \Sigma - \sum_{i=1}^N \frac{1}{2} ( x_i - \mu ) ( x_i - \mu )^T = 0$

$\;\;\; \Rightarrow \;\; \frac{N}{2} \hat{ \Sigma }_{ML} - \sum_{i=1}^N \frac{1}{2} ( x_i - \mu ) ( x_i - \mu )^T = 0$

$\;\;\; \Leftrightarrow \;\; \hat{ \Sigma }_{ML} = \frac{1}{N} \sum_{i=1}^N ( x_i - \mu ) ( x_i - \mu )^T$

本章ではここまで $\mu$ を固定して議論しています．一方で前章の結果より $l \left( \mu,\Sigma \; | \mathcal{D} \right)$ が最大となるときの $\mu$ は $\Sigma$ にかかわらず $\hat{ \mu }_{ML}$ です．最終的に $\Sigma$ の最尤推定量は標本分散になります．

$\;\;\; \hat{ \Sigma }_{ML} = \frac{1}{N} \sum_{i=1}^N ( x_i - \hat{ \mu }_{ML} ) ( x_i - \hat{ \mu }_{ML} )^T$

$\Sigma$ は正定値なので， $\hat{ \Sigma }_{ML}$ が正定値であることが必要です．したがって冒頭の過去記事(サンプル数が変数の数)事実.より， $N \ge n$ であることが必要です．また $\hat{ \Sigma }_{ML}$ が正則でないとき正定値でなく， $\hat{ \Sigma }_{ML}^{-1}$ は存在しません．