多変量正規分布の最尤推定量を導出する
本記事は以下の過去記事の結果を用います.
いくつかの行列の公式を証明するその1 - エンジニアを目指す浪人のブログ
いくつかの行列の公式を証明するその2 - エンジニアを目指す浪人のブログ
いくつかの行列の公式を証明するその3 - エンジニアを目指す浪人のブログ
ラグランジュ関数,ラグランジュ双対問題,最適性条件(KKT条件)のあらすじをまとめる - エンジニアを目指す浪人のブログ
正定値行列の逆行列は正定値であることの証明をメモする - エンジニアを目指す浪人のブログ
係数行列が対称行列の二次関数が凸関数(あるいは狭義凸関数)であるための必要十分条件はその係数行列が半正定値(あるいは正定値)であることを証明する - エンジニアを目指す浪人のブログ
係数行列が半正定値の二次関数が最小値をもつための必要十分条件は勾配が零ベクトルであることを証明する - エンジニアを目指す浪人のブログ
行列式の対数はその行列の凹関数であることを証明する - エンジニアを目指す浪人のブログ
サンプル数が変数の数よりも少ないとき分散共分散行列と相関行列は正定値でないことを証明する - エンジニアを目指す浪人のブログ
与えられた観測データがある確率分布にしたがっていると仮定しそのパラメータを推定する手法に最尤推定(maximum likelihood estimation ; MLE)があります.実際のデータ解析でよく使われると思われる,確率モデルを多変量正規分布(multivariate normal distribution)とするときの最尤推定量(maximum likelihood estimator)の導出を取り上げます.導出の過程で微分して0をとることの背景,理由についてモヤモヤしてしまったので,その部分に注意しつつ内容をまとめておくことにしました.主に文献[1][2][3]を参考にしています.
=================================================================================
[ 0. 準備 ]
記号を準備します.
確率変数
の実現値
平均ベクトル
分散共分散行列
の最尤推定量
の最尤推定量
試行回数(サンプル数)
観測データ集合
線形関数(linear function)の定義は文献[5]にあります.
凸(convex),狭義凸(strictly convex),凹(concave)の定義と性質は文献[6]にあります.
正定値(positive definite)の定義は文献[7]にあります.
転置行列(transpose)についての以下の性質は文献[8]にあります.
(0.1)
逆行列の行列式(determinant)についての以下の性質は文献[9]にあります.
(0.2)
[ 1. 対数尤度関数 ]
平均ベクトル ,分散共分散行列 の多変量正規分布の確率密度関数(probability density function ; PDF)は以下です(文献[10]にあります).この定義の は正定値なので,冒頭の過去記事(正定値行列の逆行列)事実.より も正定値です.
(1.1)
観測データ集合 のときの尤度関数(likelihood function)は以下です.
(1.2)
対数尤度関数(log-likelihood function)は以下です.最尤推定の目的はこれを最大にする を求めることです.
(1.3)
(1.2)
(0.2)
[ 2. の最尤推定量の導出 ]
対数尤度関数(1.3)を再掲します. を を固定して の関数と考えます.第1項と第2項は定数です. は正定値なので,冒頭の過去記事(係数行列が対称行列)系2.より第3項は狭義凹です.
(2.1)
の関数と考えるとき は狭義凹(したがって凹でもある)です.冒頭の過去記事(ラグランジュ関数)0章(0.9)付近の記述より,微分可能な凸(凹)関数は勾配が0となる点で最小(最大)値をとります.したがって を で微分して0としたときの を求めればよいことになります.冒頭の過去記事(係数行列が半正定値)定理3.も参考になります.
(2.2)
(0.1)
は正定値(対称行列)
冒頭の過去記事(いくつかの公式その1)事実2.(2.1)
冒頭の過去記事(いくつかの公式その1)事実3.
は正定値(対称行列)
これは標本平均です. に依存していないので, が最大となるときの は にかかわらずこの であることがわかります.
[ 3. の最尤推定量の導出 ]
対数尤度関数(1.3)を再掲します. を を固定して の関数と考えます.第1項は定数です.冒頭の過去記事(行列式の対数)事実1.より第2項は の凹関数です.第3項は の線形関数です.
(3.1)
線形関数は凸かつ凹であり,凸(凹)関数の非負加重和は凸(凹)関数である(文献[6]にあります)ので, の関数と考えるとき は凹です.冒頭の過去記事(ラグランジュ関数)0章(0.9)付近の記述より,微分可能な凸(凹)関数は勾配が0となる点で最小(最大)値をとります.したがって を で微分して0としたときの を求めればよいことになります.
(3.2)
冒頭の過去記事(いくつかの公式その3)事実1.
は正定値(対称行列)
冒頭の過去記事(いくつかの公式その2)事実2.(2.2)
冒頭の過去記事(いくつかの公式その2)事実3.(3.1)
本章ではここまで を固定して議論しています.一方で前章の結果より が最大となるときの は にかかわらず です.最終的に の最尤推定量は標本分散になります.
は正定値なので, が正定値であることが必要です.したがって冒頭の過去記事(サンプル数が変数の数)事実.より, であることが必要です.また が正則でないとき正定値でなく, は存在しません.
================================================================================
以上,多変量正規分布の最尤推定量を導出しました.全体として線形代数や数理最適化などの様々な概念に基づいており,学びの多い題材であると感じます.
参考文献
[1] University of California, Berkeley Michael I. Jordan先生のノート https://people.eecs.berkeley.edu/~jordan/courses/260-spring10/other-readings/chapter13.pdf
[2] Cross Validated https://stats.stackexchange.com/questions/351549/maximum-likelihood-estimators-multivariate-gaussian
[3] University of British Columbia Mark Schmidt先生のノート https://www.cs.ubc.ca/~schmidtm/Courses/540-W17/L9.pdf
[4] Boyd, S., and Vandenberghe, L. (2004), Convex Optimization, Cambridge University Press.
[5] Wikipedia Linear function のページ https://en.wikipedia.org/wiki/Linear_function
[6] Wikipedia Convex function のページ https://en.wikipedia.org/wiki/Convex_function
[7] Wikipedia Definiteness of a matrix のページ https://en.wikipedia.org/wiki/Definiteness_of_a_matrix
[8] Wikipedia Transpose のページ https://en.wikipedia.org/wiki/Transpose
[9] Wikipedia Determinant のページ https://en.wikipedia.org/wiki/Determinant
[10] Wikipedia Multivariate normal distribution のページ https://en.wikipedia.org/wiki/Multivariate_normal_distribution
[11] Wikipedia Probability density function のページ https://en.wikipedia.org/wiki/Probability_density_function
[12] Wikipedia Maximum likelihood estimation のページ https://en.wikipedia.org/wiki/Maximum_likelihood_estimation
[13] Mathematics Stack Exchange https://math.stackexchange.com/questions/2853070/prove-neg-log-likelihood-for-gaussian-distribution-is-convex-in-mean-and-varian
[14] University of Washington James V. Burke 先生のノート https://sites.math.washington.edu/~burke/crs/516/notes/ch1.pdf
[15] 理数アラカルト様のページ https://risalc.info/src/st-maximum-likelihood-normal.html