サンプル数が変数の数よりも少ないとき分散共分散行列と相関行列は正定値でないことを証明する

測定データから計算される分散共分散行列と相関行列は，サンプル数が変数の数よりも少ないとき正定値でない行列になります．このことについての数学的な記述を見たことがなかったので，調べて証明することにしました．

正定値でないならばコレスキー分解できません(正定値であることとコレスキー分解可能であることは同値です)．このことは，例えば金融工学において，相関行列のコレスキー分解を利用して相関のある正規乱数を生成するときに問題となる場合があります(ソフトウェアによる数値計算では計算が止まる場合が多いと思われます)．

問題を設定するため，いくつか準備をします．

分散共分散行列と相関行列の定義は過去記事の $P \times P$ 行列 $V = (X^T X)/(N-1)$ と $R = (\tilde{X}^T \tilde{X})/(N-1)$ を用います． $P$ は変数の数， $N$ はサンプル数です．文献[2]から本記事で用いるものを引用します． $A$ は $m \times n$ 行列， $B$ は $n \times k$ 行列とします．

$\mathrm{rank}(A) \le \mathrm{min}(m,n)$
$\mathrm{rank}(AB) \le \mathrm{min}(\mathrm{rank}(A),\mathrm{rank}(B))$
$\mathrm{rank}(A) = \mathrm{rank}(A^T)$

上記以外に，以下2つの基本的な性質を用います．
・正方行列について，正則とフルランクは同値である
・正定値ならば正則である

以上の設定のもとで，本記事の目的に進みます．文献[1]を参考にしています．

事実.
$N \lt P$ のとき，分散共分散行列 $V$ と相関行列 $R$ は正定値ではない．

証明.
$V$ について以下がいえる．
$\mathrm{rank}(V)$
$= \mathrm{rank}(X^T X)$
$\le \mathrm{min}(\mathrm{rank}(X^T),\mathrm{rank}(X))$
$= \mathrm{min}(\mathrm{rank}(X),\mathrm{rank}(X))$
$= \mathrm{rank}(X)$
$\le \mathrm{min}(N,P)$

ここで仮定より $N \lt P$ なので

$\mathrm{rank}(V) \le N \lt P$

を得る．よって $V$ はフルランクではないので正則ではない．一方，正定値ならば正則である，が成り立つので，正則でないならば正定値でない，が成り立つ． $R$ については上記の $X$ を $\tilde{X}$ に置き換えればよい．よって事実は示せた．(証明終わり)