エンジニアを目指す浪人のブログ

情報系に役立ちそうな応用数理をゆるめにメモします

主成分分析の基礎をまとめる

数学 線形代数 統計学

データ解析の手法の一つである主成分分析(principal component analysis ; PCA)について，それなりに利用頻度が高いものの，そのたびに勉強しなおしていて効率が悪かったので，その基礎をまとめておくことにしました．

=================================================================================
[ 1. 準備 ]
データ行列を準備します．{\displaystyle P } 個の変数についてそれぞれ {\displaystyle N } 個のサンプルがある場合を考え，測定値を {\displaystyle \{ x_{np}^* \}_{n=1,\ldots,N ; \ p=1,\ldots,P} } とします．議論を簡単にするために，各変数についてその平均

(1.1){\displaystyle \;\;\;\;\;\; \bar{x}_p = \frac{1}{N} \sum_{n=1}^N x_{np} , \;\;\;\;\;\; p=1,\ldots,P }

からの偏差

(1.2){\displaystyle \;\;\;\;\;\; x_{np} = x_{np}^* - \bar{x}_p, \;\;\;\;\;\; n=1,\ldots,N \ ; \ p=1,\ldots,P }

を導入します．すると測定データ全体は以下の {\displaystyle N \times P } 行列であるデータ行列 {\displaystyle X } で表現できます．各サンプルを意味する {\displaystyle N } 個の測定データベクトル {\displaystyle \{ \boldsymbol{x}_{n} \}_{n=1,\ldots,N} } を定義しておきます．

(1.3){\displaystyle \;\;\;\;\;\; X= \begin{bmatrix} x_{11} & x_{12} & \cdots & x_{1P} \\ x_{21} & x_{22} & \cdots & x_{2P} \\ \vdots & \vdots & \vdots & \vdots \\ \vdots & \vdots & \vdots & \vdots \\ x_{N1} & x_{N2} & \cdots & x_{NP} \end{bmatrix} = \begin{bmatrix} \boldsymbol{x}_{1}^T \\ \boldsymbol{x}_{2}^T \\ \vdots \\ \vdots \\ \boldsymbol{x}_{N}^T \end{bmatrix} , \;\;\;\;\;\; \boldsymbol{x}_{n} = \begin{bmatrix} x_{n1} \\ x_{n2} \\ \vdots \\ x_{nP} \end{bmatrix}, \;\;\; n=1,\ldots,N }


分散共分散行列を準備します．分散共分散行列は以下の {\displaystyle P \times P } 行列 {\displaystyle V } で表現できます，その {\displaystyle (i,j) } 要素 {\displaystyle v_{ij} } も示します．

(1.4){\displaystyle \;\;\;\;\;\; V = \frac{1}{N-1} X^T X }

(1.5){\displaystyle \;\;\;\;\;\; v_{ij} = \frac{1}{N-1} \sum_{n=1}^N x_{ni} x_{nj} = \frac{1}{N-1} \sum_{n=1}^N ( x_{ni}^* - \bar{x}_i) (x_{nj}^* - \bar{x}_j) = v_{ji} }

(1.5)より分散共分散行列 {\displaystyle V= V^T } なので実対称行列です．


分散共分散行列の固有値，固有ベクトルとその性質を準備します．{\displaystyle V } の {\displaystyle P } 個の固有値を {\displaystyle \{ \lambda_p \}_{p=1,\ldots,P} }，長さ1の固有ベクトルを {\displaystyle \{ \boldsymbol{v}_p^* \}_{p=1,2,\ldots,P} } とします．つまり以下が成り立つとします． {\displaystyle \langle \cdot , \cdot \rangle } は通常の内積， {\displaystyle \left\| \cdot \right\|_2 = ( \langle \cdot , \cdot \rangle )^{1/2} } はユークリッドノルムです．

(1.6){\displaystyle \;\;\;\;\;\; V \boldsymbol{v}_p^* = \lambda_p \boldsymbol{v}_p^*, \;\;\; \left\| \boldsymbol{v}_p^* \right\|_2=1, \;\;\;\;\;\; p=1,2,\ldots,P }

測定データから計算されていることから，現実のデータ解析において固有方程式が重解を持つことはあまりないと思われます．よって，以下を仮定します．

仮定.
{\displaystyle V } のすべての固有値は相異なる．すなわち {\displaystyle \lambda_i \neq \lambda_j, \ i \neq j, \;\; i,j =1,2,\ldots,P } である．

定義より {\displaystyle V } は半正定値であり，またエルミート行列でもあるのですべての固有値は実数です．さらにすべての固有値は相異なると仮定したので，{\displaystyle V } の固有ベクトルはそれぞれ互いに直交します．それらの証明は以下の過去記事にあります．

分散共分散行列(と相関行列)は半正定値であることを証明する - エンジニアを目指す浪人のブログ

エルミート行列のすべての固有値は実数であることの証明をメモする - エンジニアを目指す浪人のブログ

エルミート行列の相異なる固有値に対する固有ベクトルは直交することの証明をメモする - エンジニアを目指す浪人のブログ

以下の2つの事実を証明なしで用います．
・半正定値行列のすべての固有値は非負である
・{\displaystyle n \times n } エルミート行列 {\displaystyle A } の {\displaystyle n } 個の固有ベクトルからなるユニタリ空間 {\displaystyle \mathbb{C}^n } の正規直交基底をとることができる．

よって {\displaystyle \{ \boldsymbol{v}_1^*,\boldsymbol{v}_2^*, \ldots ,\boldsymbol{v}_P^* \} } は {\displaystyle \mathbb{R}^P } の正規直交基底です．また固有値は以下のように順序付けできます．

(1.7){\displaystyle \;\;\;\;\;\; 0 \le \lambda_\mathrm{min} = \lambda_1 \lt \lambda_2 \lt \cdots \lt \lambda_{P-1} \lt \lambda_P =\lambda_\mathrm{max} }


結合係数を準備します．ある正の整数 {\displaystyle M \ (\le P) } について結合係数 {\displaystyle \{ w_{pm} \}_{ p=1,\ldots,P \ ; \ m=1,\ldots,M} } を導入します．これを表現する {\displaystyle M } 個の結合係数ベクトルを定義しておきます．

(1.8){\displaystyle \;\;\;\;\;\; \boldsymbol{w}_m = \begin{bmatrix} w_{1m} \\ w_{2m} \\ \vdots \\ w_{Pm} \end{bmatrix}, \;\;\; m=1,\ldots,M }



[ 2. 主成分分析の概要 ]
主成分分析とは，{\displaystyle X } の持つ情報を，情報の損失を最小限に抑えながら，{\displaystyle \{ x_{\cdot p} \}_{p=1,\ldots,P} } の一次結合として与えられる互いに独立な {\displaystyle M \ (\le P) } 個の主成分 {\displaystyle \{ z_m \}_{m=1,\ldots,M} },

(2.1){\displaystyle \;\;\;\;\;\; z_m = \sum_{p=1}^P w_{pm} x_{\cdot p}, \;\;\;\;\;\; m=1,\ldots,M }

を用いて表現する手法です．行列で表現すると以下となります．

(2.2){\displaystyle \begin{bmatrix} z_1 \\ z_2 \\ \vdots \\ z_M \end{bmatrix} = \begin{bmatrix} w_{11} & w_{21} & \cdots & \cdots & w_{P1} \\ w_{12} & w_{22} & \cdots & \cdots & w_{P2} \\ \cdots & \cdots & \cdots & \cdots & \cdots \\ w_{1M} & w_{2M} & \cdots & \cdots & w_{PM} \end{bmatrix} \begin{bmatrix} x_{\cdot 1} \\ x_{\cdot 2} \\ \vdots \\ \vdots \\ x_{\cdot P} \end{bmatrix} = \begin{bmatrix} \boldsymbol{w}_{1}^T \\ \boldsymbol{w}_{2}^T \\ \vdots \\ \boldsymbol{w}_{M}^T \end{bmatrix} \boldsymbol{x}_{\cdot} = \begin{bmatrix} \langle \boldsymbol{w}_{1} , \boldsymbol{x}_{\cdot} \rangle \\ \langle \boldsymbol{w}_{2} , \boldsymbol{x}_{\cdot} \rangle \\ \vdots \\ \langle \boldsymbol{w}_{M} , \boldsymbol{x}_{\cdot} \rangle \end{bmatrix} = \begin{bmatrix} \langle \boldsymbol{x}_{\cdot},\boldsymbol{w}_{1} \rangle \\ \langle \boldsymbol{x}_{\cdot},\boldsymbol{w}_{2} \rangle \\ \vdots \\ \langle \boldsymbol{x}_{\cdot},\boldsymbol{w}_{M} \rangle \end{bmatrix} }

{\displaystyle \{ z_m \} } は第 {\displaystyle m } 主成分と呼ばれ，結合係数 {\displaystyle \{ w_{pm} \}_{ p=1,\ldots, \ p ; \ m=1,\ldots,M} } は以下の条件を満たすように決定します．

条件.
第1主成分 {\displaystyle z_1 } は {\displaystyle \{ x_{\cdot p} \}_{p=1,\ldots,P} } のあらゆる1次式のなかで分散が最大となるものであり，第 {\displaystyle m } 主成分 {\displaystyle \{ z_m \}_{m=2,\ldots,M} } の分散は {\displaystyle \{ z_l \}_{l=1,\ldots,m-1} } のすべてと無相関な {\displaystyle \{ x_{\cdot p} \}_{p=1,\ldots,P} } の1次式のなかで分散が最大となるものである．ただし({\displaystyle \boldsymbol{w}_m } を大きくすると {\displaystyle z_m } の分散はいくらでも大きくなってしまうので)，

(2.3) {\displaystyle \;\;\;\;\;\; \sum_{p=1}^P (w_{pm})^2 = \left\| \boldsymbol{w}_m \right\|_2^2 =1, \;\;\;\;\;\; m=1,\ldots,M }

とする．

条件.について補足します．分散を最大にすることは以下の意味があります(文献[3]にわかりやすい図があります)．
・射影したデータのバラツキが大きいほど，もとのデータの情報を多く含んでいると考えられる．
・もとのデータの情報の損失ができるだけ小さくなるような軸を探したい．



[ 3. 第 {\displaystyle m } 主成分得点の分散の導出 ]
(1.8)(2.1)(2.2)より，{\displaystyle n } 番目のサンプルに対応する第 {\displaystyle m } 主成分の値，いいかえると第 {\displaystyle m } 主成分得点 {\displaystyle t_{nm} } を

(3.1){\displaystyle \;\;\;\;\;\; t_{nm} = \sum_{p=1}^P w_{pm} x_{np} = \begin{bmatrix} w_{1m} & w_{2m} & \cdots & w_{Pm} \end{bmatrix} \begin{bmatrix} x_{n1} \\ x_{n2} \\ \vdots \\ x_{nP} \end{bmatrix} = \boldsymbol{w}_m^T \boldsymbol{x}_n = \langle \boldsymbol{w}_m , \boldsymbol{x}_n \rangle }

とし，それらを {\displaystyle N } 個のサンプルについてまとめた第 {\displaystyle m } 主成分得点ベクトルを(1.3)も用いて

(3.2){\displaystyle \;\;\;\;\;\; \boldsymbol{t}_m = \begin{bmatrix} t_{1m} \\ t_{2m} \\ \vdots \\ \vdots \\ t_{Nm} \end{bmatrix} = \begin{bmatrix} \boldsymbol{w}_m^T \boldsymbol{x}_1 \\ \boldsymbol{w}_m^T \boldsymbol{x}_2 \\ \vdots \\ \vdots \\ \boldsymbol{w}_m^T \boldsymbol{x}_N \end{bmatrix} = \begin{bmatrix} \boldsymbol{x}_1^T \boldsymbol{w}_m \\ \boldsymbol{x}_2^T \boldsymbol{w}_m \\ \vdots \\ \vdots \\ \boldsymbol{x}_N^T \boldsymbol{w}_m \end{bmatrix} = \begin{bmatrix} \boldsymbol{x}_1^T \\ \boldsymbol{x}_2^T \\ \vdots \\ \vdots \\ \boldsymbol{x}_N^T \end{bmatrix} \boldsymbol{w}_m = X \boldsymbol{w}_{m} }

とします．第 {\displaystyle m } 主成分得点 {\displaystyle t_{nm} } の平均 {\displaystyle \bar{t}_m } は(1.1)(1.2)(3.1)を用いて

(3.3){\displaystyle \;\;\;\;\;\; \bar{t}_m = \frac{1}{N} \sum_{n=1}^N t_{nm} = \frac{1}{N} \sum_{n=1}^N \left( \sum_{p=1}^P w_{pm} x_{np} \right) = \sum_{p=1}^P w_{pm} \left( \frac{1}{N} \sum_{n=1}^N x_{np} \right) = 0 }

であるので，第 {\displaystyle m } 主成分得点 {\displaystyle t_{nm} } の分散 {\displaystyle \sigma_{z_m}^2 } は(1.4)(3.2)も用いて以下となります．

(3.4){\displaystyle \;\;\;\;\;\; \sigma_{z_m}^2 = \frac{1}{N-1}\sum_{n=1}^N (t_{nm})^2 = \frac{1}{N-1} \boldsymbol{t}_m^T \boldsymbol{t}_m }
{\displaystyle = \frac{1}{N-1} (X \boldsymbol{w}_m)^T X \boldsymbol{w}_m = \boldsymbol{w}_m^T \left( \frac{1}{N-1} X^T X \right) \boldsymbol{w}_m = \boldsymbol{w}_m^T V \boldsymbol{w}_m (\ge 0), \;\;\;\;\;\; m=1,2,\ldots,M }

最後の {\displaystyle \ge } は分散共分散行列 {\displaystyle V } が半正定値であることによります．



[ 4. 第1主成分得点の分散を最大化する結合係数の導出 ]
いよいよ結合係数 {\displaystyle \boldsymbol{w}_1 } を決めていきます．条件.より，制約(2.3)を満たし，(3.4)で {\displaystyle m = 1 } とした {\displaystyle \sigma_{z_1}^2 = \boldsymbol{w}_1^T V \boldsymbol{w}_1 } が最大となるような {\displaystyle \boldsymbol{w}_1^* } を決めればよいことになります．そのためにレイリー商の性質を用います．以下の過去記事の定理4.2.2.(c)をそのまま用いることができます．(1.6)(1.7)も用います．

レイリー商についての定理を証明する - エンジニアを目指す浪人のブログ

具体的に式で書くと以下となります．

(4.1){\displaystyle \;\;\;\;\;\; S = S_{P} = \mathrm{span} \{ \boldsymbol{v}_1^*,\boldsymbol{v}_2^*, \ldots ,\boldsymbol{v}_{P}^* \} = \mathbb{R}^P }

(4.2){\displaystyle \;\;\;\;\;\; \max_{ \{ \boldsymbol{w}_1 \ ; \ \boldsymbol{w}_1 \in S_{P}, \ \left\| \boldsymbol{w}_1 \right\|_2 = 1 \} } \sigma_{z_1}^2 = \max_{ \{ \boldsymbol{w}_1 \ ; \ \boldsymbol{w}_1 \in S_{P}, \ \left\| \boldsymbol{w}_1 \right\|_2 = 1 \} } \boldsymbol{w}_1^T V \boldsymbol{w}_1 = \lambda_P = \lambda_\mathrm{max} }

(4.3){\displaystyle \;\;\;\;\;\; \boldsymbol{w}_1^* = \{ \boldsymbol{w}_1 \in \mathbb{R}^P \ ; \ V \boldsymbol{w}_1 = \lambda_\mathrm{max} \boldsymbol{w}_1 \} = \boldsymbol{v}_P^* }

{\displaystyle \boldsymbol{w}_1^* } は {\displaystyle \lambda_\mathrm{max} = \lambda_P } に対する長さ1の固有ベクトルであることがわかります．(3.2)で {\displaystyle \boldsymbol{w}_m = \boldsymbol{w}_1^* } としたとき {\displaystyle \boldsymbol{t}_1^* } と書くことにします．



[ 5. 第 {\displaystyle m } 主成分得点の分散を最大化する結合係数の導出 ]
次に，第2主成分の結合係数 {\displaystyle \boldsymbol{w}_2 } を決めます．条件.を満たすように {\displaystyle z_2 } が {\displaystyle z_1 } と無相関となるためには，(3.3)(4.3)を用いて

(5.1){\displaystyle \;\;\;\;\;\; 0 = \frac{1}{N-1} \boldsymbol{t}_2^T \boldsymbol{t}_1^* = \frac{1}{N-1} (X \boldsymbol{w}_2)^T X \boldsymbol{w}_1^* = \boldsymbol{w}_2^T \left( \frac{1}{N-1} X^T X \right) \boldsymbol{w}_1^* = \boldsymbol{w}_2^T V \boldsymbol{w}_1^* }
{\displaystyle \;\;\;\;\;\;\;\;\;\;\;\;\;\; = \boldsymbol{w}_2^T \lambda_\mathrm{max} \boldsymbol{w}_1^* = \lambda_\mathrm{max} \boldsymbol{w}_2^T \boldsymbol{w}_1^* = \lambda_\mathrm{max} \langle \boldsymbol{w}_2 , \boldsymbol{w}_1^* \rangle }

でなければなりません．(1.7)より {\displaystyle \lambda_\mathrm{max} \neq 0 } であるので

(5.2){\displaystyle \;\;\;\;\;\; \langle \boldsymbol{w}_2 , \boldsymbol{w}_1^* \rangle = 0 }

を得ます．したがって制約(2.3)(5.2)を満たし，(3.4)で {\displaystyle m = 2 } とした {\displaystyle \sigma_{z_2}^2 = \boldsymbol{w}_2^T V \boldsymbol{w}_2 } が最大となるような {\displaystyle \boldsymbol{w}_2^* } を決めればよいことになります．そのために第1主成分のときと同様にレイリー商の性質を用います．先ほどの過去記事の定理4.2.2.(a)(b)を用いることができます．具体的に式で書くと以下となります．

(5.3){\displaystyle \;\;\;\;\;\; S = S_{P-1} = \mathrm{span} \{ \boldsymbol{v}_1^*,\boldsymbol{v}_2^*, \ldots ,\boldsymbol{v}_{P-1}^*,\boldsymbol{0} \} }

(5.4){\displaystyle \;\;\;\;\;\; \max_{ \{ \boldsymbol{w}_2 \ ; \ \boldsymbol{w}_2 \in S_{P-1}, \ \left\| \boldsymbol{w}_2 \right\|_2 = 1 \} } \sigma_{z_2}^2 = \max_{ \{ \boldsymbol{w}_2 \ ; \ \boldsymbol{w}_2 \in S_{P-1}, \ \left\| \boldsymbol{w}_2 \right\|_2 = 1 \} } \boldsymbol{w}_2^T V \boldsymbol{w}_2 = \lambda_{P-1} }

(5.5){\displaystyle \;\;\;\;\;\; \boldsymbol{w}_2^* = \{ \boldsymbol{w}_2 \in \mathbb{R}^P \ ; \ V \boldsymbol{w}_2 = \lambda_{P-1} \boldsymbol{w}_2 \} = \boldsymbol{v}_{P-1}^* }

{\displaystyle \boldsymbol{w}_2^* } は {\displaystyle \lambda_{P-1} } に対する長さ1の固有ベクトルであることがわかります．


以下同様に，第 {\displaystyle m } 主成分の結合係数 {\displaystyle \boldsymbol{w}_{m=3,\cdots,M} } を決めることができます．条件.を満たすように {\displaystyle z_m } が {\displaystyle \{ z_l \}_{l=1,2,\cdots,m-1} } と無相関となるためには(5.1)と同様の計算により

(5.6) {\displaystyle \;\;\;\;\;\; \boldsymbol{w}_i^T \boldsymbol{w}_j =0, \;\;\; i \neq j, \;\;\;\;\;\; i,j=1,\ldots,M }

を得ます．したがって制約(2.3)(5.6)を満たし，(3.4)の {\displaystyle \sigma_{z_m}^2 = \boldsymbol{w}_m^T V \boldsymbol{w}_m } が最大となるような {\displaystyle \boldsymbol{w}_m^* } を決めればよいことになります．そのために第2主成分のときと同様に先ほどの過去記事の定理4.2.2.(a)(b)を用いることができます．

(5.7){\displaystyle \;\;\;\;\;\; S = S_{P-m+1} = \mathrm{span} \{ \boldsymbol{v}_1^*,\boldsymbol{v}_2^*, \ldots ,\boldsymbol{v}_{P-m+1}^*,\boldsymbol{0},\ldots,\boldsymbol{0} \} }

(5.8){\displaystyle \;\;\;\;\;\; \max_{ \{ \boldsymbol{w}_m \ ; \ \boldsymbol{w}_m \in S_{P-m+1}, \ \left\| \boldsymbol{w}_m \right\|_2 = 1 \} } \sigma_{z_m}^2 = \max_{ \{ \boldsymbol{w}_m \ ; \ \boldsymbol{w}_m \in S_{P-m+1}, \ \left\| \boldsymbol{w}_m \right\|_2 = 1 \} } \boldsymbol{w}_m^T V \boldsymbol{w}_m = \lambda_{P-m+1} }

(5.9){\displaystyle \;\;\;\;\;\; \boldsymbol{w}_m^* = \{ \boldsymbol{w}_m \in \mathbb{R}^P \ ; \ V \boldsymbol{w}_m = \lambda_{P-m+1} \boldsymbol{w}_m \} = \boldsymbol{v}_{P-m+1}^* }

{\displaystyle \boldsymbol{w}_m^* } は {\displaystyle \lambda_{P-m+1} } に対する長さ1の固有ベクトルであることがわかります．


まとめると，条件.をみたす結合係数 {\displaystyle \{ w_{pm} \}_{ p=1,\ldots, \ p ; \ m=1,\ldots,M} } は以下となります．

(5.10){\displaystyle \;\;\;\;\;\; \boldsymbol{w}_m = \boldsymbol{w}_m^* = \boldsymbol{v}_{P-m+1}^*, \;\;\; m=1,2,\ldots,M }



[ 6.考察 ]
(2.2)において {\displaystyle M=P } とすることを用いて，( {\displaystyle \{ \boldsymbol{w}_1^* , \boldsymbol{w}_2^*, \cdots ,\boldsymbol{w}_P^* \} } は正規直交基底なので)

(6.1){\displaystyle \;\;\;\;\;\; \boldsymbol{x}_{\cdot} = z_1 \boldsymbol{w}_{1} + z_2 \boldsymbol{w}_{2} + \cdots + z_P \boldsymbol{w}_{P} }
{\displaystyle \;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\; = \langle \boldsymbol{x}_{\cdot},\boldsymbol{w}_{1} \rangle \boldsymbol{w}_{1} + \langle \boldsymbol{x}_{\cdot},\boldsymbol{w}_{2} \rangle \boldsymbol{w}_{2} + \cdots + \langle \boldsymbol{x}_{\cdot},\boldsymbol{w}_{P} \rangle \boldsymbol{w}_{P} }

と表現できます．これは主成分 {\displaystyle z_1,z_2,\cdots,z_P } は各サンプル {\displaystyle \{ \boldsymbol{x}_{n} \}_{n=1,\cdots,N} } を {\displaystyle \boldsymbol{w}_{1},\boldsymbol{w}_{2},\cdots,\boldsymbol{w}_{P} } に射影したベクトルの長さであることを意味しています．{\displaystyle M \lt P } であれば，(6.1)で {\displaystyle M+1 } 以降の項を打ち切り {\displaystyle \boldsymbol{x}_{\cdot} } を以下のように近似することになります．

(6.2){\displaystyle \;\;\;\;\;\; \boldsymbol{x}_{\cdot} \approx z_1 \boldsymbol{w}_{1} + z_2 \boldsymbol{w}_{2} + \cdots + z_M \boldsymbol{w}_{M} }
{\displaystyle \;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\; = \langle \boldsymbol{x}_{\cdot},\boldsymbol{w}_{1} \rangle \boldsymbol{w}_{1} + \langle \boldsymbol{x}_{\cdot},\boldsymbol{w}_{2} \rangle \boldsymbol{w}_{2} + \cdots + \langle \boldsymbol{x}_{\cdot},\boldsymbol{w}_{M} \rangle \boldsymbol{w}_{M} }

主成分分析とは，「{\displaystyle \mathbb{R}^P } において測定データから計算される分散共分散行列 {\displaystyle V } の固有ベクトル {\displaystyle \{ \boldsymbol{w}_1^* , \boldsymbol{w}_2^*, \cdots ,\boldsymbol{w}_P^* \} } (固有値の大きい順)による直交座標系に線形変換し，そのうちの {\displaystyle M (\le P)} 次元のみを用いて(すなわち次元削減をおこない)測定データを近似すること」であることがわかります．

=================================================================================

以上，主成分分析の基礎をまとめました．



参考文献
[1] 京都大学 加納 学 先生のノート http://manabukano.brilliant-future.net/document/text-PCA.pdf
[2] 東京工業大学 渡辺澄夫先生のノート 第4回 主成分分析 http://www.ocw.titech.ac.jp/index.php?module=General&action=T0300&GakubuCD=4&GakkaCD=342200&KeiCD=&KougiCD=201602395&Nendo=2016&lang=JA&vid=05
[3] 統計科学研究所のページ http://www.statistics.co.jp/reference/software_R/statR_9_principal.pdf
[4] Cross Validated Stack Exchange http://stats.stackexchange.com/questions/153928/why-are-principal-component-scores-uncorrelated