エンジニアを目指す浪人のブログ

情報系に役立ちそうな応用数理をゆるめにメモします

ムーア・ペンローズ逆行列と元の行列の4つの基本部分空間との関係について考える

数学 線形代数

勉強を進めていて，ムーア・ペンローズ逆行列(Moore-Penrose inverse)(擬似逆行列(pseudoinverse))を線形写像と解釈する場合において，元の行列の4つの基本部分空間とどのような関係にあるか，幾何的にどのような意味をもつか，に興味をもちました．これらのことが面白く感じ，また応用上も重要であると思ったので，文献[1][2][3]を参考にしてまとめておくことにしました．

=================================================================================

本記事で扱う行列，ベクトルの要素はすべて実数であるとします．


目次

{\displaystyle \; } 0. 準備
{\displaystyle \;\;\; } 0.1. 4つの基本部分空間
{\displaystyle \;\;\; } 0.2. ムーア・ペンローズ逆行列
{\displaystyle \;\;\; } 0.3. 線形写像としての行列
{\displaystyle \;\;\; } 0.4. 直交射影と直交射影行列
{\displaystyle \; } 1. ムーア・ペンローズ逆行列の列空間と零空間
{\displaystyle \; } 2. 元の行列の4つの基本部分空間それぞれへの直交射影


[ 0. 準備 ]

{\displaystyle m \times n } 行列 {\displaystyle A } とします．記号を準備します．

{\displaystyle \;\;\; \mathbf{R}^{n} \;\;\;\;\;\;\;\; } {\displaystyle \mathbf{R} } の要素を要素にもつ {\displaystyle n } 次元ベクトルの集合
{\displaystyle \;\;\; \mathbf{R}^{m \times n} \;\;\;\; } {\displaystyle \mathbf{R} } の要素を要素にもつ {\displaystyle m \times n } 行列の集合
{\displaystyle \;\;\; I_n \;\;\;\;\;\;\;\;\;\; } {\displaystyle n \times n } 単位行列
{\displaystyle \;\;\; C(A^T) \;\;\; } {\displaystyle A } の行空間
{\displaystyle \;\;\; C(A) \;\;\;\;\; } {\displaystyle A } の列空間
{\displaystyle \;\;\; N(A) \;\;\;\;\; } {\displaystyle A } の零空間
{\displaystyle \;\;\; N(A^T) \;\;\; } {\displaystyle A } の左零空間


[ 0.1. 4つの基本部分空間 ]

4つの基本部分空間について考える - エンジニアを目指す浪人のブログ


上の過去記事の結果を再掲します．

事実0.

(0.1.1){\displaystyle \;\;\; \mathbf{R}^n = C(A^T) \oplus C(A^T)^{\perp} }
{\displaystyle \;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\; = C(A^T) \oplus N(A) }

(0.1.2){\displaystyle \;\;\; \mathbf{R}^m = C(A) \oplus C(A) ^{\perp} }
{\displaystyle \;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\; = C(A) \oplus N(A^T) }


[ 0.2. ムーア・ペンローズ逆行列 ]

ムーア・ペンローズ逆行列の定義，構成，一意性についてまとめる - エンジニアを目指す浪人のブログ


上の過去記事の内容を再掲します．

以下の4つの方程式をみたす(ただ一つの) {\displaystyle B = A^+ } をムーア・ペンローズ逆行列といいます

(0.2.d.1){\displaystyle \;\;\; ABA = A }
(0.2.d.2){\displaystyle \;\;\; BAB = B }
(0.2.d.3){\displaystyle \;\;\; (AB)^T = AB }
(0.2.d.4){\displaystyle \;\;\; (BA)^T = BA }


[ 0.3. 線形写像としての行列 ]

以下に注意します．

注意.
行列 {\displaystyle A \;\; : \mathbf{R}^n \to \mathbf{R}^m, \; A \;\; : x \mapsto Ax } は線形写像である．
行列 {\displaystyle A^T: \mathbf{R}^m \to \mathbf{R}^n, \; A^T : z \mapsto A^T z } は線形写像である．
行列 {\displaystyle A^+: \mathbf{R}^m \to \mathbf{R}^n, \; A^+ : z \mapsto A^+ z } は線形写像である．


[ 0.4. 直交射影と直交射影行列 ]

本節は文献[5]を参考にして定義をまとめます．

{\displaystyle \mathbf{R}^n} が部分空間 {\displaystyle U,V} によって {\displaystyle \mathbf{R}^n = U \oplus V } と直和分解されているとします．{\displaystyle \mathbf{R}^n} の各元 {\displaystyle x } は {\displaystyle x = u + v \ (u \in U,v \in V) } と一意に分解されますが，{\displaystyle Px=u } で定まる線形写像 {\displaystyle P:\mathbf{R}^n \to \mathbf{R}^n } を {\displaystyle V } に沿った {\displaystyle U } への射影(projection)といいます．このとき {\displaystyle P^2 = P } です．

射影である正方行列 {\displaystyle P \in \mathbf{R}^{n \times n} } が {\displaystyle P^T = P } をみたすとき，{\displaystyle P } は直交射影(行列)(orthogonal projection (matrix))といいます．このとき {\displaystyle V = U^{\perp}, \ \mathbf{R}^n = U \oplus U^{\perp} } です．


[ 1. ムーア・ペンローズ逆行列の列空間と零空間 ]

ムーア・ペンローズ逆行列の列空間と零空間はそれぞれ転置行列の列空間と零空間に等しい，という以下の事実が成り立ちます．

事実1.
(1.1){\displaystyle \;\;\; C(A^+)=C(A^T) }
(1.2){\displaystyle \;\;\; N(A^+)=N(A^T) }


事実0と事実1の系.
{\displaystyle \;\;\; \mathbf{R}^n = C(A^T) \oplus C(A^T)^{\perp} }
{\displaystyle \;\;\;\;\;\;\;\;\; = C(A^T) \oplus N(A) }
{\displaystyle \;\;\;\;\;\;\;\;\; = C(A^+) \oplus N(A) }

{\displaystyle \;\;\; \mathbf{R}^m = C(A) \oplus C(A) ^{\perp} }
{\displaystyle \;\;\;\;\;\;\;\;\; = C(A) \oplus N(A^T) }
{\displaystyle \;\;\;\;\;\;\;\;\; = C(A) \oplus N(A^+) }


事実1の証明.
(0.1.1)より(1.1)は {\displaystyle C(A^+) \perp N(A) } と同値であるのでこれを示す．{\displaystyle \forall x \in N(A), \ \forall y \in C(A^+) } について以下が成り立つ．

{\displaystyle \;\;\; Ax = 0 }
{\displaystyle \;\;\;\;\;\; y = A^+ z, \;\;\; \forall z \in \mathbf{R}^{m} }


このとき以下を得る．

{\displaystyle \;\;\; y^T x = (A^+ z)^T x }
{\displaystyle \;\;\;\;\;\;\;\;\;\; = z^T (A^+)^T x }
{\displaystyle \;\;\;\;\;\;\;\;\;\; = z^T (A^+ A A^+)^T x \;\;\; \because } (0.2.d.2)
{\displaystyle \;\;\;\;\;\;\;\;\;\; = z^T ( (A^+ A) A^+ )^T x }
{\displaystyle \;\;\;\;\;\;\;\;\;\; = z^T (A^+)^T (A^+ A)^T x }
{\displaystyle \;\;\;\;\;\;\;\;\;\; = z^T (A^+)^T A^+ A x \;\;\; \because } (0.2.d.4)
{\displaystyle \;\;\;\;\;\;\;\;\;\; = 0 \;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\; \because \forall x \in N(A) }
{\displaystyle \;\;\;\;\;\;\;\;\;\;\;\;\; \Rightarrow \; C(A^+) \perp N(A) }


(0.1.2)より(1.2)は {\displaystyle N(A^+) \perp C(A) } と同値であるのでこれを示す．{\displaystyle \forall z \in N(A^+), \ \forall y \in C(A) } について以下が成り立つ．

{\displaystyle \;\;\; A^+ z = 0 }
{\displaystyle \;\;\;\;\;\;\;\; y = A x, \;\;\; \forall x \in \mathbf{R}^{n} }


このとき以下を得る．

{\displaystyle \;\;\; y^T z = (A x)^T z }
{\displaystyle \;\;\;\;\;\;\;\;\;\; = x^T A^T z }
{\displaystyle \;\;\;\;\;\;\;\;\;\; = x^T ( A A^+ A)^T z \;\;\; \because } (0.2.d.1)
{\displaystyle \;\;\;\;\;\;\;\;\;\; = x^T ( ( A A^+ ) A )^T z }
{\displaystyle \;\;\;\;\;\;\;\;\;\; = x^T A^T (A A^+)^T z }
{\displaystyle \;\;\;\;\;\;\;\;\;\; = x^T A^T A A^+ z \;\;\; \because } (0.2.d.3)
{\displaystyle \;\;\;\;\;\;\;\;\;\; = 0 \;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\; \because \forall z \in N(A^+) }
{\displaystyle \;\;\;\;\;\;\;\;\;\;\;\;\; \Rightarrow \; N(A^+) \perp C(A) }
(証明終わり)


[ 2. 元の行列の4つの基本部分空間それぞれへの直交射影 ]

ムーア・ペンローズ逆行列を用いて，元の行列の4つの基本部分空間(0.1.1)(0.1.2)それぞれへの直交射影を構成することができます．以下の事実が成り立ちます．

事実2. (事実0.と事実1.にも注意)

(2.1){\displaystyle \;\;\; AA^+ \ (: \mathbf{R}^m \to \mathbf{R}^m) \ } は {\displaystyle N(A^T) } に沿った {\displaystyle C(A) } への直交射影
(2.2){\displaystyle \;\;\; A^+ A \ (: \mathbf{R}^n \to \mathbf{R}^n) \ } は {\displaystyle N(A) } に沿った {\displaystyle C(A^T) } への直交射影
(2.3){\displaystyle \;\;\; I_m - AA^+ \ (: \mathbf{R}^m \to \mathbf{R}^m) \ } は {\displaystyle C(A) } に沿った {\displaystyle N(A^T) } への直交射影
(2.4){\displaystyle \;\;\; I_n - A^+ A \ (: \mathbf{R}^n \to \mathbf{R}^n) \ } は {\displaystyle C(A^T) } に沿った {\displaystyle N(A) } への直交射影


証明.

以下に注意する．

{\displaystyle \forall z \in \mathbf{R}^m, \ AA^+z = A(A^+z) \in C(A) }

{\displaystyle \forall x \in \mathbf{R}^n, \ A^+Ax = A^+(Ax) \in C(A^T) }

{\displaystyle \forall z \in \mathbf{R}^m, \ (I_m - AA^+)z = z - A(A^+z) \in N(A^T) \;\;\; \because } (0.1.2)

{\displaystyle \forall x \in \mathbf{R}^n, \ (I_n - A^+A)x = x - A^+(Ax) \in N(A) \;\;\; \because } (0.1.1)


(2.1)(2.2)(2.3)(2.4)が直交射影行列であることを示す．

{\displaystyle \;\;\; (AA^+)^2 = (AA^+A)A^+ }
{\displaystyle \;\;\;\;\;\;\;\;\;\;\;\;\;\;\; = AA^+ \;\;\; \because } (0.2.d.1) or (0.2.d.2)

{\displaystyle \;\;\; (AA^+)^T = AA^+ \;\;\; \because } (0.2.d.3)


{\displaystyle \;\;\; (A^+A)^2 = (A^+ A A^+ )A }
{\displaystyle \;\;\;\;\;\;\;\;\;\;\;\;\;\;\; = A^+A \;\;\; \because } (0.2.d.1) or (0.2.d.2)

{\displaystyle \;\;\; (A^+A)^T = A^+ A \;\;\; \because } (0.2.d.4)


{\displaystyle \;\;\; (I_m - AA^+)^2 = (I_m - AA^+)(I_m - AA^+) }
{\displaystyle \;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\; = I_m (I_m - AA^+) - AA^+ (I_m - AA^+) }
{\displaystyle \;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\; = I_m - AA^+ - AA^+ + AA^+AA^+ }
{\displaystyle \;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\; = I_m - 2 AA^+ + (AA^+A)A^+ }
{\displaystyle \;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\; = I_m - 2 AA^+ + AA^+ \;\;\; \because } (0.2.d.1) or (0.2.d.2)
{\displaystyle \;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\; = I_m - AA^+ }

{\displaystyle \;\;\; (I_m - AA^+)^T = I_m - (AA^+)^T }
{\displaystyle \;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\; = I_m - AA^+ \;\;\; \because } (0.2.d.3)


{\displaystyle \;\;\; (I_n - A^+A)^2 = (I_n - A^+A)(I_n - A^+A) }
{\displaystyle \;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\; = I_n (I_n - A^+A) - A^+A (I_n - A^+A) }
{\displaystyle \;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\; = I_n - A^+A - A^+A + A^+A A^+ A }
{\displaystyle \;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\; = I_n - 2 A^+A + (A^+A A^+) A }
{\displaystyle \;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\; = I_n - 2 A^+ A + A^+ A \;\;\; \because } (0.2.d.1) or (0.2.d.2)
{\displaystyle \;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\; = I_n - A^+ A }

{\displaystyle \;\;\; (I_n - A^+ A)^T = I_n - (A^+ A)^T }
{\displaystyle \;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\; = I_n - A^+ A \;\;\; \because } (0.2.d.4)
(証明終わり)

=================================================================================

以上，ムーア・ペンローズ逆行列と元の行列の4つの基本部分空間との関係について考えてみました．



参考文献
[1] Piziak, R., and Odell, P.L.(1999), Full Rank Factorization of Matrices, Mathematics Magazine, Vol.72, No.3, pp.193-201.
[2] University of California, San Diego KenKreutz-Delgado先生のノート http://dsp.ucsd.edu/~kreutz/PEI-05%20Support%20Files/ECE275A_Viewgraphs_4.pdf
[3] 作者不明のブログ https://shiyuzhao1.wordpress.com/2012/11/10/range-and-null-spaces-of-moore-penrose-inverses/
[4] Wikipedia Moore-Penrose inverse のページ https://en.wikipedia.org/wiki/Moore%E2%80%93Penrose_inverse
[5] 東京大学 吉田朋広先生のノート http://www.ms.u-tokyo.ac.jp/~nakahiro/lec17/modelmon/workbook2.pdf


おまけ
[1] へのリンク https://www.researchgate.net/publication/265958585_Full_Rank_Factorization_of_Matrice