エンジニアを目指す浪人のブログ

情報系に役立ちそうな応用数理をゆるめにメモします

ムーア・ペンローズ逆行列による連立一次方程式の解表現について考える

数学 線形代数

本記事は以下の過去記事の結果を用います．

一般化逆行列の定義の意味について考える - エンジニアを目指す浪人のブログ

ムーア・ペンローズ逆行列の定義，構成，一意性についてまとめる - エンジニアを目指す浪人のブログ

ムーア・ペンローズ逆行列と元の行列の4つの基本部分空間との関係について考える - エンジニアを目指す浪人のブログ

行列のランク落ち，列フルランク，行フルランク，フルランクそれぞれのときの4つの基本部分空間を図示する - エンジニアを目指す浪人のブログ

行列における単射，核(カーネル)が零ベクトルのみ，列フルランクは同値であることを証明する - エンジニアを目指す浪人のブログ


勉強を進めていて，ムーア・ペンローズ逆行列(Moore-Penrose inverse)(擬似逆行列(pseudoinverse))を用いて連立一次方程式の解を表現する方法について知りました．だいぶ前から知っている連立一次方程式の解に別の見方があったことにとても感銘を受けたので，その内容をまとめておくことにしました．Laub(2004)の4章3節，6章2節を参考にしています．

=================================================================================

記号を準備します．

{\displaystyle \;\;\; \mathbf{R}^{n} \;\;\;\;\;\;\;\; } {\displaystyle \mathbf{R} } の要素を要素にもつ {\displaystyle n } 次元ベクトルの集合
{\displaystyle \;\;\; \mathbf{R}^{m \times n} \;\;\;\; } {\displaystyle \mathbf{R} } の要素を要素にもつ {\displaystyle m \times n } 行列の集合
{\displaystyle \;\;\; I \;\;\;\;\;\;\;\;\;\; } {\displaystyle n \times n } 単位行列
{\displaystyle \;\;\; A \;\;\;\;\;\;\;\;\;\; } {\displaystyle m \times n } 行列

{\displaystyle \;\;\; C(A^T) \;\;\; } {\displaystyle A } の行空間
{\displaystyle \;\;\; C(A) \;\;\;\;\; } {\displaystyle A } の列空間
{\displaystyle \;\;\; N(A) \;\;\;\;\; } {\displaystyle A } の零空間
{\displaystyle \;\;\; N(A^T) \;\;\; } {\displaystyle A } の左零空間

{\displaystyle \;\;\; G \;\;\;\;\;\;\;\;\;\; } {\displaystyle A } の一般化逆行列( {\displaystyle n \times m } 行列 )
{\displaystyle \;\;\; A^+ \;\;\;\;\;\;\;\; } {\displaystyle A } のムーア・ペンローズ逆行列( {\displaystyle n \times m } 行列 )


一般化逆行列 {\displaystyle G } の定義は冒頭の過去記事(一般化逆行列)にあります．

ムーア・ペンローズ逆行列 {\displaystyle A^+ } の定義は冒頭の過去記事(ムーア・ペンローズ逆行列の定義)にあります．


準備として以下の定理を示します．
'--------------------------------------------------------------------------------------------------------------------------------------------
定理 4.18.
{\displaystyle A \in \mathbf{R}^{m \times n},\ b \in \mathbf{R}^{m} } とする．{\displaystyle b \in C(A) \Leftrightarrow A A^+ b=b } が成り立つ．

証明.
冒頭の過去記事(ムーアペンローズ逆行列と元の行列)事実2.(2.1)にあるように，{\displaystyle A A^+ \ (: \mathbf{R}^m \to \mathbf{R}^m) } は {\displaystyle N(A^T) } に沿った {\displaystyle C(A) } への直交射影であることから従う．(証明終わり)
'--------------------------------------------------------------------------------------------------------------------------------------------


いよいよ連立一次方程式と解について考えていきます．

(6.4){\displaystyle \;\;\; A x = b \;\;\;\;\;\;\; A \in \mathbf{R}^{m \times n},\ b \in \mathbf{R}^{m} }

解の存在についての定理を示します．線形代数の基本事項なので証明は省略しますが，例えば冒頭の過去記事(行列のランク落ち)に説明があります．残りは定理 4.18.を用います．
'--------------------------------------------------------------------------------------------------------------------------------------------
定理 6.2 (存在).
連立一次方程式(6.4)が解をもつための必要十分条件は {\displaystyle b \in C(A) }，あるいは同じことであるが {\displaystyle A A^+ b=b } が成り立つことである．
'--------------------------------------------------------------------------------------------------------------------------------------------


本記事のメインとなる定理を以下に示します．ムーア・ペンローズ逆行列による連立一次方程式の包括的な解表現を与えます．
'--------------------------------------------------------------------------------------------------------------------------------------------
定理 6.3.
{\displaystyle A A^+ b = b } が成り立つとき，以下のベクトルは連立一次方程式(6.4)の解の一つである．さらに，(6.4)のすべての解はこの形式で表現できる．

(6.5){\displaystyle \;\;\; x = A^+ b + (I - A^+ A) y, \;\;\; y \in \mathbf{R}^n }


証明.
(6.5)が連立一次方程式(6.4)の解であることを示す．(6.5)に左から {\displaystyle A } を乗じて以下を得る．

{\displaystyle \;\;\; Ax = AA^+ b + A(I - A^+ A) y }
{\displaystyle \;\;\;\;\;\;\;\; = AA^+ b + (A - A A^+ A) y }
{\displaystyle \;\;\;\;\;\;\;\; = AA^+ b \;\;\; \because } 冒頭の過去記事(ムーア・ペンローズ逆行列の定義)(d.1)
{\displaystyle \;\;\;\;\;\;\;\; = b \;\;\;\;\;\;\;\;\; \because } 仮定

連立一次方程式(6.4)のすべての解は(6.5)で表現できることを示す．任意の解を {\displaystyle z } とすると {\displaystyle Az=b } をみたし，これより以下を得る．

{\displaystyle \;\;\; z = (A^+ A + I - A^+ A)z }
{\displaystyle \;\;\;\;\; = A^+ A z + (I - A^+ A)z }
{\displaystyle \;\;\;\;\; = A^+ b + (I - A^+ A)z \;\;\; \because Az=b }

これは(6.5)で表現していることを意味する．(証明終わり)
'--------------------------------------------------------------------------------------------------------------------------------------------


ムーア・ペンローズ逆行列 {\displaystyle A^+ } は一般化逆行列 {\displaystyle G } の特別な場合であり，{\displaystyle A } が正方行列で正則行列のとき {\displaystyle G = A^{-1} \ (= A^+) } です．冒頭の過去記事(一般化逆行列)にあります．
'--------------------------------------------------------------------------------------------------------------------------------------------
注意 6.4.
{\displaystyle A } が正方行列({\displaystyle m = n })で正則行列のとき {\displaystyle A^+ = A^{-1} } であり，これより {\displaystyle ( I - A^+ A) = 0 } を得る．したがって(6.5)の任意項が消去され，ただ一つの解は {\displaystyle x = A^{-1} b } となる．
'--------------------------------------------------------------------------------------------------------------------------------------------

'--------------------------------------------------------------------------------------------------------------------------------------------
定理 6.6 (一意性).
連立一次方程式(6.4)の解が一意に決まるための必要十分条件は {\displaystyle A^+ A = I }，あるいは同じことであるが {\displaystyle N(A)= \{ 0 \} } が成り立つことである．

証明.
1つ目の同値性は定理 6.3.より得る．

2つ目の同値性を示す．
冒頭の過去記事(行列における単射)事実.より {\displaystyle A } が列フルランク( {\displaystyle \mathrm{rank}\ A=n )} であることと {\displaystyle N(A)=\{ 0 \} } は同値である．冒頭の過去記事(ムーア・ペンローズ逆行列の定義)定理 1.(で {\displaystyle G=I } とすること)より {\displaystyle A } が列フルランクであることと {\displaystyle A^+ A = I } は同値である．よって示せた．(証明終わり)
'--------------------------------------------------------------------------------------------------------------------------------------------

'--------------------------------------------------------------------------------------------------------------------------------------------
例 6.7.
{\displaystyle A \in \mathbf{R}^{n \times n} } とする．同次方程式 {\displaystyle A x=0 } の解は以下である．

{\displaystyle \;\;\; x = A^+ 0 + (I - A^+ A) y }
{\displaystyle \;\;\;\;\;\; = (I - A^+ A) y, \;\;\; y \in \mathbf{R}^n }

したがって零ベクトルでない解が存在するための必要十分条件は {\displaystyle A^+ A \neq I } である．これは {\displaystyle \mathrm{rank}\ A \lt n } あるいは正則でないことと同値である．零ベクトルでない解が存在するとき，その解は一意には決まらない．
'--------------------------------------------------------------------------------------------------------------------------------------------


最後に4つの基本部分空間との関連について簡単に触れます．冒頭の過去記事(ムーア・ペンローズ逆行列と元の行列)より以下を再掲します．

事実0と事実1の系.
{\displaystyle \;\;\; \mathbf{R}^n = C(A^T) \oplus C(A^T)^{\perp} }
{\displaystyle \;\;\;\;\;\;\;\;\; = C(A^T) \oplus N(A) }
{\displaystyle \;\;\;\;\;\;\;\;\; = C(A^+) \oplus N(A) }

{\displaystyle \;\;\; \mathbf{R}^m = C(A) \oplus C(A) ^{\perp} }
{\displaystyle \;\;\;\;\;\;\;\;\; = C(A) \oplus N(A^T) }
{\displaystyle \;\;\;\;\;\;\;\;\; = C(A) \oplus N(A^+) }


同記事の事実1.(1.1)と事実2.(2.4)より以下がいえます．

{\displaystyle \;\;\; A^+ b \in C(A^T), \;\; (I - A^+ A)y \in N(A) }

したがって以下を確認できます．

{\displaystyle \;\;\; A^+ b + (I - A^+ A)y = x \ \in \mathbf{R}^{n} \ (= C(A^T) \oplus N(A)) }

=================================================================================

以上，ムーア・ペンローズ逆行列による連立一次方程式の解表現について考えてみました．一般的な線形代数の教科書にある内容と表現は違えど同じ結果を得ていることがわかると思います．



参考文献
[1] Laub, A.J. (2004), Matrix Analysis for Scientists and Engineers, Society for Industrial and Applied Mathematics.

おまけ
[1] へのリンク https://epdf.tips/matrix-analysis-for-scientists-and-engineers6eadd0270d0930c60f36adaea67057c230700.html