4つの基本部分空間について考える - エンジニアを目指す浪人のブログ

勉強を進めていて，4つの基本部分空間(four fundamental subspaces)についてモヤモヤしてしまいました．線形代数を理解する上で非常に重要な概念だと感じるので，その内容をまとめることにしました．

4つの基本部分空間とは，行列の行空間(row space)，列空間(column space)，零空間(nullspace)，左零空間(left nullspace)のことです．連立一次方程式の解，行列のランクなどとも密接に関連します．文献[1][2]を参考にして以下にまとめます．

=================================================================================

$m \times n$ 行列 $A, \ \mathrm{rank} A = r$ の行列を考えます．4つの基本部分空間とは，以下の4つの空間のことです．

1. 行空間 $C(A^T)$ ， $\mathbf{R}^n$ の部分空間
2. 列空間 $C(A)$ ， $\mathbf{R}^m$ の部分空間
3. 零空間 $N(A)$ ， $\mathbf{R}^n$ の部分空間
4. 左零空間 $N(A^T)$ ， $\mathbf{R}^m$ の部分空間

行空間と列空間の定義は文献[4]に，零空間と左零空間の定義は文献[5]にあります．
以下の事実が成り立ちます．

事実1. 行空間 $C(A^T)$ と列空間 $C(A)$ は同じ次元をもち，それは行列のランク $r$ に等しい．

事実2. 零空間 $N(A)$ と左零空間 $N(A^T)$ はそれぞれ次元 $n-r, \ m-r$ をもつ．

以下では，具体例を用いてこの2つの事実が成り立つ理由を説明し，4つの部分空間の性質とそれぞれの関係を明らかにしていきます．
以下の行列 $A$ を考えます．

$\;\;\; A = \begin{bmatrix} 1 & 3 & 5 & 0 & 7 \\ 0 & 0 & 0 & 1 & 2 \\ 0 & 0 & 0 & 0 & 0 \end{bmatrix}$

$m=3,\ n=5,\ \mathrm{rank} A = r=2$ です．行列の基本変形の影響を排除して単純化するため，この行階段形(row echelon form)(文献[6]にあります)の行列 $A$ を題材にして考えていきます．4つの基本部分空間についてそれぞれ性質をまとめていきます．

1. $A$ の行空間の次元は $2$ であり，ランクに一致します．

理由 : 第1行と第2行は基底です．行空間は3つの行によるあらゆる線形結合からなりますが，第3行に新たな情報はありません．第1行と第2行は行空間 $C(A^T)$ を張ります．第1行と第2行は線形独立であり，この二つの行(の線形結合)から(すべての係数 $0$ となる場合を除いて)零ベクトルをつくることはできません．

基底 : $\; \begin{bmatrix} 1 \\ 3 \\ 5 \\ 0 \\ 7 \end{bmatrix}, \;\;\; \begin{bmatrix} 0 \\ 0 \\ 0 \\ 1 \\ 2 \end{bmatrix} \;$ は $C(A^T)$ を張ります．

2. $A$ の列空間の次元は $2$ であり，ランクに一致します．

理由 : 第1列と第4列は基底です．第1列と第4列は列空間 $C(A)$ を張ります．この2つの列(の線形結合)から(すべての係数 $0$ となる場合を除いて)零ベクトルをつくることはできません．他の3つの列は自由列(free column)といい第1列と第4列の線形結合で表すことができます．以下に示します．

(第2列) = 3 × (第1列)
(第3列) = 5 × (第1列)
(第5列) = 7 × (第1列) + 2 × (第4列)

基底 : $\; \begin{bmatrix} 1 \\ 0 \\ 0 \end{bmatrix}, \;\;\; \begin{bmatrix} 0 \\ 1 \\ 0 \end{bmatrix} \;$ は $C(A)$ を張ります．

3. 零空間の次元は $n-r=5-2=3$ です．

理由 : 連立一次方程式 $Ax=0$ は特解(special solution) $s_2,s_3,s_5$ を持ちます．特解とは，ある自由列に対応する要素を $1$ としそれ以外の自由列に対応する要素を $0$ とする解のことであり．単位行列を含むので線形独立です．さきほどの3つの自由列が第1列と第4列の線形結合であることの結果を用いて以下を得ます．

$\;\;\; s_2 = \begin{bmatrix} -3 \\ 1 \\ 0 \\ 0 \\ 0 \end{bmatrix}, \;\;\; s_3 = \begin{bmatrix} -5 \\ 0 \\ 1 \\ 0 \\ 0 \end{bmatrix}, \;\;\; s_5 = \begin{bmatrix} -7 \\ 0 \\ 0 \\ -2 \\ 1 \end{bmatrix}$

これらが $Ax=0$ の解であることは $A s_2=A s_3 = A s_5 = 0$ となることから確認できます．またこれらはそれぞれ $C(A^T)$ の基底( $A$ の第1行と第2行)との通常の内積が $0$ になるので直交することも確認できます．以上のことから $C(A^T)$ の2つの基底と $Ax=0$ の3つの特解は線形独立であり $\mathbf{R}^5$ を張ることがわかります． $Ax=0$ は(一般)解 $x = x_2 s_2 + x_3 s_3 + x_5 s_5$ を持ちます． $x_2,x_3,x_5$ は自由変数(free variable)といいます．

基底 : $\; \begin{bmatrix} -3 \\ 1 \\ 0 \\ 0 \\ 0 \end{bmatrix}, \;\;\; \begin{bmatrix} -5 \\ 0 \\ 1 \\ 0 \\ 0 \end{bmatrix}, \;\;\; \begin{bmatrix} -7 \\ 0 \\ 0 \\ -2 \\ 1 \end{bmatrix} \;$ は $N(A)$ を張ります．

4. $A^T$ の零空間すなわち $A$ の左零空間の次元は $m-r=3-2=1$ です．

理由 : 連立一次方程式 $A^T y=0$ は以下のように表せます．

$\; y_1 \begin{bmatrix} 1 \\ 3 \\ 5 \\ 0 \\ 7 \end{bmatrix} + y_2 \begin{bmatrix} 0 \\ 0 \\ 0 \\ 1 \\ 2 \end{bmatrix} + y_3 \begin{bmatrix} 0 \\ 0 \\ 0 \\ 0 \\ 0 \end{bmatrix} = \begin{bmatrix} 0 \\ 0 \\ 0 \\ 0 \\ 0 \end{bmatrix}$

明らかに $y_1=y_2=0$ です． $y_3$ は自由変数なので， $A^T$ の零空間は $y= \begin{bmatrix} 0 & 0 & y_3 \end{bmatrix}^T$ であり，特殊解すなわち基底は $y= \begin{bmatrix} 0 & 0 & 1 \end{bmatrix}^T$ です．またこの基底は $C(A)$ の基底( $A$ の第1列と第4列)との通常の内積が $0$ になるので直交することも確認できます．以上のことから $C(A)$ の2つの基底と $A^Ty=0$ の特解は線形独立であり $\mathbf{R}^3$ を張ることがわかります．