エンジニアを目指す浪人のブログ

情報系に役立ちそうな応用数理をゆるめにメモします

いくつかの行列の公式を証明するその3

応用上よく使われるいくつかの行列の公式を証明しておくことにしました.


(正方)行列を準備します.

{\displaystyle \;\;\; X =  \begin{bmatrix} x_{11} & x_{12} & \cdots & x_{1n} \\ x_{21} & x_{22} & \cdots & x_{2n} \\ \vdots  & \vdots & \vdots & \vdots \\  x_{n1} & x_{n2} & \cdots & x_{nn} \end{bmatrix}  }


逆行列(inverse matrix) {\displaystyle X^{-1} },余因子行列(adjugate matrix) {\displaystyle \mathrm{adj} X } (文献[4]にあります),cofactor matrix {\displaystyle C } (文献[5]にあります),小行列式(minor) {\displaystyle M_{ij} } (文献[5]にあります)について以下が成り立ちます.

(1){\displaystyle \;\;\; X^{-1} = \frac{1}{ \mathrm{det} X } \mathrm{adj} X }

{\displaystyle \;\;\;\;\;\;\;\;\;\;\;\;\;\; = \frac{1}{ \mathrm{det} X } C^T }

{\displaystyle \;\;\;\;\;\;\;\;\;\;\;\;\;\; = \frac{1}{ \mathrm{det} X } \begin{bmatrix} C_{11} & C_{12} & \cdots & C_{1n} \\ C_{21} & C_{22} & \cdots & C_{2n} \\ \vdots  & \vdots & \vdots & \vdots \\  C_{n1} & C_{n2} & \cdots & C_{nn} \end{bmatrix}^T  }

{\displaystyle \;\;\;\;\;\;\;\;\;\;\;\;\;\; = \frac{1}{ \mathrm{det} X } \begin{bmatrix} C_{11} & C_{21} & \cdots & C_{n1} \\ C_{12} & C_{22} & \cdots & C_{n2} \\ \vdots  & \vdots & \vdots & \vdots \\  C_{1n} & C_{2n} & \cdots & C_{nn} \end{bmatrix}  }

{\displaystyle \;\;\;\;\;\;\;\;\;\;\;\;\;\; = \frac{1}{ \mathrm{det} X } \begin{bmatrix} (-1)^{1+1} M_{11} & (-1)^{2+1} M_{21} & \cdots & (-1)^{n+1} M_{n1} \\ (-1)^{1+2} M_{12} & (-1)^{2+2} M_{22} & \cdots & (-1)^{n+2} M_{n2} \\ \vdots  & \vdots & \vdots & \vdots \\  (-1)^{1+n} M_{1n} & (-1)^{2+n} M_{2n} & \cdots & (-1)^{n+n} M_{nn} \end{bmatrix}  }


行列式(determinant)はラプラス展開(Laplace expansion)することができます(文献[6]にあります).

(2){\displaystyle \;\;\; \mathrm{det} X = x_{i1} C_{i1} + x_{i2} C_{i2} + \cdots + x_{in} C_{in}, \;\;\;\;\;\; i=1,\ldots,n }


本記事の目的に進みます.行列式の対数の微分についての以下の公式を証明します.

'--------------------------------------------------------------------------------------------------------------------------------------------
事実1.

{\displaystyle \mathrm{det} X \gt 0 } となる {\displaystyle X } について以下が成り立つ.

{\displaystyle \;\;\; \frac{ \partial }{ \partial X } \log \left( \mathrm{det} X \right) = \left( X^{-1} \right)^T = \left( X^T \right)^{-1} }


事実1.証明.

{\displaystyle \;\;\; \frac{ \partial }{ \partial x_{ij} } \log \left( \mathrm{det} X \right) =  }

{\displaystyle = \frac{1}{\mathrm{det} X} \frac{ \partial \left( \mathrm{det} X \right) }{ \partial x_{ij} }  \;\;\; \because {\mathrm{det} X} }{\displaystyle x_{ij} } の関数

{\displaystyle = \frac{1}{\mathrm{det} X} \frac{ \partial }{ \partial x_{ij} } \left( x_{i1} C_{i1} + x_{i2} C_{i2} + \cdots + x_{in} C_{in}  \right) \;\;\; \because } (2) {\displaystyle \;\; } (第 {\displaystyle i } 行に沿ったラプラス展開)

{\displaystyle = \frac{1}{\mathrm{det} X} \frac{ \partial }{ \partial x_{ij} } \left( x_{i1} (-1)^{i+1} M_{i1}  + x_{i2} (-1)^{i+2} M_{i2}  + \cdots + x_{in} (-1)^{i+n} M_{in} \right) }

{\displaystyle = \frac{1}{\mathrm{det} X} \frac{ \partial }{ \partial x_{ij} } \left( x_{i1} (-1)^{i+1} M_{i1}  + x_{i2} (-1)^{i+2} M_{i2}  + \cdots + x_{ij} (-1)^{i+j} M_{ij} + \cdots + x_{in} (-1)^{i+n} M_{in}   \right)  }

{\displaystyle = \frac{1}{\mathrm{det} X} \frac{ \partial }{ \partial x_{ij} } \left( x_{ij} (-1)^{i+j} M_{ij} \right)  }

{\displaystyle = \frac{1}{\mathrm{det} X} \left( (-1)^{i+j} M_{ij} + x_{ij} \frac{ \partial }{ \partial x_{ij} } (-1)^{i+j} M_{ij}  \right)  }

{\displaystyle = \frac{1}{\mathrm{det} X} \left( (-1)^{i+j} M_{ij} + x_{ij} 0 \right)  }

{\displaystyle = \frac{1}{\mathrm{det} X} (-1)^{i+j} M_{ij}  }

{\displaystyle = \frac{1}{\mathrm{det} X} C_{ij} \;\;\;\;\;\; } (※)


{\displaystyle \;\;\;  \frac{ \partial }{ \partial X } \log  \left( \mathrm{det} X \right) = \begin{bmatrix} \frac{ \partial }{ \partial x_{1} } \log \mathrm{det} X & \frac{ \partial }{ \partial x_{12} } \log \mathrm{det} X  & \cdots &  \frac{ \partial }{ \partial x_{1n} } \log \mathrm{det} X  \\  \frac{ \partial }{ \partial x_{21} } \log \mathrm{det} X  &  \frac{ \partial }{ \partial x_{22} } \log \mathrm{det} X  & \cdots &  \frac{ \partial }{ \partial x_{2n} } \log \mathrm{det} X  \\ \vdots  & \vdots & \vdots & \vdots \\   \frac{ \partial }{ \partial x_{n1} } \log \mathrm{det} X  &  \frac{ \partial }{ \partial x_{n2} } \log \mathrm{det} X  & \cdots &  \frac{ \partial }{ \partial x_{nn} } \log \mathrm{det} X  \end{bmatrix} }

{\displaystyle \;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\; = \begin{bmatrix} \frac{1}{\mathrm{det} X} C_{11} & \frac{1}{\mathrm{det} X} C_{12}  & \cdots &  \frac{1}{\mathrm{det} X} C_{1n}  \\  \frac{1}{\mathrm{det} X} C_{21}  &  \frac{1}{\mathrm{det} X} C_{22}  & \cdots &  \frac{1}{\mathrm{det} X} C_{2n}  \\ \vdots  & \vdots & \vdots & \vdots \\  \frac{1}{\mathrm{det} X} C_{n1}  &  \frac{1}{\mathrm{det} X} C_{n2}  & \cdots &  \frac{1}{\mathrm{det} X} C_{nn}  \end{bmatrix} \;\;\;\;\;\; \because  } (※)

{\displaystyle \;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\; = \frac{1}{\mathrm{det} X} \begin{bmatrix} C_{11} & C_{12}  & \cdots &  C_{1n}  \\  C_{21}  &  C_{22}  & \cdots &  C_{2n}  \\ \vdots  & \vdots & \vdots & \vdots \\   C_{n1}  &  C_{n2}  & \cdots &  C_{nn}  \end{bmatrix} }

{\displaystyle \;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\; = \frac{1}{\mathrm{det} X} C }

{\displaystyle \;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\; = \frac{1}{\mathrm{det} X} \left( C^T \right)^T }

{\displaystyle \;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\; = \frac{1}{\mathrm{det} X} \left( \mathrm{adj} X \right)^T \;\;\;\;\; \because } (1)

{\displaystyle \;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\; = \left( X^{-1} \right)^T \;\;\;\;\;\;\;\;\;\;\;\; \because } (1)

二つ目の等号は文献[7]に記述があるので省略する.

(証明終わり)
'--------------------------------------------------------------------------------------------------------------------------------------------


以上,いくつかの行列の公式を証明しました.



参考文献
[1] Petersen, K.B., and Pedersen, M.S., The Matrix Cookbook https://www.math.uwaterloo.ca/~hwolkowi/matrixcookbook.pdf
[2] Stanford University Kenneth Tay様のブログ https://statisticaloddsandends.wordpress.com/2018/05/24/derivative-of-log-det-x/
[3] Wikipedia Invertible matrix のページ https://en.wikipedia.org/wiki/Invertible_matrix
[4] Wikipedia Adjugate matrix のページ https://en.wikipedia.org/wiki/Adjugate_matrix
[5] Wikipedia Minor (linear algebra) のページ https://en.wikipedia.org/wiki/Minor_(linear_algebra)
[6] Wikipedia Laplace expansion のページ https://en.wikipedia.org/wiki/Laplace_expansion
[7] Wikipedia Transpose のページ https://en.wikipedia.org/wiki/Transpose
[8] 東京大学 足助太郎先生のページ https://www.ms.u-tokyo.ac.jp/~asuke/linear_algebra/corrections.html