エンジニアを目指す浪人のブログ

情報系に役立ちそうな応用数理をゆるめにメモします

レイリー商についての定理を証明する

数学 線形代数

勉強を進めていて，レイリー商(Rayleigh quotient)というものを知りました．少し調べてみて，Horn and Johnson(2013)にある記述がわかりやすかったので，その定理と証明をメモすることにしました．


問題を設定するため，いくつか準備をします．

{\displaystyle n } 行 {\displaystyle n } 列のエルミート行列 {\displaystyle  A \ (=A^* = (\bar{A})^T) } についてよく知られている以下の事実を用います．
・エルミート行列 {\displaystyle A } のすべての固有値は実数である(過去記事)．
・エルミート行列 {\displaystyle A } の相異なる固有値に対する固有ベクトルは直交する(過去記事)．
・エルミート行列 {\displaystyle A } の {\displaystyle n } 個の固有ベクトルからなるユニタリ空間 {\displaystyle \mathbb{C}^n } の正規直交基底をとることができる． 

張る部分空間(linear span)の定義をHorn and Johnson(2013)から引用します．

If {\displaystyle S } is a subset of a vector space {\displaystyle V } over a field {\displaystyle \mathbb{F} }, {\displaystyle \mathrm{span} \ S } is the intersection of all subspaces of {\displaystyle V } that contain {\displaystyle S }. If {\displaystyle S } is nonempty, then {\displaystyle \mathrm{span} \ S = \{ a_1 v_1 + \cdots + a_k v_k : v_1 ,\ldots, v_k \in S,a_1,\ldots,a_k \in \mathbb{F}, \mathrm{and} \ k=1,2,\ldots \} }; if {\displaystyle S } is empty, it is contained in every subspace of {\displaystyle V }. The intersection of every subspace of {\displaystyle V } is the subspace {\displaystyle \{ 0 \} }, so the definition ensures that {\displaystyle \mathrm{span} \ S = \{ 0 \} }. Notice that {\displaystyle \mathrm{span} \ S } is always a subspace even if {\displaystyle S } is not a subspace; {\displaystyle S } is said to span {\displaystyle V } if {\displaystyle \mathrm{span} \ S = V }. 

 

以上の設定のもとで，本記事の目的に進みます．

レイリー商とは，エルミート行列 {\displaystyle A } を用いて {\displaystyle x^* Ax / x^* x } で定義される概念です．分子は二次形式で，分母はユークリッドノルムの2乗です．実は，エルミート行列 {\displaystyle A } の最小固有値と最大固有値は，レイリー商の最小化問題と最大化問題，あるいは同じことですが単位球面上を定義域としたときの二次形式の最小化問題と最大化問題により得られます．またそのときの {\displaystyle x } はそれぞれ最小固有値と最大固有値に対する固有ベクトルになっています．この結果についての定理と証明を以下に示します．Horn and Johnson(2013) Theorem 4.2.2をほぼ引用したものです(和訳し，証明には説明を追加しています)．{\displaystyle \left\| x \right\|_2 = \langle x,x \rangle^{1/2} = (x^* x)^{1/2} } です．

定理 4.2.2 (Rayleigh).   {\displaystyle A } を {\displaystyle n } 行 {\displaystyle n } 列のエルミート行列とする．その固有値はすべて実数であるので，

          {\displaystyle \lambda_\mathrm{min} = \lambda_1 \le \lambda_2 \le \cdots \le \lambda_{n-1} \le \lambda_n = \lambda_\mathrm{max} }

により順序付けする．{\displaystyle i_1,\ldots,i_k } を {\displaystyle 1 \le i_1 \lt \cdots \lt i_k \le n } を満たす整数，{\displaystyle x_{i_1}, \ldots ,x_{i_k} } を {\displaystyle A x_{i_p}= \lambda_{i_p} x_{i_p} \ for \ each \ p=1,\ldots,k, } を満たす正規直交系，{\displaystyle S= \mathrm{span} \{ x_{i_1},\ldots,x_{i_k} \} } とする．このとき以下がいえる．

(a)     {\displaystyle \lambda_{i_1} = \min_{ \{ x:0 \neq x \in S \}} \frac{ x^* A x }{x^* x} = \min_{ \{ x:x \in S \ and \ \left\| x \right\|_2 =1 \}} x^* A x }
         {\displaystyle \;\;\;\;\; \le \max_{ \{ x:x \in S \ and \ \left\| x \right\|_2 =1 \}} x^* A x = \max_{ \{ x:0 \neq x \in S \}} \frac{ x^* A x }{x^* x} = \lambda_{i_k} }

(b) 任意の単位ベクトル {\displaystyle x \in S } について {\displaystyle \lambda_{i_1} \le x^* Ax \le \lambda_{i_k} } が成り立つ．右(左)の等号は {\displaystyle A x = \lambda_{i_k} x } ({\displaystyle A x = \lambda_{i_1} x }) が成り立つとき，またそのときに限り成り立つ．

(c) 任意の単位ベクトル {\displaystyle x \in \mathbb{C}^n } について {\displaystyle \lambda_\mathrm{min} \le x^* A x \le \lambda_\mathrm{max} } が成り立つ．右(左)の等号は {\displaystyle A x = \lambda_\mathrm{max} x } ({\displaystyle A x = \lambda_\mathrm{min} x }) が成り立つとき，またそのときに限り成り立つ.さらに，

          {\displaystyle \lambda_\mathrm{max} = \max_{x \neq 0 } \frac{x^* A x}{x^* x} \;\;\; and \;\;\; \lambda_\mathrm{min} = \min_{x \neq 0 } \frac{x^* A x}{x^* x} }

が成り立つ．


証明.   {\displaystyle 0 \neq x \in S } であれば，{\displaystyle \xi = x / \left\| x \right\|_2 } は単位ベクトルであり，{\displaystyle x^* Ax / x^* x = x^* Ax / \left\| x \right\|_2^2 = \xi^* A \xi } である．任意の単位ベクトル {\displaystyle x \in S } について，{\displaystyle x = \alpha_1 x_{i_1} + \cdots + \alpha_k x_{i_k} } を満たすスカラー {\displaystyle \alpha_1,\ldots,\alpha_k } が存在する; {\displaystyle x_{i_1}, \cdots ,x_{i_k} } が正規直交系であることより

{\displaystyle 1 = x^* x }
{\displaystyle \;\;\; = (\alpha_1 x_{i_1} + \cdots + \alpha_k x_{i_k})^* (\alpha_1 x_{i_1} + \cdots + \alpha_k x_{i_k}) }
{\displaystyle \;\;\; = ( \bar{\alpha_1} x_{i_1}^* + \cdots + \bar{\alpha_k} x_{i_k}^* ) ( \alpha_1 x_{i_1} + \cdots + \alpha_k x_{i_k} ) }
{\displaystyle \;\;\; = |\alpha_1|^2 + \cdots + |\alpha_k|^2 }

であるので，以下を得る．

{\displaystyle x^* A x = (\alpha_1 x_{i_1} + \ldots + \alpha_k x_{i_k})^* (\alpha_1 \lambda_{i_1} x_{i_1} + \cdots + \alpha_k \lambda_{i_k} x_{i_k}) }
{\displaystyle \;\;\;\;\;\;\;\;\; = |\alpha_1|^2 \lambda_{i_1} + \cdots + |\alpha_k|^2 \lambda_{i_k} }

これは実数 {\displaystyle \lambda_{i_1},\ldots,\lambda_{i_k} } についての凸結合であるので，この値は {\displaystyle \lambda_{i_\cdot} } の最小値 {\displaystyle \lambda_{i_1} } と最大値 {\displaystyle \lambda_{i_k} } の間に値をとる．すなわち {\displaystyle (x^* A x) \in [ \lambda_{i_1},\lambda_{i_k} ] } である．

{\displaystyle x^* A x = |\alpha_1|^2 \lambda_{i_1} + \cdots + |\alpha_k|^2 \lambda_{i_k} = \lambda_{i_k} } となる必要十分条件は，{\displaystyle \lambda_{i_p} \neq \lambda_{i_k} } のとき常に {\displaystyle \alpha_p = 0 }，すなわち，{\displaystyle x = \sum_{ \{ p: \lambda_{i_p}=\lambda_{i_k} \} } \alpha_p x_{i_p} }，すなわち，{\displaystyle x \in S } は固有値 {\displaystyle \lambda_{i_k} } に対する固有ベクトルである，すなわち，{\displaystyle A x = \lambda_{i_k} x} である．{\displaystyle x^* A x = \lambda_{i_1} } についても同様に示せる．ここまでで(a)(b)を示した．{\displaystyle A } の {\displaystyle n } 個の固有ベクトルからなる {\displaystyle \mathbb{C}^n } の正規直交基底をとることができることから，{\displaystyle k=n } ならば {\displaystyle S= \mathbb{C}^n } であるので，(c)は(b)から従う．                                                                  □ 

 

以上，レイリー商についての定理とその証明を示しました．


参考文献
[1] Horn, R.A., and Johnson, C.R. (2013), Matrix Analysis(Second Edition), Cambridge University Press.
[2] Wikipedia 凸結合のページ https://ja.wikipedia.org/wiki/%E5%87%B8%E7%B5%90%E5%90%88