読者です 読者をやめる 読者になる 読者になる

エンジニアを目指す浪人のブログ

情報系に役立ちそうな応用数理をゆるめにメモします

線形代数

特異値分解の導出と,左特異ベクトル,特異値,右特異ベクトルとは何かについて考える

応用上よく使われる特異値分解(singular value decomposition ; SVD)について,どのように導出するのか,左特異ベクトル,特異値,右特異ベクトルがいったい何なのかという点にいつもモヤモヤしてしまうので,その内容を調べてまとめることにしました.文献[…

主成分分析の基礎をまとめる

データ解析の手法の一つである主成分分析(principal component analysis ; PCA)について,それなりに利用頻度が高いものの,そのたびに勉強しなおしていて効率が悪かったので,その基礎をまとめておくことにしました.=====================================…

サンプル数が変数の数よりも少ないとき分散共分散行列と相関行列は正定値でないことを証明する

測定データから計算される分散共分散行列と相関行列は,サンプル数が変数の数よりも少ないとき正定値でない行列になります.このことについての数学的な記述を見たことがなかったので,調べて証明することにしました. 正定値でないならばコレスキー分解でき…

データから計算される分散共分散行列と相関行列の定義をメモする

応用上,測定データから計算される分散共分散行列(covariance matrix)と相関行列(correlation matrix)が用いられることがよくあります(英語ではそれぞれ,sample covariance/correlation matrix, empirical covariance/correlation matrixなどと呼ばれること…

分散共分散行列(と相関行列)は半正定値であることを証明する

応用上よく用いられると思われる,分散共分散行列(covariance matrix)は半正定値(positive semidefinite)である,という事実を証明することにしました.同様に相関行列(correlation matrix)も半正定値であることについて,記事の最後で簡単に触れます. 問題…

レイリー商についての定理を証明する

勉強を進めていて,レイリー商(Rayleigh quotient)というものを知りました.少し調べてみて,Horn and Johnson(2013)にある記述がわかりやすかったので,その定理と証明をメモすることにしました. 問題を設定するため,いくつか準備をします. 行 列のエル…

エルミート行列の相異なる固有値に対する固有ベクトルは直交することの証明をメモする

応用上よく用いられると思われる,線形代数における以下の事実について証明を調べたのでメモすることにしました.証明では,エルミート行列のすべての固有値は実数である,というよく知られている事実を用います(過去記事を参照してください). はユニタリ空…

エルミート行列のすべての固有値は実数であることの証明をメモする

応用上よく用いられると思われる,線形代数における以下の事実について証明を調べたのでメモすることにしました. 事実.エルミート行列 のすべての固有値は実数である. 証明. のある固有値を ,それに対する固有ベクトルを とすると, である.一方, なの…

有限次元ベクトル空間上の線形作用素を表現する行列を構成する

線形代数や関数解析を勉強していて,線形写像(linear mapping)あるいは線形作用素(linear operator)と行列(matrix)の関係がいつもよく理解できずにモヤモヤして終わってしまうので,線形作用素を表現する行列の構成についてメモしておくことにしました.問題…