エンジニアを目指す浪人のブログ

情報系に役立ちそうな応用数理をゆるめにメモします

線形代数

行列のランクに仮定をおかないときの最小二乗法の解表現と列フルランクを仮定することの意味について考える

本記事は以下の過去記事の内容を用います.最小二乗法の基礎をまとめる - エンジニアを目指す浪人のブログムーア・ペンローズ逆行列の定義,構成,一意性についてまとめる - エンジニアを目指す浪人のブログムーア・ペンローズ逆行列と元の行列の4つの基本部…

ムーア・ペンローズ逆行列による連立一次方程式の解表現について考える

本記事は以下の過去記事の結果を用います.一般化逆行列の定義の意味について考える - エンジニアを目指す浪人のブログムーア・ペンローズ逆行列の定義,構成,一意性についてまとめる - エンジニアを目指す浪人のブログムーア・ペンローズ逆行列と元の行列…

最小二乗法の基礎をまとめる

本記事は以下の過去記事で得た結果を用います.行列における単射,核(カーネル)が零ベクトルのみ,列フルランクは同値であることを証明する - エンジニアを目指す浪人のブログ行列のランク落ち,列フルランク,行フルランク,フルランクそれぞれのときの4つ…

ムーア・ペンローズ逆行列と元の行列の4つの基本部分空間との関係について考える

勉強を進めていて,ムーア・ペンローズ逆行列(Moore-Penrose inverse)(擬似逆行列(pseudoinverse))を線形写像と解釈する場合において,元の行列の4つの基本部分空間とどのような関係にあるか,幾何的にどのような意味をもつか,に興味をもちました.これらの…

ムーア・ペンローズ逆行列の定義,構成,一意性についてまとめる

勉強を進めていて,ムーア・ペンローズ逆行列(Moore-Penrose inverse)(擬似逆行列(pseudoinverse))について知りました.応用でよく使われているようなので,その定義,構成,一意性について文献[1]の4章をベースにしてまとめておくことにしました. ========…

行列のランク落ち,列フルランク,行フルランク,フルランクそれぞれのときの4つの基本部分空間を図示する

本記事は以下の過去記事の結果を用います.4つの基本部分空間について考える - エンジニアを目指す浪人のブログ行列における単射,核(カーネル)が零ベクトルのみ,列フルランクは同値であることを証明する - エンジニアを目指す浪人のブログ行列における全射…

行列における全射,左零空間が零ベクトルのみ,行フルランクは同値であることを証明する

本記事は以下の過去記事の結果を用います. 4つの基本部分空間について考える - エンジニアを目指す浪人のブログ 行列における単射,核(カーネル)が零ベクトルのみ,列フルランクは同値であることを証明する - エンジニアを目指す浪人のブログ 勉強を進めて…

行列における単射,核(カーネル)が零ベクトルのみ,列フルランクは同値であることを証明する

本記事は以下の過去記事の内容を用います. 線形写像が単射であるための必要十分条件は核(カーネル)が零ベクトルであることの証明をメモする - エンジニアを目指す浪人のブログ 勉強を進めていて,行列の単射(injective)(one-to-one),核(カーネル)(kernel)(…

行列の階数分解の存在と非一意性を証明する

勉強を進めていて,行列の階数分解((full) rank factorization)について知りました.聞き慣れない概念でモヤモヤしてしまったので,その基本的な性質である存在と非一意性についての証明を文献[1]の3章をベースにしてまとめておくことにしました.==========…

4つの基本部分空間について考える

勉強を進めていて,4つの基本部分空間(four fundamental subspaces)についてモヤモヤしてしまいました.線形代数を理解する上で非常に重要な概念だと感じるので,その内容をまとめることにしました.4つの基本部分空間とは,行列の行空間(row space),列空間…

一般化逆行列の定義の意味について考える

勉強を進めていて,一般化逆行列(generalized inverse)というものを知りました.その定義の意味についてモヤモヤしてしまったので,調べてまとめることにしました. 問題を設定するため,いくつか準備をします. 以下の定義を文献[3]から引用します(記号を一…

グラム行列についての定理を証明する

勉強を進めていて,グラム行列(Gram matrix)というものを知りました.少し調べてみて,Horn and Johnson(2013)にある記述がわかりやすかったので,その定理と証明をメモすることにしました. 問題を設定するため,いくつか準備をします.張る部分空間,ラン…

行列のランクプリンシプルの定義をまとめる

勉強を進めていて,行列に対するランクプリンシプル(rank principal)という性質を知りました.見慣れない定義でモヤモヤしてしまったので,Horn and Johnson(2013)を参考にしてまとめることにしました. 記法の説明をします. 行列 と添字集合(index set) を…

半正定値行列が正定値であるための必要十分条件は正則であることを証明する

勉強を進めていて,Horn and Johnson(2013)に記述がある,半正定値行列における正定値性と正則性との関係について重要に感じたので,その内容と証明をメモすることにしました. 問題を設定するため,いくつか準備をします. Horn and Johnson(2013) Definiti…

特異値分解による行列の低ランク近似の基礎をまとめる

本記事は以下の過去記事で得た結果を用います.特異値分解の導出と,左特異ベクトル,特異値,右特異ベクトルとは何かについて考える - エンジニアを目指す浪人のブログ 行列分解の一手法である特異値分解(singular value decomposition ; SVD)を利用するこ…

線形写像が単射であるための必要十分条件は核(カーネル)が零ベクトルであることの証明をメモする

勉強を進めていて,線形写像の核(カーネル)と単射との関係について重要に感じたので,その証明を調べてメモすることにしました. 問題を設定するため,線形写像の定義は文献[2]を,核(カーネル)の定義は文献[3]を用います.単射の定義を示します.文献[4]に…

特異値分解の導出と,左特異ベクトル,特異値,右特異ベクトルとは何かについて考える

応用上よく使われる特異値分解(singular value decomposition ; SVD)について,どのように導出するのか,左特異ベクトル,特異値,右特異ベクトルがいったい何なのかという点にいつもモヤモヤしてしまうので,その内容を調べてまとめることにしました.文献[…

主成分分析の基礎をまとめる

データ解析の手法の一つである主成分分析(principal component analysis ; PCA)について,それなりに利用頻度が高いものの,そのたびに勉強しなおしていて効率が悪かったので,その基礎をまとめておくことにしました.=====================================…

サンプル数が変数の数よりも少ないとき分散共分散行列と相関行列は正定値でないことを証明する

測定データから計算される分散共分散行列と相関行列は,サンプル数が変数の数よりも少ないとき正定値でない行列になります.このことについての数学的な記述を見たことがなかったので,調べて証明することにしました. 正定値でないならばコレスキー分解でき…

データから計算される分散共分散行列と相関行列の定義をメモする

応用上,測定データから計算される分散共分散行列(covariance matrix)と相関行列(correlation matrix)が用いられることがよくあります(英語ではそれぞれ,sample covariance/correlation matrix, empirical covariance/correlation matrixなどと呼ばれること…

分散共分散行列(と相関行列)は半正定値であることを証明する

応用上よく用いられると思われる,分散共分散行列(covariance matrix)は半正定値(positive semidefinite)である,という事実を証明することにしました.同様に相関行列(correlation matrix)も半正定値であることについて,記事の最後で簡単に触れます. 問題…

レイリー商についての定理を証明する

勉強を進めていて,レイリー商(Rayleigh quotient)というものを知りました.少し調べてみて,Horn and Johnson(2013)にある記述がわかりやすかったので,その定理と証明をメモすることにしました. 問題を設定するため,いくつか準備をします. 行 列のエル…

エルミート行列の相異なる固有値に対する固有ベクトルは直交することの証明をメモする

応用上よく用いられると思われる,線形代数における以下の事実について証明を調べたのでメモすることにしました.証明では,エルミート行列のすべての固有値は実数である,というよく知られている事実を用います(過去記事を参照してください). はユニタリ空…

エルミート行列のすべての固有値は実数であることの証明をメモする

応用上よく用いられると思われる,線形代数における以下の事実について証明を調べたのでメモすることにしました. 事実.エルミート行列 のすべての固有値は実数である. 証明. のある固有値を ,それに対する固有ベクトルを とすると, である.一方, なの…

有限次元ベクトル空間上の線形作用素を表現する行列を構成する

線形代数や関数解析を勉強していて,線形写像(linear mapping)あるいは線形作用素(linear operator)と行列(matrix)の関係がいつもよく理解できずにモヤモヤして終わってしまうので,線形作用素を表現する行列の構成についてメモしておくことにしました.問題…