線形代数
本記事は以下の過去記事の内容を用います．行列のランク落ち，列フルランク，行フルランク，フルランクそれぞれのときの4つの基本部分空間を図示する - エンジニアを目指す浪人のブログムーア・ペンローズ逆行列による連立一次方程式の解表現について考える …
本記事は以下の過去記事の内容を用います．強凸関数のヘッセ行列の逆行列の不等式を証明する - エンジニアを目指す浪人のブログ行列が半正定値(あるいは正定値)であるための必要十分条件はすべての固有値が非負(あるいは正)であることを証明する - エンジニ…
本記事は以下の過去記事の内容を用います．エルミート行列のすべての固有値は実数であることの証明をメモする - エンジニアを目指す浪人のブログ 勉強を進めていて，エルミート行列のスペクトルノルム(spectral norm)は最大固有値の絶対値に等しいことを証明…
本記事は以下の過去記事の内容を用います．主成分分析の基礎をまとめる - エンジニアを目指す浪人のブログ特異値分解の導出と，左特異ベクトル，特異値，右特異ベクトルとは何かについて考える - エンジニアを目指す浪人のブログ特異値分解による行列の低ラ…
本記事は以下の過去記事の内容を用います．分散共分散行列(と相関行列)は半正定値であることを証明する - エンジニアを目指す浪人のブログ行列が半正定値(あるいは正定値)であるための必要十分条件はすべての固有値が非負(あるいは正)であることを証明する -…
本記事は以下の過去記事の結果を用います．正則行列の固有値は零でないことの証明をメモする - エンジニアを目指す浪人のブログ 応用上よく用いられると思われる，線形代数における以下の事実について証明を調べたのでメモすることにしました．文献[1]をほぼ…
応用上よく用いられると思われる，線形代数における以下の事実について証明を調べたのでメモすることにしました．文献[1]をほぼ引用したものです．固有値(eigenvalues)，固有ベクトル(eigenvectors)の定義は文献[2]にあります．'---------------------------…
本記事は以下の過去記事の内容を用います．分散共分散行列(と相関行列)は半正定値であることを証明する - エンジニアを目指す浪人のブログエルミート行列のすべての固有値は実数であることの証明をメモする - エンジニアを目指す浪人のブログ 応用上よく用い…
本記事は以下の過去記事の内容を用います．分散共分散行列(と相関行列)は半正定値であることを証明する - エンジニアを目指す浪人のブログいくつかの行列の公式を証明するその1 - エンジニアを目指す浪人のブログ 本記事は以下の過去記事の内容を既知とする…
本記事は以下の過去記事の内容を用います．分散共分散行列(と相関行列)は半正定値であることを証明する - エンジニアを目指す浪人のブログ 応用上よく使われる関数に，凸(convex)(あるいは狭義凸(strictly convex))である(ベクトル値)二次関数(quadratic fun…
応用上よく使われるいくつかの行列の公式を証明しておくことにしました． (正方)行列を準備します． 逆行列(inverse matrix) ，余因子行列(adjugate matrix) (文献[4]にあります)，cofactor matrix (文献[5]にあります)，小行列式(minor) (文献[5]にあります…
応用上よく使われるいくつかの行列の公式を証明しておくことにしました． ベクトルと(正方)行列を準備します． 本記事の目的に進みます．行列のトレースや微分についての以下の公式を証明します．'--------------------------------------------------------…
応用上よく使われるいくつかの行列の公式を証明しておくことにしました． ベクトルと(正方)行列を準備します． 転置行列についての以下の性質は文献[2]にあります．(t.1) 以下を準備します．(0.1) (0.2) (0.1)で とする (0.3) (t.1) 本記事の目的に進みます…
本記事は以下の過去記事の内容を用います．シューア補行列の定義とその背景，逆行列補題との関係をまとめる - エンジニアを目指す浪人のブログ 対称行列のシューア補行列(Schur complement)は対称行列であることを証明しメモしておくことにしました． 記号を…
勉強を進めていて，シューア補行列(Schur complement)について知りました．定義は難しくないのですがその背景についてモヤモヤしてしまったので，文献[1]の1章をベースにしてまとめておくことにしました．逆行列補題(matrix inversion lemma (Woodbury matri…
本記事は以下の過去記事の内容を用います．ムーア・ペンローズ逆行列の定義，構成，一意性についてまとめる - エンジニアを目指す浪人のブログムーア・ペンローズ逆行列による連立一次方程式の解表現について考える - エンジニアを目指す浪人のブログ行列の…
本記事は以下の過去記事の内容を用います．最小二乗法の基礎をまとめる - エンジニアを目指す浪人のブログムーア・ペンローズ逆行列の定義，構成，一意性についてまとめる - エンジニアを目指す浪人のブログムーア・ペンローズ逆行列と元の行列の4つの基本部…
本記事は以下の過去記事の結果を用います．一般化逆行列の定義の意味について考える - エンジニアを目指す浪人のブログムーア・ペンローズ逆行列の定義，構成，一意性についてまとめる - エンジニアを目指す浪人のブログムーア・ペンローズ逆行列と元の行列…
本記事は以下の過去記事で得た結果を用います．行列における単射，核(カーネル)が零ベクトルのみ，列フルランクは同値であることを証明する - エンジニアを目指す浪人のブログ行列のランク落ち，列フルランク，行フルランク，フルランクそれぞれのときの4つ…
勉強を進めていて，ムーア・ペンローズ逆行列(Moore-Penrose inverse)(擬似逆行列(pseudoinverse))を線形写像と解釈する場合において，元の行列の4つの基本部分空間とどのような関係にあるか，幾何的にどのような意味をもつか，に興味をもちました．これらの…
勉強を進めていて，ムーア・ペンローズ逆行列(Moore-Penrose inverse)(擬似逆行列(pseudoinverse))について知りました．応用でよく使われているようなので，その定義，構成，一意性について文献[1]の4章をベースにしてまとめておくことにしました． ========…
本記事は以下の過去記事の結果を用います．4つの基本部分空間について考える - エンジニアを目指す浪人のブログ行列における単射，核(カーネル)が零ベクトルのみ，列フルランクは同値であることを証明する - エンジニアを目指す浪人のブログ行列における全射…
本記事は以下の過去記事の結果を用います． 4つの基本部分空間について考える - エンジニアを目指す浪人のブログ 行列における単射，核(カーネル)が零ベクトルのみ，列フルランクは同値であることを証明する - エンジニアを目指す浪人のブログ 勉強を進めて…
本記事は以下の過去記事の内容を用います． 線形写像が単射であるための必要十分条件は核(カーネル)が零ベクトルであることの証明をメモする - エンジニアを目指す浪人のブログ 勉強を進めていて，行列の単射(injective)(one-to-one)，核(カーネル)(kernel)(…
勉強を進めていて，行列の階数分解((full) rank factorization)について知りました．聞き慣れない概念でモヤモヤしてしまったので，その基本的な性質である存在と非一意性についての証明を文献[1]の3章をベースにしてまとめておくことにしました．==========…
勉強を進めていて，4つの基本部分空間(four fundamental subspaces)についてモヤモヤしてしまいました．線形代数を理解する上で非常に重要な概念だと感じるので，その内容をまとめることにしました．4つの基本部分空間とは，行列の行空間(row space)，列空間…
勉強を進めていて，一般化逆行列(generalized inverse)というものを知りました．その定義の意味についてモヤモヤしてしまったので，調べてまとめることにしました． 問題を設定するため，いくつか準備をします． 以下の定義を文献[3]から引用します(記号を一…
勉強を進めていて，グラム行列(Gram matrix)というものを知りました．少し調べてみて，Horn and Johnson(2013)にある記述がわかりやすかったので，その定理と証明をメモすることにしました． 問題を設定するため，いくつか準備をします．張る部分空間，ラン…
勉強を進めていて，行列に対するランクプリンシプル(rank principal)という性質を知りました．見慣れない定義でモヤモヤしてしまったので，Horn and Johnson(2013)を参考にしてまとめることにしました． 記法の説明をします． 行列 と添字集合(index set) を…
勉強を進めていて，Horn and Johnson(2013)に記述がある，半正定値行列における正定値性と正則性との関係について重要に感じたので，その内容と証明をメモすることにしました． 問題を設定するため，いくつか準備をします． Horn and Johnson(2013) Definiti…
