本記事は以下の過去記事の内容を用います．主成分分析の基礎をまとめる - エンジニアを目指す浪人のブログ特異値分解の導出と，左特異ベクトル，特異値，右特異ベクトルとは何かについて考える - エンジニアを目指す浪人のブログ特異値分解による行列の低ラ…

関数解析を勉強していて，有限次元ベクトル空間の双対空間(dual space)の基底(basis)(双対基底(dual basis))の構成についてモヤモヤしてしまったので，メモしておくことにしました．Kreyszig(1989)のsection2.9をベースにしてまとめます． 問題を設定するた…

本記事は以下の過去記事の結果を用います．いくつかの行列の公式を証明するその1 - エンジニアを目指す浪人のブログいくつかの行列の公式を証明するその2 - エンジニアを目指す浪人のブログいくつかの行列の公式を証明するその3 - エンジニアを目指す浪人の…

本記事は以下の過去記事の結果を用います．n次元ユークリッド空間上の関数が凸であるための必要十分条件は定義域内の任意の直線上で凸であることの証明をメモする - エンジニアを目指す浪人のブログ 本記事は以下の過去記事と関連しています．いくつかの行列…

応用上よく使われると思われる，一つの変数についての凸性を確認することで関数の凸性を判定できる便利なツールといえる定理を知り，重要に感じたのでその証明を調べてメモしておくことにしました．文献[1]をほぼ引用しています．凹関数の定義は文献[2]にあ…

本記事は以下の過去記事の内容を用います．分散共分散行列(と相関行列)は半正定値であることを証明する - エンジニアを目指す浪人のブログ行列が半正定値(あるいは正定値)であるための必要十分条件はすべての固有値が非負(あるいは正)であることを証明する -…

本記事は以下の過去記事の結果を用います．正則行列の固有値は零でないことの証明をメモする - エンジニアを目指す浪人のブログ 応用上よく用いられると思われる，線形代数における以下の事実について証明を調べたのでメモすることにしました．文献[1]をほぼ…

応用上よく用いられると思われる，線形代数における以下の事実について証明を調べたのでメモすることにしました．文献[1]をほぼ引用したものです．固有値(eigenvalues)，固有ベクトル(eigenvectors)の定義は文献[2]にあります．'---------------------------…

本記事は以下の過去記事の内容を用います．分散共分散行列(と相関行列)は半正定値であることを証明する - エンジニアを目指す浪人のブログエルミート行列のすべての固有値は実数であることの証明をメモする - エンジニアを目指す浪人のブログ 応用上よく用い…

本記事は以下の過去記事の内容を用います．分散共分散行列(と相関行列)は半正定値であることを証明する - エンジニアを目指す浪人のブログいくつかの行列の公式を証明するその1 - エンジニアを目指す浪人のブログ 本記事は以下の過去記事の内容を既知とする…

本記事は以下の過去記事の内容を用います．分散共分散行列(と相関行列)は半正定値であることを証明する - エンジニアを目指す浪人のブログ 応用上よく使われる関数に，凸(convex)(あるいは狭義凸(strictly convex))である(ベクトル値)二次関数(quadratic fun…

応用上よく使われるいくつかの行列の公式を証明しておくことにしました． (正方)行列を準備します． 逆行列(inverse matrix) ，余因子行列(adjugate matrix) (文献[4]にあります)，cofactor matrix (文献[5]にあります)，小行列式(minor) (文献[5]にあります…

応用上よく使われるいくつかの行列の公式を証明しておくことにしました． ベクトルと(正方)行列を準備します． 本記事の目的に進みます．行列のトレースや微分についての以下の公式を証明します．'--------------------------------------------------------…

応用上よく使われるいくつかの行列の公式を証明しておくことにしました． ベクトルと(正方)行列を準備します． 転置行列についての以下の性質は文献[2]にあります．(t.1) 以下を準備します．(0.1) (0.2) (0.1)で とする (0.3) (t.1) 本記事の目的に進みます…

本記事は以下の過去記事の内容を用います．シューア補行列の定義とその背景，逆行列補題との関係をまとめる - エンジニアを目指す浪人のブログ対称行列のシューア補行列は対称行列であることを証明する - エンジニアを目指す浪人のブログ 応用上よく使われる…

本記事は以下の過去記事の内容を用います．シューア補行列の定義とその背景，逆行列補題との関係をまとめる - エンジニアを目指す浪人のブログ 対称行列のシューア補行列(Schur complement)は対称行列であることを証明しメモしておくことにしました． 記号を…

勉強を進めていて，シューア補行列(Schur complement)について知りました．定義は難しくないのですがその背景についてモヤモヤしてしまったので，文献[1]の1章をベースにしてまとめておくことにしました．逆行列補題(matrix inversion lemma (Woodbury matri…

本記事は以下の過去記事の内容を用います．ムーア・ペンローズ逆行列の定義，構成，一意性についてまとめる - エンジニアを目指す浪人のブログムーア・ペンローズ逆行列による連立一次方程式の解表現について考える - エンジニアを目指す浪人のブログ行列の…

本記事は以下の過去記事の内容を用います．最小二乗法の基礎をまとめる - エンジニアを目指す浪人のブログムーア・ペンローズ逆行列の定義，構成，一意性についてまとめる - エンジニアを目指す浪人のブログムーア・ペンローズ逆行列と元の行列の4つの基本部…

本記事は以下の過去記事の結果を用います．一般化逆行列の定義の意味について考える - エンジニアを目指す浪人のブログムーア・ペンローズ逆行列の定義，構成，一意性についてまとめる - エンジニアを目指す浪人のブログムーア・ペンローズ逆行列と元の行列…

本記事は以下の過去記事の内容を用います．制約付き最小二乗法の基礎をまとめる - エンジニアを目指す浪人のブログ行列における全射，左零空間が零ベクトルのみ，行フルランクは同値であることを証明する - エンジニアを目指す浪人のブロググラム行列につい…

本記事は以下の過去記事の内容を用います．最小二乗法の基礎をまとめる - エンジニアを目指す浪人のブログ多目的最小二乗法の基礎をまとめる - エンジニアを目指す浪人のブログ 勉強を進めていて，制約付き最小二乗法(constrained least squares method)につ…

本記事は以下の過去記事で得た結果を用います．最小二乗法の基礎をまとめる - エンジニアを目指す浪人のブロググラム行列についての定理を証明する - エンジニアを目指す浪人のブログ 勉強を進めていて，多目的最小二乗法(multi-objective least squares met…

本記事は以下の過去記事で得た結果を用います．行列における単射，核(カーネル)が零ベクトルのみ，列フルランクは同値であることを証明する - エンジニアを目指す浪人のブログ行列のランク落ち，列フルランク，行フルランク，フルランクそれぞれのときの4つ…

勉強を進めていて，ムーア・ペンローズ逆行列(Moore-Penrose inverse)(擬似逆行列(pseudoinverse))を線形写像と解釈する場合において，元の行列の4つの基本部分空間とどのような関係にあるか，幾何的にどのような意味をもつか，に興味をもちました．これらの…

勉強を進めていて，ムーア・ペンローズ逆行列(Moore-Penrose inverse)(擬似逆行列(pseudoinverse))について知りました．応用でよく使われているようなので，その定義，構成，一意性について文献[1]の4章をベースにしてまとめておくことにしました． ========…

本記事は以下の過去記事の結果を用います．4つの基本部分空間について考える - エンジニアを目指す浪人のブログ行列における単射，核(カーネル)が零ベクトルのみ，列フルランクは同値であることを証明する - エンジニアを目指す浪人のブログ行列における全射…

本記事は以下の過去記事の結果を用います． 4つの基本部分空間について考える - エンジニアを目指す浪人のブログ 行列における単射，核(カーネル)が零ベクトルのみ，列フルランクは同値であることを証明する - エンジニアを目指す浪人のブログ 勉強を進めて…

本記事は以下の過去記事の内容を用います． 線形写像が単射であるための必要十分条件は核(カーネル)が零ベクトルであることの証明をメモする - エンジニアを目指す浪人のブログ 勉強を進めていて，行列の単射(injective)(one-to-one)，核(カーネル)(kernel)(…

勉強を進めていて，行列の階数分解((full) rank factorization)について知りました．聞き慣れない概念でモヤモヤしてしまったので，その基本的な性質である存在と非一意性についての証明を文献[1]の3章をベースにしてまとめておくことにしました．==========…