エンジニアを目指す浪人のブログ

情報系に役立ちそうな応用数理をゆるめにメモします

数学

主成分分析と特異値分解の関係について考える

本記事は以下の過去記事の内容を用います.主成分分析の基礎をまとめる - エンジニアを目指す浪人のブログ特異値分解の導出と,左特異ベクトル,特異値,右特異ベクトルとは何かについて考える - エンジニアを目指す浪人のブログ特異値分解による行列の低ラ…

有限次元ベクトル空間の双対空間の基底の構成をまとめる

関数解析を勉強していて,有限次元ベクトル空間の双対空間(dual space)の基底(basis)(双対基底(dual basis))の構成についてモヤモヤしてしまったので,メモしておくことにしました.Kreyszig(1989)のsection2.9をベースにしてまとめます. 問題を設定するた…

多変量正規分布の最尤推定量を導出する

本記事は以下の過去記事の結果を用います.いくつかの行列の公式を証明するその1 - エンジニアを目指す浪人のブログいくつかの行列の公式を証明するその2 - エンジニアを目指す浪人のブログいくつかの行列の公式を証明するその3 - エンジニアを目指す浪人の…

行列式の対数はその行列の凹関数であることを証明する

本記事は以下の過去記事の結果を用います.n次元ユークリッド空間上の関数が凸であるための必要十分条件は定義域内の任意の直線上で凸であることの証明をメモする - エンジニアを目指す浪人のブログ 本記事は以下の過去記事と関連しています.いくつかの行列…

n次元ユークリッド空間上の関数が凸であるための必要十分条件は定義域内の任意の直線上で凸であることの証明をメモする

応用上よく使われると思われる,一つの変数についての凸性を確認することで関数の凸性を判定できる便利なツールといえる定理を知り,重要に感じたのでその証明を調べてメモしておくことにしました.文献[1]をほぼ引用しています.凹関数の定義は文献[2]にあ…

正定値行列の逆行列は正定値であることの証明をメモする

本記事は以下の過去記事の内容を用います.分散共分散行列(と相関行列)は半正定値であることを証明する - エンジニアを目指す浪人のブログ行列が半正定値(あるいは正定値)であるための必要十分条件はすべての固有値が非負(あるいは正)であることを証明する -…

逆行列の固有値は元の行列の固有値の逆数であることの証明をメモする

本記事は以下の過去記事の結果を用います.正則行列の固有値は零でないことの証明をメモする - エンジニアを目指す浪人のブログ 応用上よく用いられると思われる,線形代数における以下の事実について証明を調べたのでメモすることにしました.文献[1]をほぼ…

正則行列の固有値は零でないことの証明をメモする

応用上よく用いられると思われる,線形代数における以下の事実について証明を調べたのでメモすることにしました.文献[1]をほぼ引用したものです.固有値(eigenvalues),固有ベクトル(eigenvectors)の定義は文献[2]にあります.'---------------------------…

行列が半正定値(あるいは正定値)であるための必要十分条件はすべての固有値が非負(あるいは正)であることを証明する

本記事は以下の過去記事の内容を用います.分散共分散行列(と相関行列)は半正定値であることを証明する - エンジニアを目指す浪人のブログエルミート行列のすべての固有値は実数であることの証明をメモする - エンジニアを目指す浪人のブログ 応用上よく用い…

係数行列が半正定値の二次関数が最小値をもつための必要十分条件は勾配が零ベクトルであることを証明する

本記事は以下の過去記事の内容を用います.分散共分散行列(と相関行列)は半正定値であることを証明する - エンジニアを目指す浪人のブログいくつかの行列の公式を証明するその1 - エンジニアを目指す浪人のブログ 本記事は以下の過去記事の内容を既知とする…

係数行列が対称行列の二次関数が凸関数(あるいは狭義凸関数)であるための必要十分条件はその係数行列が半正定値(あるいは正定値)であることを証明する

本記事は以下の過去記事の内容を用います.分散共分散行列(と相関行列)は半正定値であることを証明する - エンジニアを目指す浪人のブログ 応用上よく使われる関数に,凸(convex)(あるいは狭義凸(strictly convex))である(ベクトル値)二次関数(quadratic fun…

いくつかの行列の公式を証明するその3

応用上よく使われるいくつかの行列の公式を証明しておくことにしました. (正方)行列を準備します. 逆行列(inverse matrix) ,余因子行列(adjugate matrix) (文献[4]にあります),cofactor matrix (文献[5]にあります),小行列式(minor) (文献[5]にあります…

いくつかの行列の公式を証明するその2

応用上よく使われるいくつかの行列の公式を証明しておくことにしました. ベクトルと(正方)行列を準備します. 本記事の目的に進みます.行列のトレースや微分についての以下の公式を証明します.'--------------------------------------------------------…

いくつかの行列の公式を証明するその1

応用上よく使われるいくつかの行列の公式を証明しておくことにしました. ベクトルと(正方)行列を準備します. 転置行列についての以下の性質は文献[2]にあります.(t.1) 以下を準備します.(0.1) (0.2) (0.1)で とする (0.3) (t.1) 本記事の目的に進みます…

多変量正規分布の条件付き確率分布を導出する

本記事は以下の過去記事の内容を用います.シューア補行列の定義とその背景,逆行列補題との関係をまとめる - エンジニアを目指す浪人のブログ対称行列のシューア補行列は対称行列であることを証明する - エンジニアを目指す浪人のブログ 応用上よく使われる…

対称行列のシューア補行列は対称行列であることを証明する

本記事は以下の過去記事の内容を用います.シューア補行列の定義とその背景,逆行列補題との関係をまとめる - エンジニアを目指す浪人のブログ 対称行列のシューア補行列(Schur complement)は対称行列であることを証明しメモしておくことにしました. 記号を…

シューア補行列の定義とその背景,逆行列補題との関係をまとめる

勉強を進めていて,シューア補行列(Schur complement)について知りました.定義は難しくないのですがその背景についてモヤモヤしてしまったので,文献[1]の1章をベースにしてまとめておくことにしました.逆行列補題(matrix inversion lemma (Woodbury matri…

行列のランク落ち,列フルランク,行フルランク,フルランクそれぞれのときのムーア・ペンローズ逆行列による連立一次方程式の解の意味について考える

本記事は以下の過去記事の内容を用います.ムーア・ペンローズ逆行列の定義,構成,一意性についてまとめる - エンジニアを目指す浪人のブログムーア・ペンローズ逆行列による連立一次方程式の解表現について考える - エンジニアを目指す浪人のブログ行列の…

行列のランクに仮定をおかないときの最小二乗法の解表現と列フルランクを仮定することの意味について考える

本記事は以下の過去記事の内容を用います.最小二乗法の基礎をまとめる - エンジニアを目指す浪人のブログムーア・ペンローズ逆行列の定義,構成,一意性についてまとめる - エンジニアを目指す浪人のブログムーア・ペンローズ逆行列と元の行列の4つの基本部…

ムーア・ペンローズ逆行列による連立一次方程式の解表現について考える

本記事は以下の過去記事の結果を用います.一般化逆行列の定義の意味について考える - エンジニアを目指す浪人のブログムーア・ペンローズ逆行列の定義,構成,一意性についてまとめる - エンジニアを目指す浪人のブログムーア・ペンローズ逆行列と元の行列…

最小ノルム解の基礎をまとめる

本記事は以下の過去記事の内容を用います.制約付き最小二乗法の基礎をまとめる - エンジニアを目指す浪人のブログ行列における全射,左零空間が零ベクトルのみ,行フルランクは同値であることを証明する - エンジニアを目指す浪人のブロググラム行列につい…

制約付き最小二乗法の基礎をまとめる

本記事は以下の過去記事の内容を用います.最小二乗法の基礎をまとめる - エンジニアを目指す浪人のブログ多目的最小二乗法の基礎をまとめる - エンジニアを目指す浪人のブログ 勉強を進めていて,制約付き最小二乗法(constrained least squares method)につ…

多目的最小二乗法の基礎をまとめる

本記事は以下の過去記事で得た結果を用います.最小二乗法の基礎をまとめる - エンジニアを目指す浪人のブロググラム行列についての定理を証明する - エンジニアを目指す浪人のブログ 勉強を進めていて,多目的最小二乗法(multi-objective least squares met…

最小二乗法の基礎をまとめる

本記事は以下の過去記事で得た結果を用います.行列における単射,核(カーネル)が零ベクトルのみ,列フルランクは同値であることを証明する - エンジニアを目指す浪人のブログ行列のランク落ち,列フルランク,行フルランク,フルランクそれぞれのときの4つ…

ムーア・ペンローズ逆行列と元の行列の4つの基本部分空間との関係について考える

勉強を進めていて,ムーア・ペンローズ逆行列(Moore-Penrose inverse)(擬似逆行列(pseudoinverse))を線形写像と解釈する場合において,元の行列の4つの基本部分空間とどのような関係にあるか,幾何的にどのような意味をもつか,に興味をもちました.これらの…

ムーア・ペンローズ逆行列の定義,構成,一意性についてまとめる

勉強を進めていて,ムーア・ペンローズ逆行列(Moore-Penrose inverse)(擬似逆行列(pseudoinverse))について知りました.応用でよく使われているようなので,その定義,構成,一意性について文献[1]の4章をベースにしてまとめておくことにしました. ========…

行列のランク落ち,列フルランク,行フルランク,フルランクそれぞれのときの4つの基本部分空間を図示する

本記事は以下の過去記事の結果を用います.4つの基本部分空間について考える - エンジニアを目指す浪人のブログ行列における単射,核(カーネル)が零ベクトルのみ,列フルランクは同値であることを証明する - エンジニアを目指す浪人のブログ行列における全射…

行列における全射,左零空間が零ベクトルのみ,行フルランクは同値であることを証明する

本記事は以下の過去記事の結果を用います. 4つの基本部分空間について考える - エンジニアを目指す浪人のブログ 行列における単射,核(カーネル)が零ベクトルのみ,列フルランクは同値であることを証明する - エンジニアを目指す浪人のブログ 勉強を進めて…

行列における単射,核(カーネル)が零ベクトルのみ,列フルランクは同値であることを証明する

本記事は以下の過去記事の内容を用います. 線形写像が単射であるための必要十分条件は核(カーネル)が零ベクトルであることの証明をメモする - エンジニアを目指す浪人のブログ 勉強を進めていて,行列の単射(injective)(one-to-one),核(カーネル)(kernel)(…

行列の階数分解の存在と非一意性を証明する

勉強を進めていて,行列の階数分解((full) rank factorization)について知りました.聞き慣れない概念でモヤモヤしてしまったので,その基本的な性質である存在と非一意性についての証明を文献[1]の3章をベースにしてまとめておくことにしました.==========…