エンジニアを目指す浪人のブログ

情報系に役立ちそうな応用数理をゆるめにメモします

数学

行列のランク落ち,列フルランク,行フルランク,フルランクそれぞれのときのムーア・ペンローズ逆行列による連立一次方程式の解の意味について考える

本記事は以下の過去記事の内容を用います.ムーア・ペンローズ逆行列の定義,構成,一意性についてまとめる - エンジニアを目指す浪人のブログムーア・ペンローズ逆行列による連立一次方程式の解表現について考える - エンジニアを目指す浪人のブログ行列の…

行列のランクに仮定をおかないときの最小二乗法の解表現と列フルランクを仮定することの意味について考える

本記事は以下の過去記事の内容を用います.最小二乗法の基礎をまとめる - エンジニアを目指す浪人のブログムーア・ペンローズ逆行列の定義,構成,一意性についてまとめる - エンジニアを目指す浪人のブログムーア・ペンローズ逆行列と元の行列の4つの基本部…

ムーア・ペンローズ逆行列による連立一次方程式の解表現について考える

本記事は以下の過去記事の結果を用います.一般化逆行列の定義の意味について考える - エンジニアを目指す浪人のブログムーア・ペンローズ逆行列の定義,構成,一意性についてまとめる - エンジニアを目指す浪人のブログムーア・ペンローズ逆行列と元の行列…

最小ノルム解の基礎をまとめる

本記事は以下の過去記事の内容を用います.制約付き最小二乗法の基礎をまとめる - エンジニアを目指す浪人のブログ行列における全射,左零空間が零ベクトルのみ,行フルランクは同値であることを証明する - エンジニアを目指す浪人のブロググラム行列につい…

制約付き最小二乗法の基礎をまとめる

本記事は以下の過去記事の内容を用います.最小二乗法の基礎をまとめる - エンジニアを目指す浪人のブログ多目的最小二乗法の基礎をまとめる - エンジニアを目指す浪人のブログ 勉強を進めていて,制約付き最小二乗法(constrained least squares method)につ…

多目的最小二乗法の基礎をまとめる

本記事は以下の過去記事で得た結果を用います.最小二乗法の基礎をまとめる - エンジニアを目指す浪人のブロググラム行列についての定理を証明する - エンジニアを目指す浪人のブログ 勉強を進めていて,多目的最小二乗法(multi-objective least squares met…

最小二乗法の基礎をまとめる

本記事は以下の過去記事で得た結果を用います.行列における単射,核(カーネル)が零ベクトルのみ,列フルランクは同値であることを証明する - エンジニアを目指す浪人のブログ行列のランク落ち,列フルランク,行フルランク,フルランクそれぞれのときの4つ…

ムーア・ペンローズ逆行列と元の行列の4つの基本部分空間との関係について考える

勉強を進めていて,ムーア・ペンローズ逆行列(Moore-Penrose inverse)(擬似逆行列(pseudoinverse))を線形写像と解釈する場合において,元の行列の4つの基本部分空間とどのような関係にあるか,幾何的にどのような意味をもつか,に興味をもちました.これらの…

ムーア・ペンローズ逆行列の定義,構成,一意性についてまとめる

勉強を進めていて,ムーア・ペンローズ逆行列(Moore-Penrose inverse)(擬似逆行列(pseudoinverse))について知りました.応用でよく使われているようなので,その定義,構成,一意性について文献[1]の4章をベースにしてまとめておくことにしました. ========…

行列のランク落ち,列フルランク,行フルランク,フルランクそれぞれのときの4つの基本部分空間を図示する

本記事は以下の過去記事の結果を用います.4つの基本部分空間について考える - エンジニアを目指す浪人のブログ行列における単射,核(カーネル)が零ベクトルのみ,列フルランクは同値であることを証明する - エンジニアを目指す浪人のブログ行列における全射…

行列における全射,左零空間が零ベクトルのみ,行フルランクは同値であることを証明する

本記事は以下の過去記事の結果を用います. 4つの基本部分空間について考える - エンジニアを目指す浪人のブログ 行列における単射,核(カーネル)が零ベクトルのみ,列フルランクは同値であることを証明する - エンジニアを目指す浪人のブログ 勉強を進めて…

行列における単射,核(カーネル)が零ベクトルのみ,列フルランクは同値であることを証明する

本記事は以下の過去記事の内容を用います. 線形写像が単射であるための必要十分条件は核(カーネル)が零ベクトルであることの証明をメモする - エンジニアを目指す浪人のブログ 勉強を進めていて,行列の単射(injective)(one-to-one),核(カーネル)(kernel)(…

行列の階数分解の存在と非一意性を証明する

勉強を進めていて,行列の階数分解((full) rank factorization)について知りました.聞き慣れない概念でモヤモヤしてしまったので,その基本的な性質である存在と非一意性についての証明を文献[1]の3章をベースにしてまとめておくことにしました.==========…

4つの基本部分空間について考える

勉強を進めていて,4つの基本部分空間(four fundamental subspaces)についてモヤモヤしてしまいました.線形代数を理解する上で非常に重要な概念だと感じるので,その内容をまとめることにしました.4つの基本部分空間とは,行列の行空間(row space),列空間…

一般化逆行列の定義の意味について考える

勉強を進めていて,一般化逆行列(generalized inverse)というものを知りました.その定義の意味についてモヤモヤしてしまったので,調べてまとめることにしました. 問題を設定するため,いくつか準備をします. 以下の定義を文献[3]から引用します(記号を一…

グラム行列についての定理を証明する

勉強を進めていて,グラム行列(Gram matrix)というものを知りました.少し調べてみて,Horn and Johnson(2013)にある記述がわかりやすかったので,その定理と証明をメモすることにしました. 問題を設定するため,いくつか準備をします.張る部分空間,ラン…

行列のランクプリンシプルの定義をまとめる

勉強を進めていて,行列に対するランクプリンシプル(rank principal)という性質を知りました.見慣れない定義でモヤモヤしてしまったので,Horn and Johnson(2013)を参考にしてまとめることにしました. 記法の説明をします. 行列 と添字集合(index set) を…

半正定値行列が正定値であるための必要十分条件は正則であることを証明する

勉強を進めていて,Horn and Johnson(2013)に記述がある,半正定値行列における正定値性と正則性との関係について重要に感じたので,その内容と証明をメモすることにしました. 問題を設定するため,いくつか準備をします. Horn and Johnson(2013) Definiti…

確率変数のサブガウシアンの定義の意味について考える

本記事は以下の過去記事で得た結果を用います. いくつかの集中不等式(Hoeffding's Inequalityなど)を証明する - エンジニアを目指す浪人のブログ 勉強を進めていて,確率変数に対するサブガウシアン(sub-Gaussian)という性質を知りました.その定義の意味に…

マルコフ連鎖の定義をメモする

応用でよく使われる確率過程の1つにマルコフ連鎖(Markov chain)があります.その定義を目にするたびにいまいちモヤモヤしていましたが,わかりやすく感じた定義を文献[1]に見つけることができたので,その内容をメモすることにしました.若干記述を変更して…

EMアルゴリズムの基礎をまとめる

機械学習でよく用いられるEMアルゴリズム(expectation-maximization algorithm ; EM algorihm)を勉強していると,その目的あるいは用途として「観測変数と(観測できない)潜在変数がある確率モデルの尤度関数を最大化するパラメータを求める」と説明されてい…

イェンゼンの不等式の証明と等号成立条件について考える

勉強を進めていて,確率論の文脈におけるイェンゼンの不等式(Jensen's inequality)の証明が気になってモヤモヤしてしまいました.グラフをイメージすれば直感的には理解しやすいですが,きちんとした(?)数学的な証明を調べることにしました.また,応用で用…

特異値分解による行列の低ランク近似の基礎をまとめる

本記事は以下の過去記事で得た結果を用います.特異値分解の導出と,左特異ベクトル,特異値,右特異ベクトルとは何かについて考える - エンジニアを目指す浪人のブログ 行列分解の一手法である特異値分解(singular value decomposition ; SVD)を利用するこ…

線形写像が単射であるための必要十分条件は核(カーネル)が零ベクトルであることの証明をメモする

勉強を進めていて,線形写像の核(カーネル)と単射との関係について重要に感じたので,その証明を調べてメモすることにしました. 問題を設定するため,線形写像の定義は文献[2]を,核(カーネル)の定義は文献[3]を用います.単射の定義を示します.文献[4]に…

集中不等式(Hoeffding's inequality, Bernstein's inequality)の別表現について考える

本記事は以下の過去記事で得た結果を用います. いくつかの集中不等式(Hoeffding's Inequalityなど)を証明する - エンジニアを目指す浪人のブログ 集中不等式(Bernstein's Inequality)を証明する - エンジニアを目指す浪人のブログ 勉強を進めていて,集中不…

集中不等式(Bernstein's Inequality)を証明する

本記事は以下の過去記事で得た結果を用います. いくつかの集中不等式(Hoeffding's Inequalityなど)を証明する - エンジニアを目指す浪人のブログ 本記事では,集中不等式(concentration inequality)の一つである Bernstein's inequality を(一部分を除いて)…

いくつかの集中不等式(Hoeffding's Inequalityなど)を証明する

勉強を進めていて,確率論における概念である集中不等式(concentration inequality)を知りました.これは確率変数がある値(例えば期待値)からどのくらい確率的に乖離するかを評価する不等式のことです. 本記事では,統計的学習理論あるいは機械学習に応用さ…

特異値分解の導出と,左特異ベクトル,特異値,右特異ベクトルとは何かについて考える

応用上よく使われる特異値分解(singular value decomposition ; SVD)について,どのように導出するのか,左特異ベクトル,特異値,右特異ベクトルがいったい何なのかという点にいつもモヤモヤしてしまうので,その内容を調べてまとめることにしました.文献[…

凸最適化問題における鞍点定理とミニマックス定理についてまとめる

本記事は以下の過去記事で得た結果を用います.ラグランジュ関数,ラグランジュ双対問題,最適性条件(KKT条件)のあらすじをまとめる - エンジニアを目指す浪人のブログ 勉強を進めていて,凸最適化問題における鞍点定理(saddle point theorem)とミニマックス…

ラグランジュ関数,ラグランジュ双対問題,最適性条件(KKT条件)のあらすじをまとめる

数理最適化で扱う問題のなかで,凸最適化問題は応用上よく使われること,また,ラグランジュ関数,ラグランジュ双対問題,最適性条件(KKT条件)は重要な概念であることはよく知られていると思います.それらを勉強するために読んだもののうち,Boyd and Vande…