エンジニアを目指す浪人のブログ

情報系に役立ちそうな応用数理をゆるめにメモします

数学

確率変数のサブガウシアンの定義の意味について考える

本記事は以下の過去記事で得た結果を用います. いくつかの集中不等式(Hoeffding's Inequalityなど)を証明する - エンジニアを目指す浪人のブログ 勉強を進めていて,確率変数に対するサブガウシアン(sub-Gaussian)という性質を知りました.その定義の意味に…

マルコフ連鎖の定義をメモする

応用でよく使われる確率過程の1つにマルコフ連鎖(Markov chain)があります.その定義を目にするたびにいまいちモヤモヤしていましたが,わかりやすく感じた定義を文献[1]に見つけることができたので,その内容をメモすることにしました.若干記述を変更して…

EMアルゴリズムの基礎をまとめる

機械学習でよく用いられるEMアルゴリズム(expectation-maximization algorithm ; EM algorihm)を勉強していると,その目的あるいは用途として「観測変数と(観測できない)潜在変数がある確率モデルの尤度関数を最大化するパラメータを求める」と説明されてい…

イェンゼンの不等式の証明と等号成立条件について考える

勉強を進めていて,確率論の文脈におけるイェンゼンの不等式(Jensen's inequality)の証明が気になってモヤモヤしてしまいました.グラフをイメージすれば直感的には理解しやすいですが,きちんとした(?)数学的な証明を調べることにしました.また,応用で用…

特異値分解による行列の低ランク近似の基礎をまとめる

本記事は以下の過去記事で得た結果を用います.特異値分解の導出と,左特異ベクトル,特異値,右特異ベクトルとは何かについて考える - エンジニアを目指す浪人のブログ 行列分解の一手法である特異値分解(singular value decomposition ; SVD)を利用するこ…

線形写像が単射であるための必要十分条件は核(カーネル)が零ベクトルであることの証明をメモする

勉強を進めていて,線形写像の核(カーネル)と単射との関係について重要に感じたので.その証明を調べてメモすることにしました. 問題を設定するため,線形写像の定義は文献[2]を,核(カーネル)の定義は文献[3]を用います.単射の定義を示します.文献[4]に…

集中不等式(Hoeffding's inequality, Bernstein's inequality)の別表現について考える

本記事は以下の過去記事で得た結果を用います. いくつかの集中不等式(Hoeffding's Inequalityなど)を証明する - エンジニアを目指す浪人のブログ 集中不等式(Bernstein's Inequality)を証明する - エンジニアを目指す浪人のブログ 勉強を進めていて,集中不…

集中不等式(Bernstein's Inequality)を証明する

本記事は以下の過去記事で得た結果を用います. いくつかの集中不等式(Hoeffding's Inequalityなど)を証明する - エンジニアを目指す浪人のブログ 本記事では,集中不等式(concentration inequality)の一つである Bernstein's inequality を(一部分を除いて)…

いくつかの集中不等式(Hoeffding's Inequalityなど)を証明する

勉強を進めていて,確率論における概念である集中不等式(concentration inequality)を知りました.これは確率変数がある値(例えば期待値)からどのくらい確率的に乖離するかを評価する不等式のことです. 本記事では,統計的学習理論あるいは機械学習に応用さ…

特異値分解の導出と,左特異ベクトル,特異値,右特異ベクトルとは何かについて考える

応用上よく使われる特異値分解(singular value decomposition ; SVD)について,どのように導出するのか,左特異ベクトル,特異値,右特異ベクトルがいったい何なのかという点にいつもモヤモヤしてしまうので,その内容を調べてまとめることにしました.文献[…

凸最適化問題における鞍点定理とミニマックス定理についてまとめる

本記事は以下の過去記事で得た結果を用います.ラグランジュ関数,ラグランジュ双対問題,最適性条件(KKT条件)のあらすじをまとめる - エンジニアを目指す浪人のブログ 勉強を進めていて,凸最適化問題における鞍点定理(saddle point theorem)とミニマックス…

ラグランジュ関数,ラグランジュ双対問題,最適性条件(KKT条件)のあらすじをまとめる

数理最適化で扱う問題のなかで,凸最適化問題は応用上よく使われること,また,ラグランジュ関数,ラグランジュ双対問題,最適性条件(KKT条件)は重要な概念であることはよく知られていると思います.それらを勉強するために読んだもののうち,Boyd and Vande…

内部と相対的内部の違いについて考える

数理最適化を用いる文献を読んでいると,相対的内部(relative interior)という概念がでてくることがあります.位相空間論の概念である内部(interior)と似ているものであることはすぐわかるのですが,それらの違いがイメージできずにモヤモヤしてしまうことが…

主成分分析の基礎をまとめる

データ解析の手法の一つである主成分分析(principal component analysis ; PCA)について,それなりに利用頻度が高いものの,そのたびに勉強しなおしていて効率が悪かったので,その基礎をまとめておくことにしました.=====================================…

サンプル数が変数の数よりも少ないとき分散共分散行列と相関行列は正定値でないことを証明する

測定データから計算される分散共分散行列と相関行列は,サンプル数が変数の数よりも少ないとき正定値でない行列になります.このことについての数学的な記述を見たことがなかったので,調べて証明することにしました. 正定値でないならばコレスキー分解でき…

データから計算される分散共分散行列と相関行列の定義をメモする

応用上,測定データから計算される分散共分散行列(covariance matrix)と相関行列(correlation matrix)が用いられることがよくあります(英語ではそれぞれ,sample covariance/correlation matrix, empirical covariance/correlation matrixなどと呼ばれること…

分散共分散行列(と相関行列)は半正定値であることを証明する

応用上よく用いられると思われる,分散共分散行列(covariance matrix)は半正定値(positive semidefinite)である,という事実を証明することにしました.同様に相関行列(correlation matrix)も半正定値であることについて,記事の最後で簡単に触れます. 問題…

レイリー商についての定理を証明する

勉強を進めていて,レイリー商(Rayleigh quotient)というものを知りました.少し調べてみて,Horn and Johnson(2013)にある記述がわかりやすかったので,その定理と証明をメモすることにしました. 問題を設定するため,いくつか準備をします. 行 列のエル…

エルミート行列の相異なる固有値に対する固有ベクトルは直交することの証明をメモする

応用上よく用いられると思われる,線形代数における以下の事実について証明を調べたのでメモすることにしました.証明では,エルミート行列のすべての固有値は実数である,というよく知られている事実を用います(過去記事を参照してください). はユニタリ空…

エルミート行列のすべての固有値は実数であることの証明をメモする

応用上よく用いられると思われる,線形代数における以下の事実について証明を調べたのでメモすることにしました. 事実.エルミート行列 のすべての固有値は実数である. 証明. のある固有値を ,それに対する固有ベクトルを とすると, である.一方, なの…

有限次元ベクトル空間上の線形作用素を表現する行列を構成する

線形代数や関数解析を勉強していて,線形写像(linear mapping)あるいは線形作用素(linear operator)と行列(matrix)の関係がいつもよく理解できずにモヤモヤして終わってしまうので,線形作用素を表現する行列の構成についてメモしておくことにしました.問題…

一様収束する関数列はリーマン-スティルチェス積分と極限操作が交換可能であることを証明する

勉強を進めていて,関数列の積分と極限操作の交換がどのような場合に成り立つか,についてモヤモヤしてしまったので,リーマン-スティルチェス積分(あるいはリーマン積分)の場合にどうなるか調べることにしました. よく知られていることと思いますが,結論…

関数列の各点収束と一様収束(と数列の収束)の定義について考える

解析学分野を勉強していると,関数列の各点収束(pointwise convergence)や一様収束(uniform convergence)を目にすることがあります.そこでモヤモヤしてしまうことがあるので,定義を調べることにしました.ただ他にもよい解説がたくさんあるので,本記事で…

リーマン-スティルチェス積分の定義を調べる

本記事は以下の記事のDefinition 6.1(の一部)を用います. リーマン積分の定義を調べる - エンジニアを目指す浪人のブログ 解析学分野を勉強していると,リーマン-スティルチェス積分(Riemann-Stieltjes integral)を目にすることがあります.リーマン積分(Ri…

リーマン積分の定義を調べる

リーマン積分(Riemann integral)とはなにか?という問いに答えられるようにするため,リーマン積分の定義を調べることにしました. Rudin(1976)から引用します. 6.1 Definition Let be a given interval. By a partition of we mean a finite set of points…

連続関数の空間はLpノルムのリーマン積分版?について完備でないことを証明する

関数解析の勉強をしていて, 上の全ての実数値連続関数からなる(ベクトル)空間はノルム について完備ではないという事実を知りました(測度論における 空間は完備であるのに!).なのでその証明をメモしておくことにしました. 問題の設定のため,ここでは 上…

有界線形作用素の定義の有界についてすこし考える

関数解析の勉強をしていて,有界線形作用素(bounded linear operator)の定義のうち,有界とはどういう意味であるか,をさくっと理解できずにモヤモヤしてしまったので,その解釈をメモしておくことにしました.問題を設定するため,過去記事2.2-1 Definition…

ノルムの連続性を証明する

関数解析の勉強をしていて,教科書のノルムの連続性についての記述が証明の方向性を示すのみだったので,証明を完成させることにしました.問題を設定するため,以下の定義をしておきます.Kreyszig(1989)から引用します. 2.2-1 Definition (Normed space, …

集積点,閉包,稠密,可分の定義をメモする

位相を用いている教科書を読んでいると,集積点(accumulation point),閉包(closure),稠密(dense),可分(separable),などの概念を目にすることがあります.それらの定義をよく覚えておらずいつもモヤモヤしてしまうのですが,Kreyszig(1989)(関数解析の教…

停止時刻の定義を調べる(離散時間と連続時間)

確率過程を用いる文献を読んでいると停止時刻(stopping time)という概念がでてきます.自分の頭を整理するため,その定義がどのように導入されるのか,どのように説明しているか,についていくつかの教科書を調べることにしました.本記事で扱うフィルトレー…