勉強を進めていて，行列に対するランクプリンシプル(rank principal)という性質を知りました．見慣れない定義でモヤモヤしてしまったので，Horn and Johnson(2013)を参考にしてまとめることにしました． 記法の説明をします． 行列 と添字集合(index set) を…

勉強を進めていて，Horn and Johnson(2013)に記述がある，半正定値行列における正定値性と正則性との関係について重要に感じたので，その内容と証明をメモすることにしました． 問題を設定するため，いくつか準備をします． Horn and Johnson(2013) Definiti…

本記事は以下の過去記事で得た結果を用います． いくつかの集中不等式(Hoeffding's Inequalityなど)を証明する - エンジニアを目指す浪人のブログ 勉強を進めていて，確率変数に対するサブガウシアン(sub-Gaussian)という性質を知りました．その定義の意味に…

応用でよく使われる確率過程の1つにマルコフ連鎖(Markov chain)があります．その定義を目にするたびにいまいちモヤモヤしていましたが，わかりやすく感じた定義を文献[1]に見つけることができたので，その内容をメモすることにしました．若干記述を変更して…

機械学習でよく用いられるEMアルゴリズム(expectation-maximization algorithm ; EM algorihm)を勉強していると，その目的あるいは用途として「観測変数と(観測できない)潜在変数がある確率モデルの尤度関数を最大化するパラメータを求める」と説明されてい…

勉強を進めていて，確率論の文脈におけるイェンゼンの不等式(Jensen's inequality)の証明が気になってモヤモヤしてしまいました．グラフをイメージすれば直感的には理解しやすいですが，きちんとした(?)数学的な証明を調べることにしました．また，応用で用…

本記事は以下の過去記事で得た結果を用います．特異値分解の導出と，左特異ベクトル，特異値，右特異ベクトルとは何かについて考える - エンジニアを目指す浪人のブログ 行列分解の一手法である特異値分解(singular value decomposition ; SVD)を利用するこ…

勉強を進めていて，線形写像の核(カーネル)と単射との関係について重要に感じたので，その証明を調べてメモすることにしました． 問題を設定するため，線形写像の定義は文献[2]を，核(カーネル)の定義は文献[3]を用います．単射の定義を示します．文献[4]に…

本記事は以下の過去記事で得た結果を用います． いくつかの集中不等式(Hoeffding's Inequalityなど)を証明する - エンジニアを目指す浪人のブログ 集中不等式(Bernstein's Inequality)を証明する - エンジニアを目指す浪人のブログ 勉強を進めていて，集中不…

本記事は以下の過去記事で得た結果を用います． いくつかの集中不等式(Hoeffding's Inequalityなど)を証明する - エンジニアを目指す浪人のブログ 本記事では，集中不等式(concentration inequality)の一つである Bernstein's inequality を(一部分を除いて)…

勉強を進めていて，確率論における概念である集中不等式(concentration inequality)を知りました．これは確率変数がある値(例えば期待値)からどのくらい確率的に乖離するかを評価する不等式のことです． 本記事では，統計的学習理論あるいは機械学習に応用さ…

応用上よく使われる特異値分解(singular value decomposition ; SVD)について，どのように導出するのか，左特異ベクトル，特異値，右特異ベクトルがいったい何なのかという点にいつもモヤモヤしてしまうので，その内容を調べてまとめることにしました．文献[…

本記事は以下の過去記事で得た結果を用います．ラグランジュ関数，ラグランジュ双対問題，最適性条件(KKT条件)のあらすじをまとめる - エンジニアを目指す浪人のブログ 勉強を進めていて，凸最適化問題における鞍点定理(saddle point theorem)とミニマックス…

数理最適化で扱う問題のなかで，凸最適化問題は応用上よく使われること，また，ラグランジュ関数，ラグランジュ双対問題，最適性条件(KKT条件)は重要な概念であることはよく知られていると思います．それらを勉強するために読んだもののうち，Boyd and Vande…

数理最適化を用いる文献を読んでいると，相対的内部(relative interior)という概念がでてくることがあります．位相空間論の概念である内部(interior)と似ているものであることはすぐわかるのですが，それらの違いがイメージできずにモヤモヤしてしまうことが…

データ解析の手法の一つである主成分分析(principal component analysis ; PCA)について，それなりに利用頻度が高いものの，そのたびに勉強しなおしていて効率が悪かったので，その基礎をまとめておくことにしました．=====================================…

測定データから計算される分散共分散行列と相関行列は，サンプル数が変数の数よりも少ないとき正定値でない行列になります．このことについての数学的な記述を見たことがなかったので，調べて証明することにしました． 正定値でないならばコレスキー分解でき…

応用上，測定データから計算される分散共分散行列(covariance matrix)と相関行列(correlation matrix)が用いられることがよくあります(英語ではそれぞれ，sample covariance/correlation matrix, empirical covariance/correlation matrixなどと呼ばれること…

応用上よく用いられると思われる，分散共分散行列(covariance matrix)は半正定値(positive semidefinite)である，という事実を証明することにしました．同様に相関行列(correlation matrix)も半正定値であることについて，記事の最後で簡単に触れます． 問題…

勉強を進めていて，レイリー商(Rayleigh quotient)というものを知りました．少し調べてみて，Horn and Johnson(2013)にある記述がわかりやすかったので，その定理と証明をメモすることにしました． 問題を設定するため，いくつか準備をします． 行 列のエル…

応用上よく用いられると思われる，線形代数における以下の事実について証明を調べたのでメモすることにしました．証明では，エルミート行列のすべての固有値は実数である，というよく知られている事実を用います(過去記事を参照してください)． はユニタリ空…

応用上よく用いられると思われる，線形代数における以下の事実について証明を調べたのでメモすることにしました． 事実.エルミート行列 のすべての固有値は実数である． 証明. のある固有値を ，それに対する固有ベクトルを とすると， である．一方， なの…

線形代数や関数解析を勉強していて，線形写像(linear mapping)あるいは線形作用素(linear operator)と行列(matrix)の関係がいつもよく理解できずにモヤモヤして終わってしまうので，線形作用素を表現する行列の構成についてメモしておくことにしました．問題…

勉強を進めていて，関数列の積分と極限操作の交換がどのような場合に成り立つか，についてモヤモヤしてしまったので，リーマン-スティルチェス積分(あるいはリーマン積分)の場合にどうなるか調べることにしました． よく知られていることと思いますが，結論…

解析学分野を勉強していると，関数列の各点収束(pointwise convergence)や一様収束(uniform convergence)を目にすることがあります．そこでモヤモヤしてしまうことがあるので，定義を調べることにしました．ただ他にもよい解説がたくさんあるので，本記事で…

本記事は以下の記事のDefinition 6.1(の一部)を用います． リーマン積分の定義を調べる - エンジニアを目指す浪人のブログ 解析学分野を勉強していると，リーマン-スティルチェス積分(Riemann-Stieltjes integral)を目にすることがあります．リーマン積分(Ri…

リーマン積分(Riemann integral)とはなにか？という問いに答えられるようにするため，リーマン積分の定義を調べることにしました． Rudin(1976)から引用します． 6.1 Definition Let be a given interval. By a partition of we mean a finite set of points…

関数解析の勉強をしていて， 上の全ての実数値連続関数からなる(ベクトル)空間はノルム について完備ではないという事実を知りました(測度論における 空間は完備であるのに！)．なのでその証明をメモしておくことにしました． 問題の設定のため，ここでは 上…

関数解析の勉強をしていて，有界線形作用素(bounded linear operator)の定義のうち，有界とはどういう意味であるか，をさくっと理解できずにモヤモヤしてしまったので，その解釈をメモしておくことにしました．問題を設定するため，過去記事2.2-1 Definition…

関数解析の勉強をしていて，教科書のノルムの連続性についての記述が証明の方向性を示すのみだったので，証明を完成させることにしました．問題を設定するため，以下の定義をしておきます．Kreyszig(1989)から引用します． 2.2-1 Definition (Normed space, …