本記事は以下の過去記事で得た結果を用います． いくつかの集中不等式(Hoeffding's Inequalityなど)を証明する - エンジニアを目指す浪人のブログ 集中不等式(Bernstein's Inequality)を証明する - エンジニアを目指す浪人のブログ 勉強を進めていて，集中不…

勉強を進めていて，機械学習であつかう基本的な問題の一つである二値分類(binary classification)の数理について知りました．性能のよい分類器とはどのようなものかを考えるという内容で，具体的には，ベイズ分類器，経験損失最小化，超過損失とくに推定誤差…

本記事は以下の過去記事で得た結果を用います． いくつかの集中不等式(Hoeffding's Inequalityなど)を証明する - エンジニアを目指す浪人のブログ 本記事では，集中不等式(concentration inequality)の一つである Bernstein's inequality を(一部分を除いて)…

勉強を進めていて，確率論における概念である集中不等式(concentration inequality)を知りました．これは確率変数がある値(例えば期待値)からどのくらい確率的に乖離するかを評価する不等式のことです． 本記事では，統計的学習理論あるいは機械学習に応用さ…

勉強を進めていて，機械学習あるいは組み合わせ最適化における基本的な原理であるノーフリーランチ定理(no free lunch theorem)を知りました．文献[2]によるとそれぞれ別のものとして考えるようです．機械学習におけるそれがどのようなものかについて，文献[…

応用上よく使われる特異値分解(singular value decomposition ; SVD)について，どのように導出するのか，左特異ベクトル，特異値，右特異ベクトルがいったい何なのかという点にいつもモヤモヤしてしまうので，その内容を調べてまとめることにしました．文献[…

本記事は以下の過去記事で得た結果を用います．ラグランジュ関数，ラグランジュ双対問題，最適性条件(KKT条件)のあらすじをまとめる - エンジニアを目指す浪人のブログ 勉強を進めていて，凸最適化問題における鞍点定理(saddle point theorem)とミニマックス…

数理最適化で扱う問題のなかで，凸最適化問題は応用上よく使われること，また，ラグランジュ関数，ラグランジュ双対問題，最適性条件(KKT条件)は重要な概念であることはよく知られていると思います．それらを勉強するために読んだもののうち，Boyd and Vande…

数理最適化を用いる文献を読んでいると，相対的内部(relative interior)という概念がでてくることがあります．位相空間論の概念である内部(interior)と似ているものであることはすぐわかるのですが，それらの違いがイメージできずにモヤモヤしてしまうことが…

データ解析の手法の一つである主成分分析(principal component analysis ; PCA)について，それなりに利用頻度が高いものの，そのたびに勉強しなおしていて効率が悪かったので，その基礎をまとめておくことにしました．=====================================…

測定データから計算される分散共分散行列と相関行列は，サンプル数が変数の数よりも少ないとき正定値でない行列になります．このことについての数学的な記述を見たことがなかったので，調べて証明することにしました． 正定値でないならばコレスキー分解でき…

応用上，測定データから計算される分散共分散行列(covariance matrix)と相関行列(correlation matrix)が用いられることがよくあります(英語ではそれぞれ，sample covariance/correlation matrix, empirical covariance/correlation matrixなどと呼ばれること…

応用上よく用いられると思われる，分散共分散行列(covariance matrix)は半正定値(positive semidefinite)である，という事実を証明することにしました．同様に相関行列(correlation matrix)も半正定値であることについて，記事の最後で簡単に触れます． 問題…

勉強を進めていて，レイリー商(Rayleigh quotient)というものを知りました．少し調べてみて，Horn and Johnson(2013)にある記述がわかりやすかったので，その定理と証明をメモすることにしました． 問題を設定するため，いくつか準備をします． 行 列のエル…

応用上よく用いられると思われる，線形代数における以下の事実について証明を調べたのでメモすることにしました．証明では，エルミート行列のすべての固有値は実数である，というよく知られている事実を用います(過去記事を参照してください)． はユニタリ空…

応用上よく用いられると思われる，線形代数における以下の事実について証明を調べたのでメモすることにしました． 事実.エルミート行列 のすべての固有値は実数である． 証明. のある固有値を ，それに対する固有ベクトルを とすると， である．一方， なの…

線形代数や関数解析を勉強していて，線形写像(linear mapping)あるいは線形作用素(linear operator)と行列(matrix)の関係がいつもよく理解できずにモヤモヤして終わってしまうので，線形作用素を表現する行列の構成についてメモしておくことにしました．問題…

勉強を進めていて，関数列の積分と極限操作の交換がどのような場合に成り立つか，についてモヤモヤしてしまったので，リーマン-スティルチェス積分(あるいはリーマン積分)の場合にどうなるか調べることにしました． よく知られていることと思いますが，結論…

解析学分野を勉強していると，関数列の各点収束(pointwise convergence)や一様収束(uniform convergence)を目にすることがあります．そこでモヤモヤしてしまうことがあるので，定義を調べることにしました．ただ他にもよい解説がたくさんあるので，本記事で…

本記事は以下の記事のDefinition 6.1(の一部)を用います． リーマン積分の定義を調べる - エンジニアを目指す浪人のブログ 解析学分野を勉強していると，リーマン-スティルチェス積分(Riemann-Stieltjes integral)を目にすることがあります．リーマン積分(Ri…

リーマン積分(Riemann integral)とはなにか？という問いに答えられるようにするため，リーマン積分の定義を調べることにしました． Rudin(1976)から引用します． 6.1 Definition Let be a given interval. By a partition of we mean a finite set of points…

関数解析の勉強をしていて， 上の全ての実数値連続関数からなる(ベクトル)空間はノルム について完備ではないという事実を知りました(測度論における 空間は完備であるのに！)．なのでその証明をメモしておくことにしました． 問題の設定のため，ここでは 上…

関数解析の勉強をしていて，有界線形作用素(bounded linear operator)の定義のうち，有界とはどういう意味であるか，をさくっと理解できずにモヤモヤしてしまったので，その解釈をメモしておくことにしました．問題を設定するため，過去記事2.2-1 Definition…

関数解析の勉強をしていて，教科書のノルムの連続性についての記述が証明の方向性を示すのみだったので，証明を完成させることにしました．問題を設定するため，以下の定義をしておきます．Kreyszig(1989)から引用します． 2.2-1 Definition (Normed space, …

位相を用いている教科書を読んでいると，集積点(accumulation point)，閉包(closure)，稠密(dense)，可分(separable)，などの概念を目にすることがあります．それらの定義をよく覚えておらずいつもモヤモヤしてしまうのですが，Kreyszig(1989)(関数解析の教…

確率過程を用いる文献を読んでいると停止時刻(stopping time)という概念がでてきます．自分の頭を整理するため，その定義がどのように導入されるのか，どのように説明しているか，についていくつかの教科書を調べることにしました．本記事で扱うフィルトレー…

本記事は前回の記事の続きです．離散時間の場合と比較しながら読むとイメージしやすいと思います． フィルトレーションの定義を調べるその1(離散時間) - エンジニアを目指す浪人のブログ さっそく連続時間の場合の定義を調べていきます．Kuo(2006)には以下の…

確率過程を用いる文献を読んでいるとフィルトレーション(filtration)という概念がでてきます．自分の頭を整理するため，その定義がどのように導入されるのか，どのように説明しているか，についていくつかの教科書を調べることにしました．本記事では離散時…

測度論や関数解析の勉強をしていると，ノルムの極限が ノルム(L無限大ノルム)であることを証明なしで用いている場合を目にします．そこでモヤモヤすることがあったので，その証明を調べることにしました．問題を設定するため，以下の定義をしておきます．Rud…