読者です 読者をやめる 読者になる 読者になる

エンジニアを目指す浪人のブログ

情報系に役立ちそうな応用数理をゆるめにメモします

凸最適化問題における鞍点定理とミニマックス定理についてまとめる

本記事は以下の過去記事で得た結果を用います.ラグランジュ関数,ラグランジュ双対問題,最適性条件(KKT条件)のあらすじをまとめる - エンジニアを目指す浪人のブログ 勉強を進めていて,凸最適化問題における鞍点定理(saddle point theorem)とミニマックス…

ラグランジュ関数,ラグランジュ双対問題,最適性条件(KKT条件)のあらすじをまとめる

数理最適化で扱う問題のなかで,凸最適化問題は応用上よく使われること,また,ラグランジュ関数,ラグランジュ双対問題,最適性条件(KKT条件)は重要な概念であることはよく知られていると思います.それらを勉強するために読んだもののうち,Boyd and Vande…

内部と相対的内部の違いについて考える

数理最適化を用いる文献を読んでいると,相対的内部(relative interior)という概念がでてくることがあります.位相空間論の概念である内部(interior)と似ているものであることはすぐわかるのですが,それらの違いがイメージできずにモヤモヤしてしまうことが…

主成分分析の基礎をまとめる

データ解析の手法の一つである主成分分析(principal component analysis ; PCA)について,それなりに利用頻度が高いものの,そのたびに勉強しなおしていて効率が悪かったので,その基礎をまとめておくことにしました.=====================================…

サンプル数が変数の数よりも少ないとき分散共分散行列と相関行列は正定値でないことを証明する

測定データから計算される分散共分散行列と相関行列は,サンプル数が変数の数よりも少ないとき正定値でない行列になります.このことについての数学的な記述を見たことがなかったので,調べて証明することにしました. 正定値でないならばコレスキー分解でき…

データから計算される分散共分散行列と相関行列の定義をメモする

応用上,測定データから計算される分散共分散行列(covariance matrix)と相関行列(correlation matrix)が用いられることがよくあります(英語ではそれぞれ,sample covariance/correlation matrix, empirical covariance/correlation matrixなどと呼ばれること…

分散共分散行列(と相関行列)は半正定値であることを証明する

応用上よく用いられると思われる,分散共分散行列(covariance matrix)は半正定値(positive semidefinite)である,という事実を証明することにしました.同様に相関行列(correlation matrix)も半正定値であることについて,記事の最後で簡単に触れます. 問題…

レイリー商についての定理を証明する

勉強を進めていて,レイリー商(Rayleigh quotient)というものを知りました.少し調べてみて,Horn and Johnson(2013)にある記述がわかりやすかったので,その定理と証明をメモすることにしました. 問題を設定するため,いくつか準備をします. 行 列のエル…

エルミート行列の相異なる固有値に対する固有ベクトルは直交することの証明をメモする

応用上よく用いられると思われる,線形代数における以下の事実について証明を調べたのでメモすることにしました.証明では,エルミート行列のすべての固有値は実数である,というよく知られている事実を用います(過去記事を参照してください). はユニタリ空…

エルミート行列のすべての固有値は実数であることの証明をメモする

応用上よく用いられると思われる,線形代数における以下の事実について証明を調べたのでメモすることにしました. 事実.エルミート行列 のすべての固有値は実数である. 証明. のある固有値を ,それに対する固有ベクトルを とすると, である.一方, なの…

有限次元ベクトル空間上の線形作用素を表現する行列を構成する

線形代数や関数解析を勉強していて,線形写像(linear mapping)あるいは線形作用素(linear operator)と行列(matrix)の関係がいつもよく理解できずにモヤモヤして終わってしまうので,線形作用素を表現する行列の構成についてメモしておくことにしました.問題…

一様収束する関数列はリーマン-スティルチェス積分と極限操作が交換可能であることを証明する

勉強を進めていて,関数列の積分と極限操作の交換がどのような場合に成り立つか,についてモヤモヤしてしまったので,リーマン-スティルチェス積分(あるいはリーマン積分)の場合にどうなるか調べることにしました. よく知られていることと思いますが,結論…

関数列の各点収束と一様収束(と数列の収束)の定義について考える

解析学分野を勉強していると,関数列の各点収束(pointwise convergence)や一様収束(uniform convergence)を目にすることがあります.そこでモヤモヤしてしまうことがあるので,定義を調べることにしました.ただ他にもよい解説がたくさんあるので,本記事で…

リーマン-スティルチェス積分の定義を調べる

本記事は以下の記事のDefinition 6.1(の一部)を用います. リーマン積分の定義を調べる - エンジニアを目指す浪人のブログ 解析学分野を勉強していると,リーマン-スティルチェス積分(Riemann-Stieltjes integral)を目にすることがあります.リーマン積分(Ri…

リーマン積分の定義を調べる

リーマン積分(Riemann integral)とはなにか?という問いに答えられるようにするため,リーマン積分の定義を調べることにしました. Rudin(1976)から引用します. 6.1 Definition Let be a given interval. By a partition of we mean a finite set of points…

連続関数の空間はLpノルムのリーマン積分版?について完備でないことを証明する

関数解析の勉強をしていて, 上の全ての実数値連続関数からなる(ベクトル)空間はノルム について完備ではないという事実を知りました(測度論における 空間は完備であるのに!).なのでその証明をメモしておくことにしました. 問題の設定のため,ここでは 上…

有界線形作用素の定義の有界についてすこし考える

関数解析の勉強をしていて,有界線形作用素(bounded linear operator)の定義のうち,有界とはどういう意味であるか,をさくっと理解できずにモヤモヤしてしまったので,その解釈をメモしておくことにしました.問題を設定するため,過去記事2.2-1 Definition…

ノルムの連続性を証明する

関数解析の勉強をしていて,教科書のノルムの連続性についての記述が証明の方向性を示すのみだったので,証明を完成させることにしました.問題を設定するため,以下の定義をしておきます.Kreyszig(1989)から引用します. 2.2-1 Definition (Normed space, …

集積点,閉包,稠密,可分の定義をメモする

位相を用いている教科書を読んでいると,集積点(accumulation point),閉包(closure),稠密(dense),可分(separable),などの概念を目にすることがあります.それらの定義をよく覚えておらずいつもモヤモヤしてしまうのですが,Kreyszig(1989)(関数解析の教…

停止時刻の定義を調べる(離散時間と連続時間)

確率過程を用いる文献を読んでいると停止時刻(stopping time)という概念がでてきます.自分の頭を整理するため,その定義がどのように導入されるのか,どのように説明しているか,についていくつかの教科書を調べることにしました.本記事で扱うフィルトレー…

フィルトレーションの定義を調べるその2(連続時間)

本記事は前回の記事の続きです.離散時間の場合と比較しながら読むとイメージしやすいと思います. フィルトレーションの定義を調べるその1(離散時間) - エンジニアを目指す浪人のブログ さっそく連続時間の場合の定義を調べていきます.Kuo(2006)には以下の…

フィルトレーションの定義を調べるその1(離散時間)

確率過程を用いる文献を読んでいるとフィルトレーション(filtration)という概念がでてきます.自分の頭を整理するため,その定義がどのように導入されるのか,どのように説明しているか,についていくつかの教科書を調べることにしました.本記事では離散時…

Lpノルムの極限がL∞ノルムであることを証明する

測度論や関数解析の勉強をしていると,ノルムの極限が ノルム(L無限大ノルム)であることを証明なしで用いている場合を目にします.そこでモヤモヤすることがあったので,その証明を調べることにしました.問題を設定するため,以下の定義をしておきます.Rud…

シリンダー集合について考える

確率解析(連続確率過程)を勉強していると序盤の設定のところでシリンダー集合(柱状集合)が突然現れ,離散確率過程とのギャップにモヤモヤすることがあったので,シリンダー集合について調べることにしました. 上の連続関数の集合 を考え,距離 を導入します…

可分距離空間についてすこし考える

確率論を用いている文献を見ていると,可分(separable)という概念を目にすることがあります.そこでモヤモヤしてしまうことが多いので,どのようなものか調べることにしました.可分性は位相空間に対して定義される性質ですが,歴史的には初めて導入されたと…

σ-加法族とボレル集合体の定義を調べる

測度論や確率論における重要な概念としてσ-加法族(-algebra)とボレル集合体(Borel -algebra)があります.それらについて頭を整理するべく調べていたのですが,Williams(1991)の記述が明快ですので,少し長いですが引用します. Let be a set.Algebra on A co…

ディリクレ過程の定義を考えるその3 (サンプリング)

本記事は以下の2つの記事の続きです.これらの記事で用いた記号を説明なしで用います. ディリクレ過程の定義を考えるその1 (ディリクレ過程の定義を調べる) - エンジニアを目指す浪人のブログ ディリクレ過程の定義を考えるその2 (ランダムな確率測度とはな…

ディリクレ過程の定義を考えるその2 (ランダムな確率測度とはなにか)

本記事は前回の記事の続きです.前回の記事で用いた記号を説明なしで用います. ディリクレ過程の定義を考えるその1 (ディリクレ過程の定義を調べる) - エンジニアを目指す浪人のブログ それでは,ランダムな確率測度とはどのようなものでしょうか.確率空間…

ディリクレ過程の定義を考えるその1 (ディリクレ過程の定義を調べる)

勉強を進めているうちにディリクレ過程(Dirichlet process)というものを知ったのですが,Wikipediaを見る程度ではよくわからなかったので,どのようなものかイメージできる程度まで文献を調べることにしました.以下のスライドに定義を載せます.ディリクレ…

確率過程の定義についてすこし考える

確率過程(stochastic process)というと,時間とともに変動し実数(or実数を要素とするベクトル)に値をとる確率変数,を目にする機会が多いと思います.数学的な定義はどのようなものでしょうか.例えば,Kuo(2006)には以下のように書いてあります.----------…

Akaike(1973)にしたがってAICを導出してみる

統計学におけるモデル選択基準としては,赤池情報量規準(Akaike's Information Criterion; AIC)が最もよく知られていますが,原論文Akaike(1973)にてその導出を勉強しました.以下はその記録をスライドにしたものです. speakerdeck.com 参考文献[1] Akaike,…