エンジニアを目指す浪人のブログ

情報系に役立ちそうな応用数理をゆるめにメモします

確率論

集中不等式(Hoeffding's inequality, Bernstein's inequality)の別表現について考える

本記事は以下の過去記事で得た結果を用います. いくつかの集中不等式(Hoeffding's Inequalityなど)を証明する - エンジニアを目指す浪人のブログ 集中不等式(Bernstein's Inequality)を証明する - エンジニアを目指す浪人のブログ 勉強を進めていて,集中不…

集中不等式(Bernstein's Inequality)を証明する

本記事は以下の過去記事で得た結果を用います. いくつかの集中不等式(Hoeffding's Inequalityなど)を証明する - エンジニアを目指す浪人のブログ 本記事では,集中不等式(concentration inequality)の一つである Bernstein's inequality を(一部分を除いて)…

いくつかの集中不等式(Hoeffding's Inequalityなど)を証明する

勉強を進めていて,確率論における概念である集中不等式(concentration inequality)を知りました.これは確率変数がある値(例えば期待値)からどのくらい確率的に乖離するかを評価する不等式のことです. 本記事では,統計的学習理論あるいは機械学習に応用さ…

分散共分散行列(と相関行列)は半正定値であることを証明する

応用上よく用いられると思われる,分散共分散行列(covariance matrix)は半正定値(positive semidefinite)である,という事実を証明することにしました.同様に相関行列(correlation matrix)も半正定値であることについて,記事の最後で簡単に触れます. 問題…

停止時刻の定義を調べる(離散時間と連続時間)

確率過程を用いる文献を読んでいると停止時刻(stopping time)という概念がでてきます.自分の頭を整理するため,その定義がどのように導入されるのか,どのように説明しているか,についていくつかの教科書を調べることにしました.本記事で扱うフィルトレー…

フィルトレーションの定義を調べるその2(連続時間)

本記事は前回の記事の続きです.離散時間の場合と比較しながら読むとイメージしやすいと思います. フィルトレーションの定義を調べるその1(離散時間) - エンジニアを目指す浪人のブログ さっそく連続時間の場合の定義を調べていきます.Kuo(2006)には以下の…

フィルトレーションの定義を調べるその1(離散時間)

確率過程を用いる文献を読んでいるとフィルトレーション(filtration)という概念がでてきます.自分の頭を整理するため,その定義がどのように導入されるのか,どのように説明しているか,についていくつかの教科書を調べることにしました.本記事では離散時…

シリンダー集合について考える

確率解析(連続確率過程)を勉強していると序盤の設定のところでシリンダー集合(柱状集合)が突然現れ,離散確率過程とのギャップにモヤモヤすることがあったので,シリンダー集合について調べることにしました. 上の連続関数の集合 を考え,距離 を導入します…

可分距離空間についてすこし考える

確率論を用いている文献を見ていると,可分(separable)という概念を目にすることがあります.そこでモヤモヤしてしまうことが多いので,どのようなものか調べることにしました.可分性は位相空間に対して定義される性質ですが,歴史的には初めて導入されたと…

σ-加法族とボレル集合体の定義を調べる

測度論や確率論における重要な概念としてσ-加法族(-algebra)とボレル集合体(Borel -algebra)があります.それらについて頭を整理するべく調べていたのですが,Williams(1991)の記述が明快ですので,少し長いですが引用します. Let be a set.Algebra on A co…

ディリクレ過程の定義を考えるその3 (サンプリング)

本記事は以下の2つの記事の続きです.これらの記事で用いた記号を説明なしで用います. ディリクレ過程の定義を考えるその1 (ディリクレ過程の定義を調べる) - エンジニアを目指す浪人のブログ ディリクレ過程の定義を考えるその2 (ランダムな確率測度とはな…

ディリクレ過程の定義を考えるその2 (ランダムな確率測度とはなにか)

本記事は前回の記事の続きです.前回の記事で用いた記号を説明なしで用います. ディリクレ過程の定義を考えるその1 (ディリクレ過程の定義を調べる) - エンジニアを目指す浪人のブログ それでは,ランダムな確率測度とはどのようなものでしょうか.確率空間…

ディリクレ過程の定義を考えるその1 (ディリクレ過程の定義を調べる)

勉強を進めているうちにディリクレ過程(Dirichlet process)というものを知ったのですが,Wikipediaを見る程度ではよくわからなかったので,どのようなものかイメージできる程度まで文献を調べることにしました.以下のスライドに定義を載せます.ディリクレ…

確率過程の定義についてすこし考える

確率過程(stochastic process)というと,時間とともに変動し実数(or実数を要素とするベクトル)に値をとる確率変数,を目にする機会が多いと思います.数学的な定義はどのようなものでしょうか.例えば,Kuo(2006)には以下のように書いてあります.----------…

Akaike(1973)にしたがってAICを導出してみる

統計学におけるモデル選択基準としては,赤池情報量規準(Akaike's Information Criterion; AIC)が最もよく知られていますが,原論文Akaike(1973)にてその導出を勉強しました.以下はその記録をスライドにしたものです. speakerdeck.com 参考文献[1] Akaike,…