確率論
本記事は以下の過去記事の内容を用います．シューア補行列の定義とその背景，逆行列補題との関係をまとめる - エンジニアを目指す浪人のブログ対称行列のシューア補行列は対称行列であることを証明する - エンジニアを目指す浪人のブログ 応用上よく使われる…
本記事は以下の過去記事で得た結果を用います． いくつかの集中不等式(Hoeffding's Inequalityなど)を証明する - エンジニアを目指す浪人のブログ 勉強を進めていて，確率変数に対するサブガウシアン(sub-Gaussian)という性質を知りました．その定義の意味に…
応用でよく使われる確率過程の1つにマルコフ連鎖(Markov chain)があります．その定義を目にするたびにいまいちモヤモヤしていましたが，わかりやすく感じた定義を文献[1]に見つけることができたので，その内容をメモすることにしました．若干記述を変更して…
勉強を進めていて，確率論の文脈におけるイェンゼンの不等式(Jensen's inequality)の証明が気になってモヤモヤしてしまいました．グラフをイメージすれば直感的には理解しやすいですが，きちんとした(?)数学的な証明を調べることにしました．また，応用で用…
本記事は以下の過去記事で得た結果を用います． いくつかの集中不等式(Hoeffding's Inequalityなど)を証明する - エンジニアを目指す浪人のブログ 集中不等式(Bernstein's Inequality)を証明する - エンジニアを目指す浪人のブログ 勉強を進めていて，集中不…
本記事は以下の過去記事で得た結果を用います． いくつかの集中不等式(Hoeffding's Inequalityなど)を証明する - エンジニアを目指す浪人のブログ 本記事では，集中不等式(concentration inequality)の一つである Bernstein's inequality を(一部分を除いて)…
勉強を進めていて，確率論における概念である集中不等式(concentration inequality)を知りました．これは確率変数がある値(例えば期待値)からどのくらい確率的に乖離するかを評価する不等式のことです． 本記事では，統計的学習理論あるいは機械学習に応用さ…
応用上よく用いられると思われる，分散共分散行列(covariance matrix)は半正定値(positive semidefinite)である，という事実を証明することにしました．同様に相関行列(correlation matrix)も半正定値であることについて，記事の最後で簡単に触れます． 問題…
確率過程を用いる文献を読んでいると停止時刻(stopping time)という概念がでてきます．自分の頭を整理するため，その定義がどのように導入されるのか，どのように説明しているか，についていくつかの教科書を調べることにしました．本記事で扱うフィルトレー…
本記事は前回の記事の続きです．離散時間の場合と比較しながら読むとイメージしやすいと思います． フィルトレーションの定義を調べるその1(離散時間) - エンジニアを目指す浪人のブログ さっそく連続時間の場合の定義を調べていきます．Kuo(2006)には以下の…
確率過程を用いる文献を読んでいるとフィルトレーション(filtration)という概念がでてきます．自分の頭を整理するため，その定義がどのように導入されるのか，どのように説明しているか，についていくつかの教科書を調べることにしました．本記事では離散時…
確率解析(連続確率過程)を勉強していると序盤の設定のところでシリンダー集合(柱状集合)が突然現れ，離散確率過程とのギャップにモヤモヤすることがあったので，シリンダー集合について調べることにしました． 上の連続関数の集合 を考え，距離 を導入します…
確率論を用いている文献を見ていると，可分(separable)という概念を目にすることがあります．そこでモヤモヤしてしまうことが多いので，どのようなものか調べることにしました．可分性は位相空間に対して定義される性質ですが，歴史的には初めて導入されたと…
測度論や確率論における重要な概念としてσ-加法族(-algebra)とボレル集合体(Borel -algebra)があります．それらについて頭を整理するべく調べていたのですが，Williams(1991)の記述が明快ですので，少し長いですが引用します． Let be a set.Algebra on A co…
本記事は以下の2つの記事の続きです．これらの記事で用いた記号を説明なしで用います． ディリクレ過程の定義を考えるその1 (ディリクレ過程の定義を調べる) - エンジニアを目指す浪人のブログ ディリクレ過程の定義を考えるその2 (ランダムな確率測度とはな…
本記事は前回の記事の続きです．前回の記事で用いた記号を説明なしで用います． ディリクレ過程の定義を考えるその1 (ディリクレ過程の定義を調べる) - エンジニアを目指す浪人のブログ それでは，ランダムな確率測度とはどのようなものでしょうか．確率空間…
勉強を進めているうちにディリクレ過程(Dirichlet process)というものを知ったのですが，Wikipediaを見る程度ではよくわからなかったので，どのようなものかイメージできる程度まで文献を調べることにしました．以下のスライドに定義を載せます．ディリクレ…
確率過程(stochastic process)というと，時間とともに変動し実数(or実数を要素とするベクトル)に値をとる確率変数，を目にする機会が多いと思います．数学的な定義はどのようなものでしょうか．例えば，Kuo(2006)には以下のように書いてあります．----------…
統計学におけるモデル選択基準としては，赤池情報量規準(Akaike's Information Criterion; AIC)が最もよく知られていますが，原論文Akaike(1973)にてその導出を勉強しました．以下はその記録をスライドにしたものです． speakerdeck.com 参考文献[1] Akaike,…
