確率論
本記事は以下の過去記事の内容を用います.シューア補行列の定義とその背景,逆行列補題との関係をまとめる - エンジニアを目指す浪人のブログ対称行列のシューア補行列は対称行列であることを証明する - エンジニアを目指す浪人のブログ 応用上よく使われる…
本記事は以下の過去記事で得た結果を用います. いくつかの集中不等式(Hoeffding's Inequalityなど)を証明する - エンジニアを目指す浪人のブログ 勉強を進めていて,確率変数に対するサブガウシアン(sub-Gaussian)という性質を知りました.その定義の意味に…
応用でよく使われる確率過程の1つにマルコフ連鎖(Markov chain)があります.その定義を目にするたびにいまいちモヤモヤしていましたが,わかりやすく感じた定義を文献[1]に見つけることができたので,その内容をメモすることにしました.若干記述を変更して…
勉強を進めていて,確率論の文脈におけるイェンゼンの不等式(Jensen's inequality)の証明が気になってモヤモヤしてしまいました.グラフをイメージすれば直感的には理解しやすいですが,きちんとした(?)数学的な証明を調べることにしました.また,応用で用…
本記事は以下の過去記事で得た結果を用います. いくつかの集中不等式(Hoeffding's Inequalityなど)を証明する - エンジニアを目指す浪人のブログ 集中不等式(Bernstein's Inequality)を証明する - エンジニアを目指す浪人のブログ 勉強を進めていて,集中不…
本記事は以下の過去記事で得た結果を用います. いくつかの集中不等式(Hoeffding's Inequalityなど)を証明する - エンジニアを目指す浪人のブログ 本記事では,集中不等式(concentration inequality)の一つである Bernstein's inequality を(一部分を除いて)…
勉強を進めていて,確率論における概念である集中不等式(concentration inequality)を知りました.これは確率変数がある値(例えば期待値)からどのくらい確率的に乖離するかを評価する不等式のことです. 本記事では,統計的学習理論あるいは機械学習に応用さ…
応用上よく用いられると思われる,分散共分散行列(covariance matrix)は半正定値(positive semidefinite)である,という事実を証明することにしました.同様に相関行列(correlation matrix)も半正定値であることについて,記事の最後で簡単に触れます. 問題…
確率過程を用いる文献を読んでいると停止時刻(stopping time)という概念がでてきます.自分の頭を整理するため,その定義がどのように導入されるのか,どのように説明しているか,についていくつかの教科書を調べることにしました.本記事で扱うフィルトレー…
本記事は前回の記事の続きです.離散時間の場合と比較しながら読むとイメージしやすいと思います. フィルトレーションの定義を調べるその1(離散時間) - エンジニアを目指す浪人のブログ さっそく連続時間の場合の定義を調べていきます.Kuo(2006)には以下の…
確率過程を用いる文献を読んでいるとフィルトレーション(filtration)という概念がでてきます.自分の頭を整理するため,その定義がどのように導入されるのか,どのように説明しているか,についていくつかの教科書を調べることにしました.本記事では離散時…
確率解析(連続確率過程)を勉強していると序盤の設定のところでシリンダー集合(柱状集合)が突然現れ,離散確率過程とのギャップにモヤモヤすることがあったので,シリンダー集合について調べることにしました. 上の連続関数の集合 を考え,距離 を導入します…
確率論を用いている文献を見ていると,可分(separable)という概念を目にすることがあります.そこでモヤモヤしてしまうことが多いので,どのようなものか調べることにしました.可分性は位相空間に対して定義される性質ですが,歴史的には初めて導入されたと…
測度論や確率論における重要な概念としてσ-加法族(-algebra)とボレル集合体(Borel -algebra)があります.それらについて頭を整理するべく調べていたのですが,Williams(1991)の記述が明快ですので,少し長いですが引用します. Let be a set.Algebra on A co…
本記事は以下の2つの記事の続きです.これらの記事で用いた記号を説明なしで用います. ディリクレ過程の定義を考えるその1 (ディリクレ過程の定義を調べる) - エンジニアを目指す浪人のブログ ディリクレ過程の定義を考えるその2 (ランダムな確率測度とはな…
本記事は前回の記事の続きです.前回の記事で用いた記号を説明なしで用います. ディリクレ過程の定義を考えるその1 (ディリクレ過程の定義を調べる) - エンジニアを目指す浪人のブログ それでは,ランダムな確率測度とはどのようなものでしょうか.確率空間…
勉強を進めているうちにディリクレ過程(Dirichlet process)というものを知ったのですが,Wikipediaを見る程度ではよくわからなかったので,どのようなものかイメージできる程度まで文献を調べることにしました.以下のスライドに定義を載せます.ディリクレ…
確率過程(stochastic process)というと,時間とともに変動し実数(or実数を要素とするベクトル)に値をとる確率変数,を目にする機会が多いと思います.数学的な定義はどのようなものでしょうか.例えば,Kuo(2006)には以下のように書いてあります.----------…
統計学におけるモデル選択基準としては,赤池情報量規準(Akaike's Information Criterion; AIC)が最もよく知られていますが,原論文Akaike(1973)にてその導出を勉強しました.以下はその記録をスライドにしたものです. speakerdeck.com 参考文献[1] Akaike,…