エンジニアを目指す浪人のブログ

情報系に役立ちそうな応用数理をゆるめにメモします

マルコフ連鎖の定義をメモする

応用でよく使われる確率過程の1つにマルコフ連鎖(Markov chain)があります.その定義を目にするたびにいまいちモヤモヤしていましたが,わかりやすく感じた定義を文献[1]に見つけることができたので,その内容をメモすることにしました.若干記述を変更している箇所がありますが,数学的な意味は変えていません.


はじめに {\displaystyle \mathcal{F}_n }-マルコフ連鎖の定義を示します.離散時間確率過程の定義に(6.1.1)の条件を加えたものになっています.また測度空間(measurable space)を状態空間(state space)といいかえています.{\displaystyle n \in \{ 0,1,\ldots \} } です.
---------------------------------------------------------------------------------------------------------------------------------------------
DEFINITION 6.1.1.
Given a filtered probability space {\displaystyle (\Omega, \mathcal{F},\{\mathcal{F}_n : n \ge 0 \}, \mathbf{P}) }, an {\displaystyle \{\mathcal{F}_n \} }-adapted stochastic process {\displaystyle \{X_n \} } taking values in a measurable space {\displaystyle (\mathbb{S}, \mathcal{S}) } is an {\displaystyle \mathcal{F}_n }-Markov chain with state space {\displaystyle (\mathbb{S}, \mathcal{S}) } if for any {\displaystyle A \in \mathcal{S} },

(6.1.1){\displaystyle \;\;\; \mathbf{P} [ X_{n+1} \in A | \mathcal{F}_n ] = \mathbf{P} [ X_{n+1} \in A | X_n ], \;\;\; \forall n, \;\;\; a.s. }
---------------------------------------------------------------------------------------------------------------------------------------------


つぎにマルコフ連鎖の定義を示します.フィルトレーション(filtration)に自然なフィルトレーション(natural filtration)(それぞれ過去記事にあります)を採用しても引き続き(6.1.1)の性質を満たすことに注意します.tower property(文献[3]にあります)を用います.
---------------------------------------------------------------------------------------------------------------------------------------------
REMARK.
We call {\displaystyle \{ X_n \} } a Markov chain in case {\displaystyle \mathcal{F}_n = \sigma(X_k, k \le n) }, noting that if {\displaystyle \{ X_n \} } is an {\displaystyle \mathcal{F}_n}-Markov chain then it is also a Markov chain. Indeed, natural filtration {\displaystyle \mathcal{F}^{\mathbf{X}}_n = \sigma(X_k, k \le n) \subseteq {F}_n } since {\displaystyle \{ X_n \} } is adapted to {\displaystyle \mathcal{F}_n}, so by the tower property we have that for any {\displaystyle \mathcal{F}_n}-Markov chain, any {\displaystyle A \in \mathcal{S} } and all {\displaystyle n },

{\displaystyle \;\;\;\;\;\; \mathbf{P} [ X_{n+1} \in A | \mathcal{F}^{\mathbf{X}}_n ] = \mathbf{E} [ I_{ X_{n+1} \in A } | \mathcal{F}^{\mathbf{X}}_n ] }
{\displaystyle \;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\; = \mathbf{E} [ \mathbf{E} [ I_{ X_{n+1} \in A } | \mathcal{F}_n ] | \mathcal{F}^{\mathbf{X}}_n ] \;\;\;\;\;\; \because } tower property
{\displaystyle \;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\; = \mathbf{E} [ \mathbf{E} [ I_{ X_{n+1} \in A } | X_n ] | \mathcal{F}^{\mathbf{X}}_n ] \;\;\;\;\;\; \because } (6.1.1)
{\displaystyle \;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\; = \mathbf{E} [ I_{ X_{n+1} \in A } | X_n ] \;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\; \because } {\displaystyle \{ X_n \} }{\displaystyle \mathcal{F}^{\mathbf{X}}_n }-可測
{\displaystyle \;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\; = \mathbf{P} [ X_{n+1} \in A | X_n ], \;\;\; a.s. }
---------------------------------------------------------------------------------------------------------------------------------------------


使いやすくするために関数 {\displaystyle p } を導入します.{\displaystyle p } は応用でよく使われる推移確率行列(transition probability matrix)を抽象化したものです.確率測度 {\displaystyle \mathbf{P} } の性質を {\displaystyle n } に依存しない関数 {\displaystyle p } で決定することにより,斉次的な(homogeneous)マルコフ連鎖を定義しています.

---------------------------------------------------------------------------------------------------------------------------------------------
DEFINITION 6.1.2.
A set funciton {\displaystyle p : \mathbb{S} \times \mathcal{S} \to [ 0,1 ] } is a transition probability if
{\displaystyle \;\; }(a) For each {\displaystyle x \in \mathbb{S} }, {\displaystyle \;\; p : \mathcal{S} \to [ 0,1 ] \;\; p : A \mapsto p(x,A) } is a probability measure on {\displaystyle (\mathbb{S}, \mathcal{S}) }.
{\displaystyle \;\; }(b) For each {\displaystyle A \in \mathcal{S} }, {\displaystyle \;\; p : \mathbb{S} \to [ 0,1 ] \;\; p : x \mapsto p(x,A) } is a measurable function on {\displaystyle (\mathbb{S}, \mathcal{S}) }.

We say that an {\displaystyle \mathcal{F}_n }-Markov chain {\displaystyle \{ X_n \} } has transition probabilities {\displaystyle p_n(x,A) }, if for every {\displaystyle n \ge 0 } and every {\displaystyle A \in \mathcal{S} },

{\displaystyle \;\;\; \mathbf{P} [ X_{n+1} \in A | \mathcal{F}_n ] = p_n(X_n,A), \;\;\; a.s. }

and call it a homogeneous {\displaystyle \mathcal{F}_n }-Markov chain if {\displaystyle p_n(x,A) = p(x,A) } for all {\displaystyle n, \; x \in \mathbb{S} }, and {\displaystyle A \in \mathcal{S} }.
---------------------------------------------------------------------------------------------------------------------------------------------


以上,マルコフ連鎖の定義をメモしました.確率論の文脈でとらえることですっきりする気がします.

 

参考文献
[1] Stanford University Amir Dembo先生のノート http://statweb.stanford.edu/~adembo/stat-310b/lnotes.pdf
[2] KTH Royal Institute of Technology Jimmy Olsson先生のノート https://www.math.kth.se/matstat/gru/sf3953/Material/L1.pdf
[3] Massachusetts Institute of Technology David Gamarnik先生のノート https://ocw.mit.edu/courses/sloan-school-of-management/15-070j-advanced-stochastic-processes-fall-2013/lecture-notes/MIT15_070JF13_Lec9.pdf