マルコフ連鎖の定義をメモする - エンジニアを目指す浪人のブログ

応用でよく使われる確率過程の1つにマルコフ連鎖(Markov chain)があります．その定義を目にするたびにいまいちモヤモヤしていましたが，わかりやすく感じた定義を文献[1]に見つけることができたので，その内容をメモすることにしました．若干記述を変更している箇所がありますが，数学的な意味は変えていません．

はじめに $\mathcal{F}_n$ -マルコフ連鎖の定義を示します．離散時間確率過程の定義に(6.1.1)の条件を加えたものになっています．また測度空間(measurable space)を状態空間(state space)といいかえています． $n \in \{ 0,1,\ldots \}$ です．
---------------------------------------------------------------------------------------------------------------------------------------------
DEFINITION 6.1.1.
Given a filtered probability space $(\Omega, \mathcal{F},\{\mathcal{F}_n : n \ge 0 \}, \mathbf{P})$ , an $\{\mathcal{F}_n \}$ -adapted stochastic process $\{X_n \}$ taking values in a measurable space $(\mathbb{S}, \mathcal{S})$ is an $\mathcal{F}_n$ -Markov chain with state space $(\mathbb{S}, \mathcal{S})$ if for any $A \in \mathcal{S}$ ,

(6.1.1) $\;\;\; \mathbf{P} [ X_{n+1} \in A | \mathcal{F}_n ] = \mathbf{P} [ X_{n+1} \in A | X_n ], \;\;\; \forall n, \;\;\; a.s.$
---------------------------------------------------------------------------------------------------------------------------------------------

つぎにマルコフ連鎖の定義を示します．フィルトレーション(filtration)に自然なフィルトレーション(natural filtration)(それぞれ過去記事にあります)を採用しても引き続き(6.1.1)の性質を満たすことに注意します．tower property(文献[3]にあります)を用います．
---------------------------------------------------------------------------------------------------------------------------------------------
REMARK.
We call $\{ X_n \}$ a Markov chain in case $\mathcal{F}_n = \sigma(X_k, k \le n)$ , noting that if $\{ X_n \}$ is an $\mathcal{F}_n$ -Markov chain then it is also a Markov chain. Indeed, natural filtration $\mathcal{F}^{\mathbf{X}}_n = \sigma(X_k, k \le n) \subseteq {F}_n$ since $\{ X_n \}$ is adapted to $\mathcal{F}_n$ , so by the tower property we have that for any $\mathcal{F}_n$ -Markov chain, any $A \in \mathcal{S}$ and all $n$ ,

$\;\;\;\;\;\; \mathbf{P} [ X_{n+1} \in A | \mathcal{F}^{\mathbf{X}}_n ] = \mathbf{E} [ I_{ X_{n+1} \in A } | \mathcal{F}^{\mathbf{X}}_n ]$
$\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\; = \mathbf{E} [ \mathbf{E} [ I_{ X_{n+1} \in A } | \mathcal{F}_n ] | \mathcal{F}^{\mathbf{X}}_n ] \;\;\;\;\;\; \because$ tower property
$\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\; = \mathbf{E} [ \mathbf{E} [ I_{ X_{n+1} \in A } | X_n ] | \mathcal{F}^{\mathbf{X}}_n ] \;\;\;\;\;\; \because$ (6.1.1)
$\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\; = \mathbf{E} [ I_{ X_{n+1} \in A } | X_n ] \;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\; \because$ $\{ X_n \}$ は $\mathcal{F}^{\mathbf{X}}_n$ -可測
$\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\; = \mathbf{P} [ X_{n+1} \in A | X_n ], \;\;\; a.s.$
---------------------------------------------------------------------------------------------------------------------------------------------

使いやすくするために関数 $p$ を導入します． $p$ は応用でよく使われる推移確率行列(transition probability matrix)を抽象化したものです．確率測度 $\mathbf{P}$ の性質を $n$ に依存しない関数 $p$ で決定することにより，斉次的な(homogeneous)マルコフ連鎖を定義しています．

---------------------------------------------------------------------------------------------------------------------------------------------
DEFINITION 6.1.2.
A set funciton $p : \mathbb{S} \times \mathcal{S} \to [ 0,1 ]$ is a transition probability if
$\;\;$ (a) For each $x \in \mathbb{S}$ , $\;\; p : \mathcal{S} \to [ 0,1 ] \;\; p : A \mapsto p(x,A)$ is a probability measure on $(\mathbb{S}, \mathcal{S})$ .
$\;\;$ (b) For each $A \in \mathcal{S}$ , $\;\; p : \mathbb{S} \to [ 0,1 ] \;\; p : x \mapsto p(x,A)$ is a measurable function on $(\mathbb{S}, \mathcal{S})$ .

We say that an $\mathcal{F}_n$ -Markov chain $\{ X_n \}$ has transition probabilities $p_n(x,A)$ , if for every $n \ge 0$ and every $A \in \mathcal{S}$ ,

$\;\;\; \mathbf{P} [ X_{n+1} \in A | \mathcal{F}_n ] = p_n(X_n,A), \;\;\; a.s.$

and call it a homogeneous $\mathcal{F}_n$ -Markov chain if $p_n(x,A) = p(x,A)$ for all $n, \; x \in \mathbb{S}$ , and $A \in \mathcal{S}$ .
---------------------------------------------------------------------------------------------------------------------------------------------

以上，マルコフ連鎖の定義をメモしました．確率論の文脈でとらえることですっきりする気がします．

参考文献
[1] Stanford University Amir Dembo先生のノート http://statweb.stanford.edu/~adembo/stat-310b/lnotes.pdf
[2] KTH Royal Institute of Technology Jimmy Olsson先生のノート https://www.math.kth.se/matstat/gru/sf3953/Material/L1.pdf
[3] Massachusetts Institute of Technology David Gamarnik先生のノート https://ocw.mit.edu/courses/sloan-school-of-management/15-070j-advanced-stochastic-processes-fall-2013/lecture-notes/MIT15_070JF13_Lec9.pdf