エンジニアを目指す浪人のブログ

情報系に役立ちそうな応用数理をゆるめにメモします

確率変数のサブガウシアンの定義の意味について考える

本記事は以下の過去記事で得た結果を用います. 

いくつかの集中不等式(Hoeffding's Inequalityなど)を証明する - エンジニアを目指す浪人のブログ

 

勉強を進めていて,確率変数に対するサブガウシアン(sub-Gaussian)という性質を知りました.その定義の意味についてモヤモヤしてしまったので,調べてまとめることにしました.以下の定義と補題は文献[1]から引用します.

はじめに定義を示します.
---------------------------------------------------------------------------------------------------------------------------------------------
定義 1.2.
以下を満たす確率変数 {\displaystyle X \in \mathsf{R} } を代理分散(variance proxy) {\displaystyle \sigma^2 } をもつサブガウシアン(sub-Gaussian)であるという.

(1.2.1){\displaystyle \;\;\; \mathsf{E} [ X ] = 0 }
(1.2.2){\displaystyle \;\;\; \mathsf{E} [ \exp(sX) ] \le \exp \left( \frac{\sigma^2 s^2}{2} \right), \;\;\;\;\;\; \forall s \in \mathsf{R} }
---------------------------------------------------------------------------------------------------------------------------------------------


この定義からは意味がわかりにくいですが,以下の補題から,サブガウシアンならば確率分布の裾の減衰(確率分布の裾ではなくその減衰であることに注意)を指数関数で評価できる(上から抑えられる)ことがわかります.確率変数 {\displaystyle X } がサブガウシアンであるとき {\displaystyle X \sim \mathsf{subG}(\sigma^2) } と書くことにします.
---------------------------------------------------------------------------------------------------------------------------------------------
補題 1.3.
{\displaystyle X \sim \mathsf{subG}(\sigma^2) } とする.任意の {\displaystyle t \gt 0 } について以下が成り立つ.

(1.3.1){\displaystyle \;\;\; \mathsf{P} [ X \gt t \ ] \;\; \le \exp \left( - \frac{t^2}{2 \sigma^2} \right) }
(1.3.2){\displaystyle \;\;\; \mathsf{P} [ X \lt -t \ ] \le \exp \left( - \frac{t^2}{2 \sigma^2} \right) }

証明.

(1.3.1)を証明する.

{\displaystyle \;\;\; \mathsf{P} [ X \gt t ] \le \mathsf{P} [ X \ge t ] }

{\displaystyle \;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\; \le \inf_{s \gt 0} \left( e^{-st} \mathsf{E}[e^{sX} ] \right) \;\;\;\;\;\; \because } 冒頭の過去記事の系2. (Chernoff bound)
{\displaystyle \;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\; \le \inf_{s \gt 0} \left( e^{-st} e^{\sigma^2 s^2 / 2} \right) \;\;\;\;\;\; \because } (1.2.2)
{\displaystyle \;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\; = \inf_{s \gt 0} \left( e^{ ( \sigma^2 / 2 ) \{ s^2 - (2t/\sigma^2) s \} } \right) }
{\displaystyle \;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\; = \inf_{s \gt 0} \left( e^{ ( \sigma^2 / 2 ) \{ (s - t/\sigma^2 )^2 - t^2/\sigma^4 \} } \right) }
{\displaystyle \;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\; = \exp \left( \frac{\sigma^2}{2} \left( - \frac{t^2}{\sigma^4} \right) \right) \;\;\;\;\;\; \because t \gt 0 }
{\displaystyle \;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\; = \exp \left( - \frac{t^2}{2 \sigma^2} \right) }

(1.3.2)を証明する.

{\displaystyle \;\;\; \mathsf{P} [ X \lt -t ] = \mathsf{P} [ -X \gt t ] }

{\displaystyle \;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\; \le \mathsf{P} [ -X \ge t ] }
{\displaystyle \;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\; \le \inf_{s \gt 0} \left( e^{-st} \mathsf{E}[e^{s(-X)} ] \right) \;\;\;\;\;\; \because } 冒頭の過去記事の系2. (Chernoff bound)
{\displaystyle \;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\; = \inf_{s \gt 0} \left( e^{-st} \mathsf{E}[e^{(-s)X} ] \right) }
{\displaystyle \;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\; \le \inf_{s \gt 0} \left( e^{-st} e^{\sigma^2 (-s)^2 / 2} \right) \;\;\;\;\;\; \because } (1.2.2)
{\displaystyle \;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\; = \inf_{s \gt 0} \left( e^{-st} e^{\sigma^2 s^2 / 2} \right) }

以降は(1.3.1)の証明に同じである.(証明終わり)
---------------------------------------------------------------------------------------------------------------------------------------------


よく知られているように,{\displaystyle X } が平均 {\displaystyle 0 },分散 {\displaystyle \sigma^2 }正規分布に従うときのモーメント母関数は以下であり(文献[3]にあります),(1.2.2)の不等号を等号にしたものです.

{\displaystyle \;\;\; \mathsf{E} [ \exp(sX) ] = \exp \left( \frac{\sigma^2 s^2}{2} \right), \;\;\;\;\;\; \forall s \in \mathsf{R} }

このときも任意の {\displaystyle t \gt 0 } について(1.3.1)(1.3.2)が成り立ちます.補題1.3.と同様に証明することができます(それぞれ証明中の不等号を1か所だけ等号にします).


以上のことから,サブガウシアンとは,{\displaystyle \mathsf{P} [ X \gt t ] } あるいは {\displaystyle \mathsf{P} [ X \lt -t ] } の上界を与える性質であり,その上界は(平均 {\displaystyle 0 },分散が代理分散に等しい)正規分布のときに与えられるものに等しい,ということがわかります.直観的には,サブガウシアンは正規分布よりも裾が軽い確率分布のクラスであるといえます.


以上,確率変数のサブガウシアンの定義の意味について考えてみました.

 


参考文献
[1] Massachusetts Institute of Technology Philippe Rigollet先生のノート http://www-math.mit.edu/~rigollet/PDFs/RigNotes17.pdf
[2] 東京大学 鈴木大慈先生のノート http://www.kurims.kyoto-u.ac.jp/~kyodo/kokyuroku/contents/pdf/1908-03.pdf
[3] Wikipedia Normal distribution のページ https://en.wikipedia.org/wiki/Normal_distribution#Moment_and_cumulant_generating_functions
[4] Wikipedia Sub-Gaussian distribution のページ https://en.wikipedia.org/wiki/Sub-Gaussian_distribution