本記事は以下の過去記事で得た結果を用います． いくつかの集中不等式(Hoeffding's Inequalityなど)を証明する - エンジニアを目指す浪人のブログ 勉強を進めていて，確率変数に対するサブガウシアン(sub-Gaussian)という性質を知りました．その定義の意味に…

応用でよく使われる確率過程の1つにマルコフ連鎖(Markov chain)があります．その定義を目にするたびにいまいちモヤモヤしていましたが，わかりやすく感じた定義を文献[1]に見つけることができたので，その内容をメモすることにしました．若干記述を変更して…

機械学習でよく用いられるEMアルゴリズム(expectation-maximization algorithm ; EM algorihm)を勉強していると，その目的あるいは用途として「観測変数と(観測できない)潜在変数がある確率モデルの尤度関数を最大化するパラメータを求める」と説明されてい…

勉強を進めていて，確率論の文脈におけるイェンゼンの不等式(Jensen's inequality)の証明が気になってモヤモヤしてしまいました．グラフをイメージすれば直感的には理解しやすいですが，きちんとした(?)数学的な証明を調べることにしました．また，応用で用…

本記事は以下の過去記事で得た結果を用います．特異値分解の導出と，左特異ベクトル，特異値，右特異ベクトルとは何かについて考える - エンジニアを目指す浪人のブログ 行列分解の一手法である特異値分解(singular value decomposition ; SVD)を利用するこ…

勉強を進めていて，線形写像の核(カーネル)と単射との関係について重要に感じたので，その証明を調べてメモすることにしました． 問題を設定するため，線形写像の定義は文献[2]を，核(カーネル)の定義は文献[3]を用います．単射の定義を示します．文献[4]に…