統計学
本記事は以下の過去記事の内容を用います．主成分分析の基礎をまとめる - エンジニアを目指す浪人のブログ特異値分解の導出と，左特異ベクトル，特異値，右特異ベクトルとは何かについて考える - エンジニアを目指す浪人のブログ特異値分解による行列の低ラ…
本記事は以下の過去記事の結果を用います．いくつかの行列の公式を証明するその1 - エンジニアを目指す浪人のブログいくつかの行列の公式を証明するその2 - エンジニアを目指す浪人のブログいくつかの行列の公式を証明するその3 - エンジニアを目指す浪人の…
本記事は以下の過去記事の内容を用います．シューア補行列の定義とその背景，逆行列補題との関係をまとめる - エンジニアを目指す浪人のブログ対称行列のシューア補行列は対称行列であることを証明する - エンジニアを目指す浪人のブログ 応用上よく使われる…
機械学習でよく用いられるEMアルゴリズム(expectation-maximization algorithm ; EM algorihm)を勉強していると，その目的あるいは用途として「観測変数と(観測できない)潜在変数がある確率モデルの尤度関数を最大化するパラメータを求める」と説明されてい…
データ解析の手法の一つである主成分分析(principal component analysis ; PCA)について，それなりに利用頻度が高いものの，そのたびに勉強しなおしていて効率が悪かったので，その基礎をまとめておくことにしました．=====================================…
測定データから計算される分散共分散行列と相関行列は，サンプル数が変数の数よりも少ないとき正定値でない行列になります．このことについての数学的な記述を見たことがなかったので，調べて証明することにしました． 正定値でないならばコレスキー分解でき…
応用上，測定データから計算される分散共分散行列(covariance matrix)と相関行列(correlation matrix)が用いられることがよくあります(英語ではそれぞれ，sample covariance/correlation matrix, empirical covariance/correlation matrixなどと呼ばれること…
応用上よく用いられると思われる，分散共分散行列(covariance matrix)は半正定値(positive semidefinite)である，という事実を証明することにしました．同様に相関行列(correlation matrix)も半正定値であることについて，記事の最後で簡単に触れます． 問題…
本記事は以下の2つの記事の続きです．これらの記事で用いた記号を説明なしで用います． ディリクレ過程の定義を考えるその1 (ディリクレ過程の定義を調べる) - エンジニアを目指す浪人のブログ ディリクレ過程の定義を考えるその2 (ランダムな確率測度とはな…
本記事は前回の記事の続きです．前回の記事で用いた記号を説明なしで用います． ディリクレ過程の定義を考えるその1 (ディリクレ過程の定義を調べる) - エンジニアを目指す浪人のブログ それでは，ランダムな確率測度とはどのようなものでしょうか．確率空間…
勉強を進めているうちにディリクレ過程(Dirichlet process)というものを知ったのですが，Wikipediaを見る程度ではよくわからなかったので，どのようなものかイメージできる程度まで文献を調べることにしました．以下のスライドに定義を載せます．ディリクレ…
統計学におけるモデル選択基準としては，赤池情報量規準(Akaike's Information Criterion; AIC)が最もよく知られていますが，原論文Akaike(1973)にてその導出を勉強しました．以下はその記録をスライドにしたものです． speakerdeck.com 参考文献[1] Akaike,…
