エンジニアを目指す浪人のブログ

情報系に役立ちそうな応用数理をゆるめにメモします

統計学

主成分分析の基礎をまとめる

データ解析の手法の一つである主成分分析(principal component analysis ; PCA)について,それなりに利用頻度が高いものの,そのたびに勉強しなおしていて効率が悪かったので,その基礎をまとめておくことにしました.=====================================…

サンプル数が変数の数よりも少ないとき分散共分散行列と相関行列は正定値でないことを証明する

測定データから計算される分散共分散行列と相関行列は,サンプル数が変数の数よりも少ないとき正定値でない行列になります.このことについての数学的な記述を見たことがなかったので,調べて証明することにしました. 正定値でないならばコレスキー分解でき…

データから計算される分散共分散行列と相関行列の定義をメモする

応用上,測定データから計算される分散共分散行列(covariance matrix)と相関行列(correlation matrix)が用いられることがよくあります(英語ではそれぞれ,sample covariance/correlation matrix, empirical covariance/correlation matrixなどと呼ばれること…

分散共分散行列(と相関行列)は半正定値であることを証明する

応用上よく用いられると思われる,分散共分散行列(covariance matrix)は半正定値(positive semidefinite)である,という事実を証明することにしました.同様に相関行列(correlation matrix)も半正定値であることについて,記事の最後で簡単に触れます. 問題…

ディリクレ過程の定義を考えるその3 (サンプリング)

本記事は以下の2つの記事の続きです.これらの記事で用いた記号を説明なしで用います. ディリクレ過程の定義を考えるその1 (ディリクレ過程の定義を調べる) - エンジニアを目指す浪人のブログ ディリクレ過程の定義を考えるその2 (ランダムな確率測度とはな…

ディリクレ過程の定義を考えるその2 (ランダムな確率測度とはなにか)

本記事は前回の記事の続きです.前回の記事で用いた記号を説明なしで用います. ディリクレ過程の定義を考えるその1 (ディリクレ過程の定義を調べる) - エンジニアを目指す浪人のブログ それでは,ランダムな確率測度とはどのようなものでしょうか.確率空間…

ディリクレ過程の定義を考えるその1 (ディリクレ過程の定義を調べる)

勉強を進めているうちにディリクレ過程(Dirichlet process)というものを知ったのですが,Wikipediaを見る程度ではよくわからなかったので,どのようなものかイメージできる程度まで文献を調べることにしました.以下のスライドに定義を載せます.ディリクレ…

Akaike(1973)にしたがってAICを導出してみる

統計学におけるモデル選択基準としては,赤池情報量規準(Akaike's Information Criterion; AIC)が最もよく知られていますが,原論文Akaike(1973)にてその導出を勉強しました.以下はその記録をスライドにしたものです. speakerdeck.com 参考文献[1] Akaike,…