エンジニアを目指す浪人のブログ

情報系に役立ちそうな応用数理をゆるめにメモします

機械学習

EMアルゴリズムの基礎をまとめる

機械学習でよく用いられるEMアルゴリズム(expectation-maximization algorithm ; EM algorihm)を勉強していると,その目的あるいは用途として「観測変数と(観測できない)潜在変数がある確率モデルの尤度関数を最大化するパラメータを求める」と説明されてい…

二値分類の数理(ベイズ分類器,経験損失最小化,超過損失とくに推定誤差の確率的な評価など)についてまとめる

勉強を進めていて,機械学習であつかう基本的な問題の一つである二値分類(binary classification)の数理について知りました.性能のよい分類器とはどのようなものかを考えるという内容で,具体的には,ベイズ分類器,経験損失最小化,超過損失とくに推定誤差…

二値分類におけるノーフリーランチ定理を証明する

勉強を進めていて,機械学習あるいは組み合わせ最適化における基本的な原理であるノーフリーランチ定理(no free lunch theorem)を知りました.文献[2]によるとそれぞれ別のものとして考えるようです.機械学習におけるそれがどのようなものかについて,文献[…