エンジニアを目指す浪人のブログ

情報系に役立ちそうな応用数理をゆるめにメモします

情報学

ブレグマン距離の定義について考える

本記事は以下の過去記事の内容を用います.フレシェ微分が勾配に一致するための条件と,勾配は双対空間の要素であることについて考える - エンジニアを目指す浪人のブログ 以下の過去記事も参考になります.内部と相対的内部の違いについて考える - エンジニ…

EMアルゴリズムの基礎をまとめる

機械学習でよく用いられるEMアルゴリズム(expectation-maximization algorithm ; EM algorihm)を勉強していると,その目的あるいは用途として「観測変数と(観測できない)潜在変数がある確率モデルの尤度関数を最大化するパラメータを求める」と説明されてい…

二値分類の数理(ベイズ分類器,経験損失最小化,超過損失とくに推定誤差の確率的な評価など)についてまとめる

勉強を進めていて,機械学習であつかう基本的な問題の一つである二値分類(binary classification)の数理について知りました.性能のよい分類器とはどのようなものかを考えるという内容で,具体的には,ベイズ分類器,経験損失最小化,超過損失とくに推定誤差…

二値分類におけるノーフリーランチ定理を証明する

勉強を進めていて,機械学習あるいは組み合わせ最適化における基本的な原理であるノーフリーランチ定理(no free lunch theorem)を知りました.文献[2]によるとそれぞれ別のものとして考えるようです.機械学習におけるそれがどのようなものかについて,文献[…