EMアルゴリズム
EMアルゴリズムとは、隠れ変数を持つ観測データから最尤モデルを反復法で局所
最適解を求める方法。その意味ではニュートン法に似ている。詳細はサイエンス社の
「情報理論の基礎」か産総研の赤穂さんのドキュメント
有限混合分布モデルの学習に関する研究 (Web 版)
が詳しい。どちらも式を書き下してあるため、これらを参考にすれば実装は容易。
EMアルゴリズムを情報幾何的に理解することが、はやりなのかな？
e平坦性によって、モデル多様体の外に出て、m平坦性から再び
モデル多様体に射影される。これを繰り返すことで、尤度を（局所的に）
最大のモデルに収束することを利用する。