| Sun | Mon | Tue | Wed | Thu | Fri | Sat |
|---|---|---|---|---|---|---|
| 1 | 2 | 3 | 4 | 5 | ||
| 6 | 7 | 8 | 9 | 10 | 11 | 12 |
| 13 | 14 | 15 | 16 | 17 | 18 | 19 |
| 20 | 21 | 22 | 23 | 24 | 25 | 26 |
| 27 | 28 | 29 | 30 | 31 |
Copyright © 1998-2006 TOKUNAGA Ken-ichi iam[at mark]tokunagakenichi[dot]net
あなたはこのサイトの11110100010110000100人目の訪問者です(ただし2進数)。
学習理論ではサンプルから確率分布を推定する問題が多く取り上げられるが、
普通はパラメータを持つ確率分布の族の中から推定する。
このパラメータを変数として微分積分を行う。見方を変えて、
このパラメータを多様体上の点と考え、多様体の各点に確率分布がのっている
として計量や接続を考えるのが情報幾何の立場。
詳しくは
情報幾何の方法
の第２章など。
Kullback-Leibler情報量(相対エントロピー)によって、二つの確率分布の間の差を
計ることができるが、これを統計モデル上の関数とみなしたとき、そのテイラー展開の
２次の係数にいわゆるFisher行列が表れる。情報幾何の立場では、Fisher行列を
リーマン計量とみなす。そういう意味で相対エントロピーと幾何が結び付いている。
詳しくは
数理科学No.366の黒瀬先生の記事とか、
統計科学のフロンティア「モデル選択」
の第１部２章など。
情報幾何と言う言葉は1980年代からあるようだが、最近岩波の
「統計科学のフロンティア」や「物理の世界」などで紹介されて
興味を持ち、古い文献から当たってみることにした。
パターン認識、モデル選択などを幾何の言葉で理解しようと言う方向性は、
昔幾何をやっていた立場からすると、参入するよい足掛かりになるし、
何より異なる分野の間の新たな関係性を見出すと言う作業はとても面白い。
というわけで、調べた結果、疑問点などをメモ的に記録することにする。