犀角(Diceros Horn) 2003 11 08

AIC 赤池情報量基準

日本人の名前がついた概念も最近はよく見掛けるようになった。 AIC と略されるこの概念はモデルのパラメータの個数を p とするときに

AIC = -2 MLL + 2p

で表される。情報量基準と言う名前は、モデル(確率分布)の適合度を調べるた めのもの。この値が小さいほどモデルがよく適合していることを表している。 2項目の 2p はパラメータの個数はできるだけ少ない方がいいという意味で、 ペナルティ項とも言われる。

最近は 東京大学の統計分析概論のテキストでも扱われているらしい。 統計ソフトの R でも AICが計算できる って言うのは試す価値あり。

情報量基準は AIC だけではなく BIC という Bayes Information Criterion と言うものもある。 ベイズ統計の趣旨からはこちらの導出を理解すべき。

統計学の文献を探していると、数学や物理だけでなく 生物など異分野の文献がヒットする。例えば モデル選択手法の水産資源解析への応用 なんて言うものもあり、全てはもちろん理解できないものの、 応用範囲の広さを改めて実感する。

posted at 03:03 | category: /Math/Bayes | 固定リンク(AIC 赤池情報量基準)

情報統計力学との関わり

伊庭 幸人 (著)「岩波講座物理の世界 物理と情報 （3） ベイズ統計と統計物理」(岩波書店) を読了。最後の画像修復に興味を覚える。シミュレーションプログラムを画像修復のマネゴト (というのはMAP推定をしているわけではないから)ができるように改良。また、ローカルで多数 実行してデータの平均をとったものをグラフ化。

情報統計力学

いろいろ調べていると、 篠本 滋 (著)「情報の統計力学」(丸善)や 豊田 正 (著)「情報の物理学」(講談社)などと言う書籍を発見。 後者の本の2章のボルツマンのH定理から相対エントロピーの導入のあたりは、非常に面白い。 前者の本は、前半が統計力学、後半が情報理論のトピックを扱っている。 6章に少しだけベイズ統計のことが記述してあるが、それが目的の本ではなく、むしろその後の 画像再構成、ボルツマンマシン学習などへの導入と考えられている。

ボルツマンマシン学習

マシンが生成する乱数の従う確率分布を、外界のモデルが生成する乱数列をもとに 外界のモデルの分布に近づけていくのがボルツマンマシン学習である。 「近づける」ためには距離が必要で、そこにカルバックダイバージェンス(＝相対エントロピー) が登場する。とりあえず次の目標はボルツマンマシン学習のシミュレータ作成、かな。

posted at 03:03 | category: /Math/Bayes | 固定リンク(情報統計力学との関わり)

ベイズ統計ことはじめ

ベイズの定理と呼ばれる条件付確率の公式についてはわかっているものの、 それがどのようにして統計に使えるのだろうと言う疑問を解消したいと思う。

情報収集

まずは講義ノートを探してみることにする。 最初に読んだのが http://courses.ncssm.edu/math/TALKS/PDFS/BullardNCTM2001.pdfである。 条件付確率から、ベルヌイモデルに関するベイズ統計を例をあげて計算しているので、 非常にわかりやすい。 Prob(model|data) を Prob(data|model) から求めるのがベイズ統計だと言う基本は理解できる。

日本語の文献としては、 http://www.ikuta.jwu.ac.jp/~yokamoto/openwww/stat/estparam/bayes/readme.pdf が見つかる。グラフが多用してあり、視覚的に理解できる。 書籍としては、 渡部 洋 (著)「ベイズ統計学入門」(福村書店) 伊庭 幸人 (著)「岩波講座物理の世界 物理と情報 （3） ベイズ統計と統計物理」(岩波書店) がある。前者は日本語としてはほぼ唯一の基礎から書かれた入門書。一通り目を通した。 著者が社会科学の人と言うのが、この本のよいところでもあり、悪いところでもある。 後者は統計物理の立場から書かれた本。読みものとして面白い。現在読書中。 触発されて、Ising模型のシミュレーションプログラムを作りなおしました。

事前分布、事後分布

事前分布からデータ(実験結果)によって事後分布が得られる、ということはわかっても、 事前分布の「分布」とは何なのか。ベルヌイ試行の場合、正規分布の場合、それぞれで異なるので 一見わかりにくい。事前分布、事後分布でいうところの分布とは、もとの確率モデルの分布ではなく、 もとの確率モデルの測度全体の空間(もしくは部分空間)上の分布である。 わかっている人には、「何をいまさら、それが推定と言うものだろう。」と言われそうだが、 あえて続けてみる。

コインの表と裏のように2個の集合{A,B}からなる確率空間上の測度は、一方の要素の確率P(A) によって決まる。したがって、確率測度全体は0以上1以下の実数の区間に等しく、事前分布は この区間上の分布を与える。それがベータ分布で与えられる場合、事後分布もベータ分布になる と言うことは、ほぼどの入門書にも書いてある。 もとの確率空間が実数の場合、例えばその上の分布として正規分布のみを考え、 さらに分散も固定すると、 平均値だけでもとの分布は決まる。この場合事前分布はその平均値の分布である。

正規分布における平均値と分散のように、確率分布がパラメトライズされた 場合、そのパラメトライズされた空間に相対エントロピーと言う距離もどき が入って、それによってリーマン幾何の真似事ができるらしい。 これは面白そうだ。

posted at 03:02 | category: /Math/Bayes | 固定リンク(ベイズ統計ことはじめ)