| Sun | Mon | Tue | Wed | Thu | Fri | Sat |
|---|---|---|---|---|---|---|
| 1 | 2 | 3 | 4 | 5 | ||
| 6 | 7 | 8 | 9 | 10 | 11 | 12 |
| 13 | 14 | 15 | 16 | 17 | 18 | 19 |
| 20 | 21 | 22 | 23 | 24 | 25 | 26 |
| 27 | 28 | 29 | 30 | 31 |
Copyright © 1998-2006 TOKUNAGA Ken-ichi iam[at mark]tokunagakenichi[dot]net
あなたはこのサイトの11110100010110011100人目の訪問者です(ただし2進数)。
JWS のよいところは、アプリケーションとして作れるところと、 外部のライブラリ（ネイティブのものも含めて）を指定できると言うこと。 自作のソフトウェアを公開する場合、アプレットよりも優れているのは 明らかだろう。ライブラリとして公開もできる。 というわけで、JWS で公開されているもので、 実際にどういうものがあるかを調べてみる。
だけど、予想以上に少ない。SUN の宣伝不足かなあ。サーバ技術ばかり 注目されて Java のクライアント技術は無視されているみたい。 数少ないリンク集のうち、有名なのが（あまり更新されていないけど）いや、Java じゃなくてもいいんですが、 LP 問題を解くとき、何を使いますか？ Excel のソルバーを使う。小規模の問題のときにはとても現実的な選択です。 R で simplex や solveLP を使う。日常的に R を使っている人ならこうするでしょう。 問題は自分のプログラムの中で LP 問題を解きたいときにどうするか、です。 昔、教育用に Simplex 法を実装したことがありましたが、実装が目的ではない 場合は、適当なライブラリを使う方がいいでしょう。探してみたら、ありました。
大学の研究室で開発しているようです。Java 版があるのがうれしい。 パフォーマンスについては、まだ大規模な計算をしたわけではないので保留。 ちなみに単なる行列計算なら などがある。オープンソースの統計解析システムの R で AIC を計算することができる。 R については
などが詳しい。VineLinux にも WindowsXP にも問題無くインストールできた。 最近は大学の学部の演習などにも使われているらしい。 東工大の下平先生の講義ノート はとても充実していてRのチュートリアルとしても使える。 と言うか、使いました。ありがとうございます。 で、この下平先生の講義ノートに R で AIC を使ってモデル選択する 話(重回帰モデルのパラメータ選択)が載っている。lm() 関数で求めたモデルを step() 関数で逐次選択を行う。ただし、step() 関数の実行時に表示される AIC の値と AIC() 関数の結果は違う(意味は下平先生の講義ノートに書いてある)。
赤池情報量規準AICを考える。
AICは対数尤度をモデルの次元で補正することで、
モデルのパラメータ数を増やすことに対するペナルティを与えている。
ペナルティ項の決め方として、単に次元を引き算するという方法に
なにか理由があるのだろうか、と言う問題を考える。
答えはAICが「近似的に」期待平均対数尤度の不偏推定量になるような
補正項を与えたから、である。
不偏推定量とは、母数θをもつ母集団から得られた観測値に基づく
推定値の平均値がもとの母数に一致することをいう。
教科書的によく出てくる例では、θが母分散のとき、観測値から得られる
分散の計算を平均からの差の２乗の和を測定個数のnではなく
(n-1)で割っている場合などがある。
それは分散の推定値を不偏にするためであり、
そのため、不偏分散などと呼ぶことがある。
上でAICが「近似的に」期待平均対数尤度の
不偏推定量になっていると言ったが、正しくは竹内情報量規準が
サンプルの個数の-3/2 乗を法として不偏推定量になっており、
さらに真の分布がモデルの上にあるとして、竹内情報量規準の
補正項を近似したのがAICである。この流れでAICを説明してあるのが、
サイエンス社「情報理論の基礎」（村田昇）や
岩波書店「モデル選択」（下平英寿 他）など。
竹内情報量規準の導出のところで、自然にフィッシャー行列が
登場することもあって、情報幾何的な説明がしてある。
AICをそういうふうに導入するのが最近の流行なのかも知れない。
統計的モデルでなぜFisher計量が重要なのか。 またなぜα接続と呼ばれる接続の族が重要なのか。 それは次の２点
情報幾何では計量よりも接続が重要な役割を占める。
統計的モデルにはα接続と言う特別な接続と、双対性が
知られているが、それについて詳しく述べる前に
アフィン接続とアフィン座標について。
アフィン接続とは、多様体の接束のベクトル束としての接続のことである。
ベクトル束の接続には、捩率テンソルと曲率テンソルが定義される。
このとき、次は同値であり、このときにアフィン接続が平坦であると言う。
ニューロ多様体と言うと難しそうだが、統計的モデルの話の枠組で言うと、
ニューラルネットワークを結合の強さをパラメータとした
確率分布の族だと考えて、多様体構造を考えるのがニューロ多様体。
幾何であるから計量や接続を使って調べることになる。
問題意識としては
学習理論ではサンプルから確率分布を推定する問題が多く取り上げられるが、
普通はパラメータを持つ確率分布の族の中から推定する。
このパラメータを変数として微分積分を行う。見方を変えて、
このパラメータを多様体上の点と考え、多様体の各点に確率分布がのっている
として計量や接続を考えるのが情報幾何の立場。
詳しくは
情報幾何の方法
の第２章など。
Kullback-Leibler情報量(相対エントロピー)によって、二つの確率分布の間の差を
計ることができるが、これを統計モデル上の関数とみなしたとき、そのテイラー展開の
２次の係数にいわゆるFisher行列が表れる。情報幾何の立場では、Fisher行列を
リーマン計量とみなす。そういう意味で相対エントロピーと幾何が結び付いている。
詳しくは
数理科学No.366の黒瀬先生の記事とか、
統計科学のフロンティア「モデル選択」
の第１部２章など。
情報幾何と言う言葉は1980年代からあるようだが、最近岩波の
「統計科学のフロンティア」や「物理の世界」などで紹介されて
興味を持ち、古い文献から当たってみることにした。
パターン認識、モデル選択などを幾何の言葉で理解しようと言う方向性は、
昔幾何をやっていた立場からすると、参入するよい足掛かりになるし、
何より異なる分野の間の新たな関係性を見出すと言う作業はとても面白い。
というわけで、調べた結果、疑問点などをメモ的に記録することにする。