朱鷺の杜(IBIS)ブログ

情報論的学習理論(IBIS)に関する管理人の独断と偏見に満ちた意見

スポンサーサイト

上記の広告は1ヶ月以上更新のないブログに表示されています。
新しい記事を書く事で広告が消せます。

CISJ 報告

忘れないうちに CISJ の報告を書いておこう.

思ったよりチュートリアルっぽかったのがちょっと物足りなかったが,新たな人材育成という点では重要だと思う. ちなみに,受付でもらったSMAPIP 福袋(?)には通信学会のSMAPIP特集号が入っていた.
もう1冊持っているから別のが良かったなー. それに自分の原稿見るのも恥ずかしいし... もっとちゃんと気合い入れて書くんだった.

鈴木先生の話は,GA の統計力学的なアプローチということで,昔 GA をやっていたときに似たような話をやったのを思い出した. ただ現在は,麻生さんが突っ込んでいたように多点MCMC(sequential Monte Carlo やマルチカノニカルMCMC)との関連抜きには語れないであろう.

Weiss は実際初めて見た(NIPS などで見ていたかもしれないが覚えていない). そんなに怖そうではなかった. ストーリーとしては BP を使うと LP が画期的に早く解ける...という感じだったが,実際は問題依存で,一般的に LP solver より優れているという話ではないようだ.

田中(和)さんは易しいグラフィカルモデルの話. 田中さんといえば画像処理への応用で,私の周りにも画像屋さんがいっぱいいるのだが,田中さんの話はあまり知られていない. やはり分野の壁だろうか. 樺島研出身の保坂さんが今産総研にいるので期待しよう.

田中(利)さんの話はちょっと用事があって途中で抜けなければならなかったが,パワポのコピーを眺めていたらよくまとまっていた. 今後授業とかで話す時は参考にしよう.

さてと,もう IBIS に行かないと...
スポンサーサイト

テーマ:研究 - ジャンル:学問・文化・芸術

コメント

マルチカノニカルとパラレル・テンパリング(レプリカ交換法)ってよく混同されるのですが..↑も間違ってませんか. もちろん,マニアックには合体させた手法もあるのですが,基本は,マルチカノニカルは1個の系しか使いません.

なるほど. 伊庭本を読んで1から勉強しなおさなければ...

  • 2005/11/12(土) 08:39:16 |
  • URL |
  • あかほ #kKb.gW6k
  • [ 編集]

GAっぽいboltzmann分布、、

鈴木先生のGAを統計力学的なシナリオに落とすというのは、「GAの強み」を生かしていないような気がした。あれだと伊庭さんと福島さんがやったPopulationMCとなんら変わらないよなぁ、と思ったのですが、多点で「わさわさ」と遷移(推定)していくイメージが、、、赤穂さん、伊庭さん、そこのところどうなのでしょうか?

  • 2005/11/19(土) 09:24:15 |
  • URL |
  • nadja #-
  • [ 編集]

GA の強み?

GAの強みとは何か. これは15年間考えてもよくわからないです.
統計力学的なシナリオに落とすといっても既存のレールにのせるという意味でなければありかと思います.
クロスオーバーに関しては,これを入れても別にMCMC できるわけですし.
Population MC との大きな違いはGAは最適化が目的なので,確率の低いところはある意味どうでもいいというようなことは何か使えるかもしれない(と思ってちょっと昔かじってました).

  • 2005/11/21(月) 09:41:00 |
  • URL |
  • あかほ #kKb.gW6k
  • [ 編集]

Population MC クロスオーバー入れるのはありますが,分布が壊れないようにMetropolis Rejectionを入れると,多くの系ではサイズが大きくなると受理率が指数関数的に低下してしまいます.1次元系や時系列ではそうならないけど,これは「断面」のサイズが一定だからで,ある意味MCMCでなくてもできる,ということに近いかも.
Rejectionを入れるのは古くは高畠さん,より新しくはJun Liuの仲間や系図学のThompsonの仲間のひとが,分布壊れてもいいというのは樋口さんがやっていて,いくつか論文も出ていますが,根本的にはだめと伊庭はおもいます. 特殊な手法でクロスオーバーをしてrejection率を上げないというのにSwendson Wangの「レプリカ・モンテカルロ」(レプリカ交換法にあらず)というのがあり,面白いですが,限界がある(2次元のスピングラスではうまくいくが3次元ではレプリカ交換法と同じ性能しかでない)ということがわかっています. あと,
Self-avoiding walkでもcross overをたくみにやることができますが,長さが変わってしまうので肝心の格子たんぱくのようなヘテロな系では使えない. ..以上ただの物知りのようですが,以前から自分でずっと考えて情報を集めてきた結果です.

クロスオーバーを入れると受理率が落ちない数少ない?系に1次元や時系列以外の非自明で重要なクラスがあるでしょうか?
分布が壊れてもいいやり方が根本的にだめなのは,限界があるからでしょうか? 限界がない手法などないと思えば,根本的にはだめかもしれませんが,そこそこいい場合もあるのではないでしょうか. ということはGAの分野でも一時期相当研究されていたようですが,最近は私もフォローしてないし,GA自体あまり盛り上がっていないのでどうなっているんでしょう. また EDA みたいな方向性は MCMC とはどういう関係なんでしょう.

  • 2005/12/14(水) 10:28:19 |
  • URL |
  • あかほ #kKb.gW6k
  • [ 編集]

コメントの投稿


管理者にだけ表示を許可する

トラックバック

トラックバックURLはこちら
http://ibisforest.blog4.fc2.com/tb.php/21-4ffd44b0
この記事にトラックバックする(FC2ブログユーザー)

Meeting

学会・研究会 学習理論や機械学習に関連した会議や会議報告についてまとめましょう. ID は ibis でパスワードは VC 次元の V のフルスペルです(頭だけ大文字) Cのフルスペルだと誰も書けません・・(いば) 学会・研究会 関連学会 2006年 2005年 ↑関連学...

  • 2005/11/10(木) 23:49:23 |
  • PukiWiki/TrackBack 0.1

確かに

僕の認識でも、GA=最適化、最適解探索MCMC=平均値(平衡分布の)という守備範囲があるのだろうなぁと思っています。統計物理のシナリオでは、何かしらの平均値、、、、一般に知られている統計力学から援用した「ボルツマン分布」も、ある確率現象の情報エント...

  • 2005/11/21(月) 22:49:28 |
  • nadja in wbo

Calendar

イベントカレンダー † 学習理論,機械学習,データマイニングに関連した会議や研究会をアナウンスしてください. ID は ibis でパスワードは VC 次元の V のフルスペルです(頭だけ大文字) 会議についての説明は 学会・研究会 にあります. ↑研究会・国際会...

  • 2006/04/15(土) 11:17:49 |
  • 朱鷺の杜Wiki (PukiWiki/TrackBack 0.3)

あかほ

赤穂昭太郎 † 検索: あかほ ↑関連ホームページ † ホームページ http://www.neurosci.aist.go.jp/~akaho/welcomej.html 朱鷺の杜ブログ http://ibisforest.blog4.fc2.com/ プライベートホーム http://www.geocities.jp/shotaro_akaho/index.html &u..

  • 2006/05/12(金) 15:10:48 |
  • 朱鷺の杜Wiki (PukiWiki/TrackBack 0.3)

朱鷺の杜ブログ目次

ごあいさつ -朱鷺の杜ブログ開始 † 朱鷺の杜 Wiki open ↑会議情報(これからの分)>http://ibisforest.blog4.fc2.com/blog-category-4.html]] † 人工知能学会研究会 ↑落書き>http://ibisforest.blog4.fc2.com/blog-category-1.html]] &d..

  • 2006/05/12(金) 15:19:42 |
  • 朱鷺の杜Wiki (PukiWiki/TrackBack 0.3)

上記広告は1ヶ月以上更新のないブログに表示されています。新しい記事を書くことで広告を消せます。