朱鷺の杜(IBIS)ブログ

情報論的学習理論(IBIS)に関する管理人の独断と偏見に満ちた意見

スポンサーサイト

上記の広告は1ヶ月以上更新のないブログに表示されています。
新しい記事を書く事で広告が消せます。

NC研究会ほか

世の中の一部(特に関西地方)では「カーネルの呪い」が解けたという話題で盛り上がっています。
ついに拙著もメジャーデビュー?とは全く思いませんでしたが、ともかく道頓堀川からカーネルさんが
上がって以来、低迷していた拙著の Amazon ランクも再上昇ということで、なにやら因果関係があるかもしれません(絶対ないけど)。

さて、またまたしましまさんより教えてもらった感想 SuzukiMasayuki さんブログです。 お勧めいただきありがとうございます。  最後に書いてある「カーネルかわいいよカーネル」というのがいいですね。 毎度毎度しましまさんのアンテナ力には恐れ入ります。 ひょっとしてブログの未読無し?(昔は fj news の未読無しというすごい人もいましたが...)

それにしても世の中みんな忙しそうです。
忙しさのポジティブフィードバックがかかりまくって忙しさバブル? 
こんなものははじけてくれれば逆にうれしいですが、なかなかはじけそうにもありません。 特に、ものを頼む編集委員のような仕事は忙しい人が増えると断られるのでますます忙しくなります。 

かくいう私も昨年から積み残した査読の不良在庫を大量にかかえてしまっています(自分が頼むのも頼まれたのも)。
査読催促のメールをくださった I 先生の査読は待ち行列の10番以内なのでご安心ください^^; 在庫一掃セールでもやらないとだめかなあ。

さて、そういう諸々からの逃避と息抜きを兼ねて3/11,12 と通信学会のニューロコンピューティング研究会に行ってきましたので以下に簡単なメモ。 
つくばからだと小旅行です。 なお、研究会は3/13までですがさすがに3日通いはつらいかったのでパス。

初日の午後最初は平井先生@筑波大の通信学会フェロー称号授与記念講演。
やはりいろいろ経験を積まれた方の話は重みが違いますね。
その中の二つの点について感想:

・「主戦場で戦わなければ意味がない」... 画像認識をやるならNC研究会でやるのではなく、画像関係のところに出して戦いなさいということです。 確かにそうですね。 でも戦うばかりだと疲れるので癒しの場としてNC研究会があるんだなあと思いました。 別に研究としては戦うばかりが能じゃないし。

・「大きなシステムの中の本当にやりたい一部にしぼってやる」... 佐藤さんが脳の視覚と工学的手法の間のジレンマみたいなことを質問したことに対する平井先生の回答。 視覚システム全体は巨大すぎるし、わからないところだらけなので、ほとんどの部分は既存のやりかたでやって、自分が本当にやりたい一部分だけをやれということ。 私なんかはぐうたらなので、ほとんど既存のやり方でシステムを組むという段階でもうギブアップっていう感じです。 というわけで、システムではなくてやりたい部分だけ取り出しちゃって研究してしまうのです。 まあそういうのも許してください。

夕方最後のセッションは学習理論。 渡辺澄夫先生欠席の中、比護さんが原稿を(一字一句間違うことなく)代読。 内容は非常に面白く、「学習の状態方程式」の正体もだいたいわかりました。 一つ疑問に思ったのはゆらぎ(プレゼンの中のゆらぎではなく汎化誤差そのもののゆらぎ)の大きさです。昔 TIC をやったときも、ゆらぎがものすごく大きくて、モデル選択に使うのに問題がありました。 ただ、階層的なモデル族だとそのゆらぎが全部同じになるのでモデル選択可能となっていました。 渡辺理論だとこのあたりはどうなっているのだろうというのが少し気になりました。 

その後の比護さんの分配関数計算にガウスで Laplace 近似するのではなく、mixture でやるという話。 私がD論で汎化誤差計算していたモデルなので面白かったです。 ただ、中心ベクトルの学習はやはり大変らしいです。 mixture 数をすごく増やせばいいみたいですが、少ない場合はFukumizu,Akaho,Amari で前に NIPS に出した splitting なんかで準最適化できないかなあなどと思いました。

二日目は contrastive divergence に BP を併用する話とか、セミパラ強化学習とか、密度比推定で ICA とか、自分の研究にも関係しそうな面白い話がたくさんありました。 査読なんてなくてもこれだけ面白い発表が集まるものです。 しかし、みんな忙しいということなのでしょうか。 毎年のNC研究会に比べると若干人が少なかったように思いました。
スポンサーサイト

モンテカルロ囲碁

しばらく研究会や講演会からごぶさたしていましたが,今日産総研で以前から噂には聞いていた
モンテカルロ囲碁の講演があったのでメモ.
(FC2ブログは1ヶ月更新しないと宣伝が入るという事情もありますが)

機械学習とからめて検索したらこちらでも少し前に話題になっていたようです. 詳しい情報はそちらで解説されているのでここでは単に感想や今日の講演で質疑で得られた情報だけ書いておきます.

講演者は以前電総研のゲームラボにも滞在されていた Martin Muller さんという方で,Fuegoというプロジェクトを進めていらっしゃいます.

ポイントはモンテカルロと探索木のテクニックを組み合わせているところで,どちらかだけだと弱いということのようです. まあいろいろ工夫はあるのでしょうが,基本的には単純な手法でよくこれだけ強くなれるものだなという印象です.

モンテカルロと言っても,かなり原始的なモンテカルロで,マルコフ連鎖とか,マルチカノニカル,マルチテンパリングなどといった高級な話は一切なし. ただ,ヒューリスティックでそれに近いことはやっている部分もあるみたいです.

一方平均場近似とかについても聞いてみましたが,それについては全く知見が得られず(平均場近似って何?って感じだった). 昔から平均場近似囲碁はいけるんじゃないかと思っているのですが,まだ未知数のようですね.

あとは強化学習との関連はかなり意識していました. もともと TD-Gammon 以来そのアプローチは考えられてはいて,ただ囲碁は複雑すぎるので Backgammon が限界だろうみたいな感じだったと思っていました. そういう流れからすると温故知新とも言えます.
逆に囲碁じゃない強化学習にモンテカルロを使うというのも来るかもしれませんね. すごく素人的な発言ですが.

ともかく今日聞いた話の感じでは,工夫する余地が山ほど合って,まだまだ強くなりそうです.

ちなみに先日 Fuego ではないですが Mogo というモンテカルロの囲碁プログラムを試してみましたが,噂に違わず9路盤では相当に強かったです. 互先でほとんど勝てませんでした.
期待値の高い手を打ってくるのですが,手厚くかつバランスのいい手を打ってきます.
19路だとさすがに手が広すぎて序盤は意味不明な手を打ってきます.

というわけで,ゲームの世界も機械学習が活躍できそうですが,こういうシステム系のプロジェクトは私にはあまり向いていないのでとりあえずは傍観モードというところでしょうか.

FC2Ad

上記広告は1ヶ月以上更新のないブログに表示されています。新しい記事を書くことで広告を消せます。