朱鷺の杜(IBIS)ブログ

情報論的学習理論(IBIS)に関する管理人の独断と偏見に満ちた意見

スポンサーサイト

上記の広告は1ヶ月以上更新のないブログに表示されています。
新しい記事を書く事で広告が消せます。

CAIP, ECML/PKDD 参加報告

お久しぶりです.

ドイツ・スロベニアで開催された二つの会議への参加報告です.
時差ボケなので夜中に書いてます.
あと,最初に書いておくと IBIS の締め切りは 9/13 まで延長されたので(ってもう今日か),みなさんどんどん投稿しましょう.


さて,最初の会議はドイツのミュンスターで開かれたCAIP (The 13th International Conference on Computer Analysis of Images and Patterns)というビジョン系の会議です.

投稿前は知らなかったのですが,採択率30%程度と結構厳しくてビジョン系では有名な会議のようです.
私の参加名目は藤木さん@産総研と村田研@早稲田との共同研究に入れてもらっており,今回はポスター発表での参加.
内容は,魚眼レンズのカメラのキャリブレーションを繰り返し計算を使わないで高速にやる方法の提案でした.

会議全体はビジョン系と言うこともあり,見てわかりやすい発表が多かったです.
意外に機械学習関係でもおもしろいのがたくさんありました.

招待講演は2件.

1件目は Aljoscha Smolic という人がステレオビジョンとそれを応用してユーザが自由に視点を移動できる Free Viewpoint Video という話のレビュー.
サッカーの試合とかをいろんな視点から見せたりするデモや3D関係のデバイスの話が印象深かったです. 富士フィルムからも最近3Dカメラが発売されたりしたのでこういう研究も割と気軽にできるようになった感じですね.

2件目は Duda & Hart 本第2版:Pattern Classificationで加わった David Stork の講演で,絵画のイメージ解析の結果を紙芝居的に次から次へと見せていました. フェルメールの有名な「真珠の耳飾の少女」 の光源推定をしていて,フェルメールが実際の光を非常に精度良く描いていたことなどが面白かったです.

一般発表で機械学習に関連する話としては,SVM などの手法の応用はもちろん,グラフ関連のマイニング(Ihara Zeta function とか初めて聞いたし)や多様体あてはめに関しては無茶苦茶濃い発表もいくつかありました.

肝心の我々の発表ですが,一応学生さんがメインで発表すると言うことで,共著者陣はサポートするために控えていたのですが,すごく英会話が堪能な学生さんで出る幕ありませんでした^^; 上述の Stork 先生などもすごく興味を示しており,(内容ももちろんですが)うまくしゃべるのも大事だなあと思いました.

ほかの参加者は日本からもビジョン系で有名な先生方が何人かいらっしゃいました.
千葉大の井宮先生や慶應の斉藤英雄先生,成蹊大の村松先生のほか,元電総研の岡さん@会津大とその学生さんの矢口さんなどとお会いしました.
矢口さんは twitter でフォローしている人 (ハンドル名yagu1)と判明.少しだけお話ししました.

CAIP は2年おきで次回はスペイン南部のセビリア(だったと思います)だそうです.




さて,ミュンスターからスロベニアのブレッド湖に移動して2件目の国際会議ECML/PKDD(European Conference on Machine Learning and Principles and Practice of Knowledge Discovery in Databases)に参加.

毎日 Newsletter を発行するなど運営にすごく気合いが入っていました.

proceedings は 9/17 まで時間限定でSpringer のページから見られます. ただ,会場ではネットがつながりにくくなっていたので,よく分からなかった発表を詳しく知りたいと思って proceedings を参照したいと思ってもなかなかできないということがありました. CD-ROM くらい配ればいいと思うのですが,何か事情があるのでしょうか.

あと,会議はビデオ撮影していてvideolectures.netで見られるようになるようです.

発表はなかったので聞くばかりだったのですが,意外に理解できる度合いは CAIP とそんなに変わらなかったので,いったい自分はどの分野の研究者だ?と自問.
最初の invited talk は Yahoo の Rosie Jones で,検索ログマイニングのプライバシーの話でした. プライバシーは最近はやっていて私も勉強会に参加したりしていますが,数理的に面白い部分がまだあまり発見できず. 社会学とか法律関係とかそういう広がりが面白いといえば面白いのですが,個人的にどこまで contribute できるかは疑問.

二日目の invited talk は Shai Ben-David という理論家の人が,理論がいかに実際の役に立つかをやさしく解説. 実際のところなかなか難しいと思うのですが,世の中の流れは理論をすぐ役に立てようという機運が高まっている気がします. 理論と実践とは twitter のようにゆるい結びつきというのが健全な姿で,あまり結びつきを追究しすぎるのもどうか思うのですが時代遅れ感覚なのでしょうか.

会議全体の研究テーマとしては,テキストマイニングやグラフマイニングを中心に,転移学習や準教師あり学習なども流行っている感じ. そのほかでは意外に強化学習のセッションが二つもあるなど目立っていました. あと,subgroup discovery という論理系のマイニングの話を初めて聞きました.
カーネル関係もカーネルを複数組み合わせるマルチカーネルの話や高速計算の方法あたりはまだまだやることがあるようで,Best machine learning paper も SVMlight の Joachims のところの SVM の高速計算を cutting plane を使ってやるという話でした(発表は共著者の人がしていた).

本会議と並行して industrial track というのが走っていて,企業関係の発表がたくさんあり,参加者も多く盛況でした. 昨今 Microsoft, Google, Yahoo などが機械学習分野と結びつきを強くしているのと,やはり企業の人はプレゼンがうまいです (中身はさておき).

それから参加者は,日本からビショップ本 の5人の監訳者のうち3人参加していました. 杉山研@東工大の八谷さん,石井研@京大の植野さん,植野研@電通大の磯崎さんなどが発表で来られていました.
事前に ECML での合流を打ち合わせていた川鍋さん@Fraunhofer とはザルツブルク駅で偶然遭遇.
あと,個人的に知り合いの伊庭斉志さん@東大や野田五十樹さん@産総研などともお会いしました.

日程の都合で,会議の後半(洞窟へのバンケットツアーや最後のワークショップでのしましまさんの招待講演)は聞けませんでした. 残念.

それから,来年の ECML/PKDDはバルセロナだそうです. 会議の内容を見る限りレベル的には結構通りやすそうにも見えるのですが,やはり通っている論文を見ると実データを使ってきっちり比較実験とかしているというところがポイントで,そういう意味では中身の深さよりは「完全な研究」が大切ということでしょうか.

それにしても10日間英語漬けになっていたら言語中枢が崩壊しそうになりました. もうちょっと聞くのになれるのとコミュニケーション取れるようにならないと...

NC研究会ほか

世の中の一部(特に関西地方)では「カーネルの呪い」が解けたという話題で盛り上がっています。
ついに拙著もメジャーデビュー?とは全く思いませんでしたが、ともかく道頓堀川からカーネルさんが
上がって以来、低迷していた拙著の Amazon ランクも再上昇ということで、なにやら因果関係があるかもしれません(絶対ないけど)。

さて、またまたしましまさんより教えてもらった感想 SuzukiMasayuki さんブログです。 お勧めいただきありがとうございます。  最後に書いてある「カーネルかわいいよカーネル」というのがいいですね。 毎度毎度しましまさんのアンテナ力には恐れ入ります。 ひょっとしてブログの未読無し?(昔は fj news の未読無しというすごい人もいましたが...)

それにしても世の中みんな忙しそうです。
忙しさのポジティブフィードバックがかかりまくって忙しさバブル? 
こんなものははじけてくれれば逆にうれしいですが、なかなかはじけそうにもありません。 特に、ものを頼む編集委員のような仕事は忙しい人が増えると断られるのでますます忙しくなります。 

かくいう私も昨年から積み残した査読の不良在庫を大量にかかえてしまっています(自分が頼むのも頼まれたのも)。
査読催促のメールをくださった I 先生の査読は待ち行列の10番以内なのでご安心ください^^; 在庫一掃セールでもやらないとだめかなあ。

さて、そういう諸々からの逃避と息抜きを兼ねて3/11,12 と通信学会のニューロコンピューティング研究会に行ってきましたので以下に簡単なメモ。 
つくばからだと小旅行です。 なお、研究会は3/13までですがさすがに3日通いはつらいかったのでパス。

初日の午後最初は平井先生@筑波大の通信学会フェロー称号授与記念講演。
やはりいろいろ経験を積まれた方の話は重みが違いますね。
その中の二つの点について感想:

・「主戦場で戦わなければ意味がない」... 画像認識をやるならNC研究会でやるのではなく、画像関係のところに出して戦いなさいということです。 確かにそうですね。 でも戦うばかりだと疲れるので癒しの場としてNC研究会があるんだなあと思いました。 別に研究としては戦うばかりが能じゃないし。

・「大きなシステムの中の本当にやりたい一部にしぼってやる」... 佐藤さんが脳の視覚と工学的手法の間のジレンマみたいなことを質問したことに対する平井先生の回答。 視覚システム全体は巨大すぎるし、わからないところだらけなので、ほとんどの部分は既存のやりかたでやって、自分が本当にやりたい一部分だけをやれということ。 私なんかはぐうたらなので、ほとんど既存のやり方でシステムを組むという段階でもうギブアップっていう感じです。 というわけで、システムではなくてやりたい部分だけ取り出しちゃって研究してしまうのです。 まあそういうのも許してください。

夕方最後のセッションは学習理論。 渡辺澄夫先生欠席の中、比護さんが原稿を(一字一句間違うことなく)代読。 内容は非常に面白く、「学習の状態方程式」の正体もだいたいわかりました。 一つ疑問に思ったのはゆらぎ(プレゼンの中のゆらぎではなく汎化誤差そのもののゆらぎ)の大きさです。昔 TIC をやったときも、ゆらぎがものすごく大きくて、モデル選択に使うのに問題がありました。 ただ、階層的なモデル族だとそのゆらぎが全部同じになるのでモデル選択可能となっていました。 渡辺理論だとこのあたりはどうなっているのだろうというのが少し気になりました。 

その後の比護さんの分配関数計算にガウスで Laplace 近似するのではなく、mixture でやるという話。 私がD論で汎化誤差計算していたモデルなので面白かったです。 ただ、中心ベクトルの学習はやはり大変らしいです。 mixture 数をすごく増やせばいいみたいですが、少ない場合はFukumizu,Akaho,Amari で前に NIPS に出した splitting なんかで準最適化できないかなあなどと思いました。

二日目は contrastive divergence に BP を併用する話とか、セミパラ強化学習とか、密度比推定で ICA とか、自分の研究にも関係しそうな面白い話がたくさんありました。 査読なんてなくてもこれだけ面白い発表が集まるものです。 しかし、みんな忙しいということなのでしょうか。 毎年のNC研究会に比べると若干人が少なかったように思いました。

神経回路学会全国大会備忘録など

今日は神経回路学会について書きます.

機械学習と現在呼ばれているものの源流の一つはニューラルネットといってよいでしょう.
会議で言えば NIPS,研究者で言えば Jordan や Bishop, Hinton といった
人たちももともとニューラルネットに主軸を置いていました.
(なお,甘利先生もそうだと思いますが,甘利先生の場合守備範囲が広すぎるので
ニューロを主軸と言うには少し抵抗があります)

現在,NIPS を見ればわかるように,ニューロという名前はついていても
内容は機械学習や統計の広い範囲までカバーしています.
これは実はもともと
「何の役に立つか分からないけど面白い理論的な話」
として,連想記憶の解析や汎化理論などがとりあえずほかに出すところもなくて,
とりあえず学習だからニューロの会議にでも出すかというノリでいろいろ
集まっていました.
かつてはそういうものを受け入れる懐の深さみたいなものがありました.
EM アルゴリズムや SVM, ICA なんかもニューロから広まっていったように思います.

ただし,ほとんどニューロと関係があるのかどうかよくわからない話がはびこりすぎた
反動で,あまりに理論的なものは排除する動きが一時期あったのも事実です.

その後データマイニングなどで機械学習が注目されたり,CDMA に連想記憶の理論が
使えることがわかったりすると,神経回路学会も再びそうしたものを受け入れるように
なってきました. 最近ではブレインマシンインタフェースや神経スパイクの統計解析
のように脳と関係のある統計的な手法も多く見られるようになってきました.

機械学習系の会議なども増えてきたので私自身は神経回路学会にはあまり出ていなかった
のですが,なんとなく自分の原点というかふるさとのようなものと思っています.
外国の会議も ICANN, IJCNN, ICONIP などに出すことが多いです.

# ただ,神経回路学会=ニューロというとらえている人が多いのも事実でしょうね

神経回路学会も20周年ということで,いろいろ企画も進められているようです.
また,関係者の方々のご尽力で学会誌も一部オンライン化され閲覧可能になりました.(巻頭言などはこちら
非常にクオリティの高い解説なども見られるので,是非アクセスしてみてください.
これによってサーキュレーションもよくなったと思いますので,論文もどんどん投稿してください.
(編集長の篠本先生@京大が非常に熱心で査読期間も短期間です)

さてここからは,昨年9月に開催された全国大会@つくばの備忘録です.
岩波本で精神的にはゆとりはありませんでしたが,なんとか無事こなせたと思います.

私は実行委員の中で広報係を仰せつかりました.

まずはweb ページの作成・管理. これは pukiwiki 設置で超手抜きですませました.
(ただし cgi などの制約が強かったので投稿システムは別に仁木さんが苦労して設置しました)

あとは,ポスターをイラストレータで作成し,印刷していろいろな先生に送付.
これはネットの印刷屋さんを使用しました.
ちなみに,ポスターで使った筑波山の写真はインターネットで著作権フリーになって
いるものです.

それからプロシーディングスの作成をしたりしました.
さすがにネットの印刷屋さんでは細かいところまで対応できなさそうだったので,
こちらはつくばの印刷屋さんに依頼.
印刷関係の打ち合わせなど,はじめての経験をいろいろしました.
ただ,岩波本の執筆のために入れた海外出張(あるいは逃避のための出張?)
などで不在がちだったので他の実行委員の方々にご迷惑をおかけしました.

さて,全国大会当日.
TX で便利になったという錯覚があったのか,予想以上の参加人数.
# つくば駅からのアクセスがこんなに悪いとは思っていなかったのでしょう.
結果敵に準備したプロシーディングスが足りなくなり,途中から事前登録者以外は
プロシーディングスなしの割引価格ということになりました.

それから,参加者のみなさんは意外に晩ご飯を食べるところで苦労していたようです.
参加者の方々に配ったグルメ情報は古いものだったようで,私も
篠本先生に古い情報を教えてしまってしばし路頭に迷わせてしまったようです.
前日で懲りたのか,翌日開かれた懇親会には予想以上の参加者が...
多くの先生から示唆あふれるコメントをいただき感激しました.

さて,会議の内容ですが,岡田研@東大から NIPS に通った2件の発表も含まれており,非常に
レベルの高いものでした. 招待講演も非常にインパクトのあるもので,上記のような
私の不手際を除いて会議は大成功でした.
なお,プロシーディングスは大会ホームページのプログラムのところからアクセス可能ですのでご興味のある方はごらんください.
# と思ったらまだパスワードが必要だった. 連休明けにでも確認してパスワードを外します.

以上なんだか書くことがたまっていたのですごく長くなってしまいました.
最後まで読んでいただいた方ありがとうございました.

ICANN2008報告

忘れないうちにICANN (Int. Conf. Artificial Neural Networks)@プラハ の報告をしておきます.

ICANN は 9 月のはじめで,岩波本がほぼ完成していた時期です.
(というか期日の関係でとりあえず完成ということにしたというほうが正確ですが)
でもまだ多数の修正箇所を残しており,まだまだ気が抜けるというところまではいきません.

ウィーン経由でプラハへ. 最近愛用のノイズキャンセリングヘッドホンで,狭いエコノミーのヨーロッパ便も楽勝です.
プラハははじめてですが,印象としては以前に行ったウィーンやブダペストと似ている感じ. ガイドブックもこの3つでいっしょになっているやつとか多いし...

会議はプラハ城近くのホテル. ちょうどユーロが暴落する直前で,出張旅費では足が出るほど高いホテル料金でしたが,なかなか豪勢なところでした.

会議の中身はパラレルセッションも多くてとても報告しきれませんが,機械学習系の会議がほかに増えてきたこともあり,ICANN での割合は相対的には減っているようです.

ただ,Chair の Kurkova 女史が関数近似関係の理論家なので,そのあたりは充実していました.
私が出したのは NC 研究会に出してずっと放置してあった混合分布の情報幾何的次元圧縮の話で,Kurkova と同じ Mathematical theory のセッションに入れられていました. このセッションは私を含め 3 件の日本人の発表があり,別名日本人セッションという噂でした. (ほかは伊藤嘉房先生と,渡辺澄夫先生のところの西山悠さん)
連名で発表した西森君の発表は私のセッションとパラレルの別のセッションだったので聞けませんでした.

日本から,甘利先生,福島先生,石川真澄先生といった大先生方のほか,石井信先生や小野田崇さんなど知り合いもたくさん参加されていて,はじめてのプラハの地も不安なく過ごせました.
甘利先生もまだまだ現役ですごいです.

さて,チェコといえばビールの発祥の地として知られています.
とても安くてビアホールでビールを飲んでも一杯安ければ200円以下で飲めました.
ユーロが安くなった今となってはもっと安く飲めるはずです.
しかもすごく美味しい.
食事関係ではそれほど美味しいとは思えませんでしたが,ビールは堪能できました.
ドイツやベルギーとはまた違う元祖の味という感じでした.

そういえば,ICANN のプロシーディングスは Springer の Lecture Notes に
なっているのですが,セッションごとのアルファベット順だったので,私の論文が
一番始めにはいっていたのはとっても目立ってラッキーでした.

ibis2008報告

IBIS が終わった後連休だったので報告も遅くなりましたが,
忘れてしまう前に書いておきましょう.

なお最初に書いておきますが,
電子情報通信学会「学習と最適化のための大規模アルゴリズム」小特集
の締め切りも11/28に近づいておりますので告知しておきます.
IBIS 参加のみなさま積極的にご投稿お願いします.

さて,今年のIBISは杜の都仙台ということで,朱鷺の杜とも一応「杜」つながりです(無理矢理ですが).
仙台は食べ物もお酒も美味しくてついついそちらに気が行ってしまいます.
初日に知り合いの集団で牛タンたらふく食べた後Fさんと日本酒の店で二次会,二日目は懇親会をさぼってスペインバルでイベリコ豚の生ハムとワインを堪能したあとイタトマで研究の打ち合わせをするなどアフター充実でした.

もちろん昼間の会議も思ったよりずっと盛況で,座る席を探すのに苦労するほどでした,

前日にはセンサネットがらみで多端子情報理論のチュートリアルがあったのですが,
所用のためどうしても参加できず,後から聞いたら相当濃い内容だったようで,返す返すも残念でした.

さて,IBIS本体の方は開催案内のときにも書きましたが,今年は東工大の杉山さんを中心とした若手による新たな試みがいろいろありました.

まず,全部ポスター発表でオーラルはオーガナイズドセッションのみという構成.
これはかなり成功したのではないでしょうか.
ただ今後のためにあえて以下に問題点も指摘しておきます.

・まず最初に予稿集をなくしたのは,結果的にはデメリットの方が多かったと思います.
私は理解が遅いので,話を聞いたりポスターを聞いたりした後じっくり復習しないととてもわかった気にはなれません.
それに,後で「確か IBIS で聞いたな」というようなのを思い出しても,それを引くことができません.

ただし,予稿集をやめるメリットもいろいろあります.
--まず,IBIS なんかではなくもっとちゃんとした国際会議なりジャーナルに出せというメッセージでもあると思います (これはちゃんと論文にしない自分にとって反省すべき点です).
--それに予稿集をなくしたので発表件数も増えました (そもそも研究発表のみならず研究者間の出会いの場の提供という側面ではこれは成功でしょう).
--あとは,予稿集を作るのが大変というのもありますね (神経回路学会全国大会で予稿集を作ったときはいろいろ大変でした). お金だけで済めば安いのですが,pdf のチェックやら目次の作成やら結構手間がかかるものです. 通信学会の研究会などのように専門の人がやってくれて自動的に済むものならいいですが.

もう予稿集は作らなかったので,この辺の議論は今年については後の祭りですが,できれば,ホームページの方に,「このネタはここで発表しました」みたいなリンクを後からでも著者が付けられるようになればいいなと思います. (くりかえしになりますが通信学会特集号への投稿もよろしく)

・それから,会場の関係でポスターセッションがせっかく盛り上がっているところを5:30で打ち切られたのは残念でした(でも自分のポスターに関してはあまり長いと疲れてしまうので打ち切りは助かった面もありますが). 発表の中身が濃いので,見たかったのに見られないポスターがずいぶんありました. その意味でも予稿集があるとありがたかった.

それと関連して,お昼休みが少々短かった. 仙台に詳しいW大のHさんに美味しいお店に案内してもらったのですが,そこまで行って帰ってくると1時間のお昼休みではちょっと厳しかったです.
(お昼ご飯は食べない主義のKさんにとってはちょうどよいのかもしれませんが )

・オーガナイズドセッションですが,幅広い分野にわたって非常によくオーガナイズされていたと思います.
が,逆によくオーガナイズされていたがゆえに,観客が落ちこぼれないように内容が少々薄っぺらだったという印象です.
IBIS というと,トークの最後の方は何言ってるのかまるでわからんけどすごいというのが今までの伝統?で,それについていけるところまで必死でついて行くというのが快感みたいなところがあったと思うのですが,そういうのは希薄でしたね.
こんなの求めてるのは私だけかもしれないですが. (ただし多端子のはこういうノリだったようです)

というわけでいろいろ問題点も書きましたが基本的には非常に盛況で楽しいワークショップでした.
実行委員のみなさまお疲れ様でした.

私は運営には絡んでいないので伝聞ですが来年は九州方面との噂です.
また来年お会いしましょう.

ランダム行列勉強会報告

IBISに引き続いて行われたランダム行列勉強会の報告

現実世界に戻ってきたら何かと忙しくてちゃんとまとめている暇がないので,
多少ごちゃごちゃしていますがご容赦を.

1日目:
Opening は樺島さんの DEX-SMI の宣伝.いつも DEX なんとかとか言って,SMI が覚えられないのは私だけでしょうか^^;

続いて田中(利)さんのわかりやすい導入.
かなり準備に気合いが入っていました.
お昼休みにいろいろ話を聞いたら涙なしでは聞けない?苦労話が...

ランダム行列の固有値というのがさまざまな問題に出てきて,基本的な
固有値分布が陽にわかっているというのが重要だということがわかりました.

午後は中島さんの学習の問題.パラメータ数を十分大きくするところで,サンプル数はもっと大きいということで,パラメータ数とサンプル数がコンパラな場合はどうなるのだろうと思いました.固有値分布の収束性もサンプルセットを固定してパラメータ数を無限に持って行くのですが,本当はサンプル数も無限に持って行かなくてはならずよくわからなくなってしまいました. まあ無限じゃなくて「大きいところ」と思っていればわかるのですが.

午後の2番目は樺島さんが相関のあるサンプルへのアプローチという立場で話をされました.
Itzykson-Zuber 積分の拡張といういうのが数学的にも面白そうな問題でした.
(普通の Itzykson-Zuber では固有値分布との間にルジャンドル変換に類似の性質が成立)

2日目:
Opening は渡辺治先生のグローバルCOEの宣伝.
樺島科研費が物理→情報というアプローチに対して,こちらは計算から攻めるという立場.
IBIS的普通の人?は解析もアルゴリズムもやるわけで,両方のアプローチが必要ですね.

午後の最初は時田さん@阪大による生態学に対するアプローチでした.
昔読んだR.ローゼン「生物学におけるダイナミカルシステムの理論」やGAをやっていたときに
勉強したゲーム理論関係の話を思い出しました.
最初に小咄を前振りで言われたのですが高尚すぎてよくわかりませんでした.
でもその後もいろいろ業界の裏事情的な話をされて非常に面白かったです.

午後の2番目は福島さんで,固有値の端の方の分布を見ようという話でした.
使われていた主要な技術は,まず強制振動子法というバネモデルで固有値を高速に求めるというアルゴリズム.
(なぜかあまり流行っていないと言っていました)
それから端の方を重点的に見るための重点サンプリングの方法で,
分布がわからないので分布の学習もやるという興味深い話でした.
ちなみに重点サンプリングというのは目標と違う分布からのサンプルを使って
平均を取るテクニックのことだと思っていたのですが,rejection sampling みたいな方法でした.
重点サンプリングのちゃんとした定義を今度伊庭さんに確認しておこう.

午後の最後は招待講演の永尾先生で,最初に田中さんが「四元数ではじまる恐ろしい本」と紹介していた本の著者です.
説明自体は丁寧に一般の半円則の証明のあらましなどを述べられていました.

予想通り中身の濃い面白い勉強会でした.

ibis2007報告

IBIS2007 が今年も盛況のうちに終了しました.
樺島さんによると参加人数は約210人とのことでした.
査読なしでこれだけレベルの高い論文が集まるというのもすごいことです
(査読なしというのは厳密に言うと不正確ですが,密かに査読制度撲滅運動を展開している私としては頼もしい限りです)

全体的な印象としては若い世代が元気だったということがあります.
東工大の杉山さんを中心とした一団をはじめ,日頃から議論が活発に行われているようです.
それに実際のエビデンスがすごい. 私のように脇の甘い研究者と違ってしっかりしています.

ちなみに,来年は10月末に東北で杉山さん@東工大を中心としたスタッフで開催予定とのことです.

さて,今年の一押しは将棋ソフト Bonanza を開発された保木さんの特別講演です.すでにいろいろな招待講演をされているようですが私は初めて聞きました.
まず開発の経緯が面白いです.
本業は化学で,長期海外滞在中に時間をもてあまして?興味のあった
将棋プログラムに挑戦したとのこと.
チェスの知見と化学でノウハウのある最適制御による定式化で,
一気にコンピュータ将棋のトップレベルにのぼりつめたわけです.
機械学習の専門家としては面目丸つぶれというところですが,よく考えるといろいろな
教訓があります.
まず,保木さんの専門が機械学習ではなかったということは本質的のような気がします.
専門家だとどうしても妙に凝ったことをしてしまいそうです(私も囲碁の平均場近似という
のをずっと温めてはいるのですが...).
特にアプリケーションの開発にあたっては,手法開発の専門家よりも
少し離れたところにいる方がいいということもあるのではないでしょうか.
また,ご本人はそれほど将棋が強くないというのもポイントで,きっと将棋の強い
人はパラメータを自分の手でいじりたくなってしまうのだろうと思いました.

もう一つの招待講演は高安先生の経済時系列の話.
経済現象をどこまで物理モデルとして記述できるか,あるいはオーダーパラメータ
のようなもので説明できるかといった話でした.
まあ儲かる儲からないという話には遠いわけで,ある意味科学としては健全かもしれません.

それ以外のセッションの一口メモ:

オーガナイズドセッション distance metric learning
カーネルとか距離とかを学習するという話で,統計科学と計算科学の融合する
一番ホットなポイントで,非常に勉強になりました.

セッション1:
大羽さんの発表のあと麻生さんが「識別ベース」アプローチと「検定ベース」アプローチ
について質問していましたが,この辺りは似ているようで違う,違うようで似ている
気持ちの悪いところではあります.
渡辺・赤穂・岡田の発表もこのセッションでした.変分ベイズも具体的に計算してみると
大変だなーというのが今回の研究を進めての感想です.

ポスター:オーラルに負けないおもしろい発表がたくさんありました.
時間が短くて,つかまってしまうと少ししか聞けないので,他の人に説明しているのを
少しだけ聞くというやり方になってしまいます.もうちょっといいやり方はないですかね.

オーガナイズドセッション massive data analysis
樋口さんの講演がみんなにインパクトを与えていました.

オーガナイズドセッション 長期記憶時系列
長期記憶時系列という言葉を聞いたことがなかったので目新しい感じでした.
脳のデータ解析でこの言葉を使うとなんだか紛らわしそうですが.
基本的には長い記憶が観測されるような物理モデルが軸になっていて,高安先生の講演
と通じるところのあるアプローチの話でした.広い意味ではカオスとかそういうのも
こういう研究の延長上に位置づけることもできるのですね.

セッション2,3,4
オーラルに選ばれたのはどちらかというとガチガチの理論ではなく,わかりやすい
話が多かったのでしょうか. 昔のIBISのようになんだかまるでわからないという話は
ありませんでした. プレゼンはわかりやすくというのが根付いてきたということも
あるかもしれません.

なお,このあとのランダム行列勉強会にも参加しましたので追って報告記事を投稿したいと思います.

それから宣伝ですが 10/19 に ACCV 併催の workshop Subspace2007 で球面上の次元縮約の話を藤木さんと連名で出しています.そちらもよろしくお願いします.

JST/CRDS 科学技術未来戦略ワークショップ「予測と発見」報告

今日はちょっと毛色の変わった話題です。
1月に JST (科学技術振興機構) の CRDS (研究開発戦略センター) というところで開かれた「予測と発見:大規模情報からの『知識』獲得技術」というワークショップの報告です。

これについてブログでどれぐらい書いていいのかわかりませんが、web に ワークショップの報告が出ているので、そこからそんなにはみ出ない程度に書きます。

ワークショップの概要は、まず有川先生@九州大学がコーディネータとなって、人を集め、知識獲得に関するディスカッションを重ねて最後に報告書にまとめるという流れです。 メンバー表を見ればわかるように、参加された多くの先生方はどこかで名前は拝見したような方々ばかりですが、中には私のような駆け出しの若輩者も含まれています。(有名人ばかりとはいえ、中島秀之さんとか、山西さん@NEC, 石井先生@奈良先端・上田さん@NTT 等よく知った顔も多かったですし、電総研の先輩である楠本さんにも初めてお会いしました)

1日目の朝9時から夜9時まで、まさに缶詰状態で(お昼もお弁当を食べて)、その間一歩も外に出ずにひたすら議論していました。 全体は3つの分科会にわかれ、それぞれの中で議論したものを最後にまとめあげるという感じです。 分科会は「統計っぽい班」「アルゴリズムっぽい班」「言語・認知っぽい班」という色づけで、それぞれ個性あふれていました。 私は統計っぽい班(座長は統数研の所長の北川先生です)に入れられていたので、それを中心に書きます。しばらく前のことでかなり忘れてしまっていますが、思い出せる範囲で、、、

まず、お題として与えられたのは「知識とは何か」というなにやら哲学めいた問題です。まあ統計班としては確率モデル=知識という感じなんでしょうけど、ひねりをきかせて、「知識=制約(ただし役に立つ)」という風にまとめあげました。 言語・認知班には制約充足言語とかやっている人への受けも多少意識されていたと思います。しかし受けねらいとはいえ、一部からは制約が思った以上にネガティブなイメージの単語で受け取られていたのにはちょっと驚きました。やはり言葉というのは難しい。

それから、実際の研究内容では、「パーソナライゼーション」、「データ同化」というキーワードが中心でした。 「パーソナライゼーション」はまあいまや必然ですね。 それからデータ同化というのはあまりよく知らなかったのですが、シミュレーションと観測とをすりあわせてより現実的なデータ解析をするというような意味だと思います。 実際に地球科学で研究をされている広瀬先生の話は非常に興味深いものでした。

これらの内容を表すのにひねりだした標語は「beyond MATRIX」。 MATRIX はいわゆる映画のマトリックスで、あれもまあシミュレーションだか現実だかが交錯していくのですが、それにパーソナライゼーションとかの要素を入れて、「個人対応の預言者」を作るというお話にしました。パーソナライゼーションについてはほかの分科会でも同じような提言がされていました。

個人的には、職人技的なモデル化の技術をシステマティックにする方法みたいな方向もおもしろそうだと思ったのですが、やはりモデル化はアートの部分が多くて科学にはなりにくいかもしれません。

さて、それまで CRDS という存在すら知らず、この手の会合に出るのも初めてだった私ですが、せっかく作った提言も眠らせておくのもなんなので、こういうブログで宣伝しておいた方がよいかなと思い報告させていただきました。 政治的なことはよくわからないので、これが政府の政策とかそういうトップダウンなものどう絡んでいくかはわかりませんが、とりあえず駆け出し研究者としてはボトムアップな情報伝搬しかできませんので。 なお、正確な内容については報告書を参考にしてください。 これはあくまで落書きですので。

IEEE SSCI 報告

このブログでも宣伝しておいた IEEE Symposium series on Computational Intelligence (SSCI2007) に行ってきました。

ちなみに Computational Intelligence というのは IEEE の比較的新しい society で、従来の Neural Network, Fuzzy, Evolutional Computation という3つのソサイエティを統合させたものです(journal は3つ別々に出ていますが)。
というわけでこの3分野の人たちが入り乱れた上、バイオインフォやデータマイニング、ゲームなど12個のシンポジウムが並列で行われたわけですから、かなり発散したものになっていました。

参加する前は日本人がどれぐらいいるのか全然わからなかったのですが、招待講演のある銅谷さん、渡辺先生@東工大のほか、上田さん・村山さんをはじめとする NTT グループ、池田さん@京大など見知った顔がたくさんいましたし、産総研からも本村さんのほか相当来ていました。 Cichocki 先生とはじめてごあいさつしました。

私はバイオインフォとデータマイニングに出したのですが、結局日本人が多かった Foundations of Computational Intelligence (FoCI) に主に出ていました。 (ちなみにデータマイニングの方は手違いで First name と Last name が入れ替わっていました。 というわけで著者索引には Akaho Shotaro と Shotaro Akaho の二人がそれぞれ1件ずつ発表したことになっています)

期待していたのは FoCI のパネルで、日本からは Program Chair の一人でもある大森先生@玉川大が出て Computational Intelligence についていろいろなディスカッションがありました。 もう内容を忘れてしまったのですが、
・Computational Intelligence と Artificial Intelligence はどうちがうのか
・人間や生物の機能はComputational Intelligence の研究に参考になるか?
という禅問答のようなものが多くて、もうちょっと生々しく、この society が生き残るにはどうすればいいか、予算を取るにはどうするか、みたいな生々しい話がもっとあってもよかったかなと思いました。

「人間や生物の機能を参考にする」といういわゆる biology-inspired みたいな話は、最近 machine learning 系の学会ではあまり言われなくなりましたが、実は研究所の外部評価やらいろいろ外への説明では突っ込まれる部分なので理論武装しておく必要はあります。 ただ、このパネルでは「参考になるか?」という問いに、全員一致してイエスという答えだったので、誰かそれに対抗する人をパネルに入れて議論して欲しかったという気はします。

このように、Computational Intelligence というのは脳や生物を意識している意味で、machine learning とは違う、独特な雰囲気はあります。 ちなみに私の投稿した active learning を使ったバイオインフォの論文に対する3人の査読者のうち、一人は「この論文は Computational Intelligence ではない」ときっぱり書いてあったので驚いたのを覚えています。 

さて、もう一つの期待の招待講演は銅谷さん・渡辺先生・古川先生@九工大の3本立てでした。銅谷さんはお得意の強化学習のメタパラメータと脳との関連についてでした。実は直接話を聞いたことはあまりなかったので、結構勉強になりました。渡辺先生は特異点の話で、日本に渡辺あり!みたいな感じにさらに磨きがかかっていました。古川先生は SOM の発展系で、SOM が多様体の学習なら、それを拡張してファイバーバンドルの学習をしてやろうという話でした。しかし、微分幾何の用語を使っても、トポロジーとかを扱わないとあまり意味がないので、そのあたり何か発展があるといいなと思いながら聞いていました。

そのほか全体的な流れとして swarm optimization がやたらと流行っていました。 まあプログラムが簡単にできるので学生とかにやらせるにはいい題材なんでしょうね。 でも根本的に何か新しいというものではないように思います。

さて、最終日のバンケットで渡辺先生のところの永田さんが FoCI の Student award を受賞されました。交換モンテカルロ法の交換率の漸近解析に関する研究です。

というわけで、思ったより盛り上がった会議でしたが、いかんせんビーチまで数十秒というところでの会議で、昼間の参加者が微妙に少なかったのは否めません。

15日からはやはりホノルルでICASSPが開かれます。
その中の Geometric Optimization for Independent and Principal Component Analysis という special session で西森さんが Flag manifold を応用した complex ica の話をします(私は連名ですがさすがに行きません)。参加される方は是非お立ち寄りください。



NC研究会

久々の更新です。最近はブログに書けないようなアンダーグラウンドな仕事ばかりしていました。まあ要はあまり研究はできていないということです。 それからなんといっても査読&編集委員の仕事はきつい。 これに関してはいろいろ愚痴りたいのですがそれは稿を改めることにして、今日は昨日1日だけ(というか半日ぐらい)参加したNC研究会の報告です。さらっと行って、するっと帰ろうと思っていたのですが、なかなかそういうわけにはいかなかったという話です。

朝つくばを出て、玉川学園前に着いたのが10:30過ぎ。遠いです。すずかけ台と似たようなものですが、北千住からの乗り換えが一回多い分玉川の方が遠い感じです。

とりあえず会場に行ってみるとSVMのセッションでした。九大の高橋先生のところの学生さんが、SVMの部分変数最適化のところに共役勾配法を適用してすごくいい成績を出していました。そのほか多クラスの話とかがいくつかありました。

お昼を食べた後、休憩室でお茶を飲んでいると、某先生が盲腸で入院していたというニュース。 これが今回のNCでは最大のニュースでした。 某先生研究のしすぎではないでしょうか。 お大事になさってください。

さて、午後最初のセッションで高畠さんと私の Progressive Contrastive divergence 法の発表がありました。 発表前に、教室を見回しても高畠さんが現れないのでいやな予感がしていたのですが、発表時間になっても現れず、仕方なく前代未聞の黒板プレゼンテーションを始めることにしました。 心の準備があまりできていなかったので、時間内にしゃべれるか全く自信がなかったのですが、話を少し始めたところで高畠さん登場。というわけで事なきを得ました。

この話は、通常最急降下の1ステップごとにMCMCをいっぱい走らせる必要のあるボルツマンマシンの学習を、MCMC一発だけですませようというちょっと前の Hinton の提案した contrastive divergence 法を改良した話です。 上記のようなトラブルがあって質疑の時間が取ってもらえなかったのですが、シンプルだし、なかなかおもしろい話です。 高畠さんはネガティブな側面を結構強調していたのですが、うまく改良してやれば理論的にもいろいろやることがあると思うので、もう少しいじってやろうと思っています。

さて、発表も終わったことだし、そろそろ抜けようと思ったら麻生さんから急遽座長の依頼。ICAと強化学習のセッションでした。産総研の一杉さんの話は事前に聞いていたので中身はある程度知っているのですが、それにしても話がいろいろ複雑すぎてどの辺に焦点を当てて聞くべきかが難しいですね。まあシステム的な研究というのはああいうものなのかもしれません。 あとはまっとうな ICA の研究。石井先生のところのスイッチングをセミマルコフモデルという2段階スイッチングみたいな形のマルコフモデルでやった実験結果がきれいでした。不勉強で今まで知らなかったのですが、なかなかいいモデルですね。最後の強化学習の話は、素人的な質問をして演者の人を困らせてしまいました。すみません。

というわけで、さらっのつもりが結構どっぷりつかってしまったNC研究会でした。そういえば奈良先端の柴田先生が IEEE computational intelligence society 関連で仕事をされているというのをちらっと聞いたので、きっとこの業界も盛り上がるでしょう。

ちなみに 4/1 から始まる IEEE symposium series on computational intelligence (SSCI2007)というのがありますが、私はその中の bioinformatics 関連のシンポジウムで、福水さんとやった遺伝子ネットワークの能動学習の話を(ポスターですが)する予定です。それから、連名ですが datamining の方のシンポジウムで産総研のイントラネットの web log 解析した結果を発表します。 どちらもそれなりにおもしろいと思いますのでお暇な方は見に来てください。


前のページ 次のページ

FC2Ad

上記広告は1ヶ月以上更新のないブログに表示されています。新しい記事を書くことで広告を消せます。