朱鷺の杜(IBIS)ブログ

情報論的学習理論(IBIS)に関する管理人の独断と偏見に満ちた意見

ibis2015感想

つくばでIBISが行われたので感想を. いろいろバックオーダー抱えていてこんなん書いている場合ではない気もするのですが という投稿を見かけてしまったので取り急ぎ書いてみます.

つくばの開催であるにもかかわらず,私はお役御免で,完全に物見遊山で参加できました.
実行委員・プログラム委員のみなさまお疲れ様でした&ありがとうございました.
(私はせめてもの貢献として,つくばのランチ情報などツイートしてました)

企画セッションは全体的に理論の話が多かったのはうれしかったです.
初日に鈴木さんの理論のセッションで幕開けし,三日目には河原さんの劣モジュラ―のセッション.
あと一つは応用よりですが最近話題のマテリアルインフォの話などを入れた津田さんのデータ駆動科学のセッション.
今年はセッション数も厳選されていた感じです.
休憩時間が設定されていないというのがなかなかストイックでした.

ポスターセッションはたっぷり時間がとってありましたが,
それでも見たいと思うような人気のポスターは人だかりができていて
順番待ちするかほかのポスターに移るかというなかなか難しい決定問題に直面しました.
なんかいい運用法ないですかね.

初日の若手セッションはパネルもあって面白い試みでした.
来年は若手 vs シニアみたいな構図のパネルにして若手がシニアをやりこめるところとかも見てみたいです.

そのほかインパクトが大きかったのはERATO代表の河原林さんのトークですね.
まとめもできているようです.
私の属している研究所のAI研究センターもまっとうに dis られておりました.
どこまでがネタトークなのかわからないので突っ込むのもどうかと思うのですが,私は特にスーパーエリート云々はあんまり共感できませんでした.
それはそれで大事な話だと思いますが,研究者の人口や裾野が広がった現代においては,
いろいろなタイプの研究者も含めてどうやって研究を進めていくかを考えていく必要もあるのかなと思います.

あと,招待講演で久々に安倍さん@IBMのお話が聞けたのも個人的には感慨深いです.
話に出てきたRWCのころはまだ駆け出しの研究者で雲の上の存在の方でした.

懇親会では研究会賞の表彰も行われ,現在いっしょに研究させていただいている村田研の高野さん・日野さんを中心とした研究(受賞対象研究には私は入っていません)と,しましまさん中心の研究(これは一応私も名前が入っている)が受賞しました.

というわけで,今年も IBIS 楽しめました(若干体調が悪くてアフターが不完全燃焼でしたが).
筑波大の推薦入試や筑波山の紅葉祭りなどとぶつかってつくばでもホテルが取りにくいという話がありましたが,
来年は紅葉時期の京都で開催らしいので日程が決まったら速攻でホテルを予約しないとまずそうです.

なお,今月12月半ばにはやはり京都でスパースモデリング主催の国際会議 HD^3 が開催されますので,
年末のお忙しい時期ですが是非ご参加ください. 懇親会には楽しいアトラクションもあるとの噂です.

【“ibis2015感想”の続きを読む】
スポンサーサイト

ibis2012

今年も ibis workshop が盛況のうちに開催されました.
@shima__shima さんを始めちゃんとしたレビューは 朱鷺の杜wiki 内にリンク(@mamoruk さんブログや @_akisato さんによる togetter まとめ) が張ってあるので,こちらでは適当に思いつくまま私見のメモ.

・スケジュール全般

 オーガナイズドセッションに気合いが入っているからか,結構スケジュールはタイト.
 合間にいろいろ打ち合わせとかやったので,オーガナイズドセッションは結構サボってしまった.
 オーラルセッションを復活させてポスタープレビューを廃止したのは面白い試みだけど,ポスターとの順序で考えるとオーラルは二日目でもよかったかも.

・インダストリアル重視

 ...という風に言われていたけど,興味のあるところだけ参加したせいか,あまり感じなかった.
 
 
・ポスターセッション

 毎年ポスターセッションは時間不足&混みすぎ感があるので,何らかの工夫が必要だと思う.
 人気のあるポスターは長い待ちが必要だし,ポスタープレゼンターがほかのポスターを聞く時間もあるといいかな.

・懇親会

 ibis は参加者の年齢層が若いせいもあり?食べ物の量が足りないというのが大きなペナルティになるということで,今年もそれは十分だった.
 @sla さんによる ibis 発表のマイニング結果のプレゼンが面白い試み.
 こういう解析は会議本体でも有用ではないかと考えた. 
 例えば MDS して,応用ー基礎,ベイズー非ベイズ,数学~物理みたいな感じで発表全体をマッピングした地図とかあるとポスターを聞く際にも参考になるかも知れない.

・奨励賞

 いずれ公式HPにも出ると思いますが,坂田綾香さん@樺島研の dictionary learning の統計力学の話と,竹内孝(@koh_t)さん@NTT-CS研の行列分解の話. そういえば過去の受賞者で賞状がなかった年があるみたいな話を聞いたんだけど,これは ibisml 研究会でフォローアップしてあげた方がよいのではないかと思った.

・東京での開催

 これは個人的な事情だけど,東京近辺であるとつくばから通わなくてはならずかなりきつかった. 今回は筑波大だけど茗荷谷なのでつくばからだと最低2回乗換が必要だった(しかもどの選択肢を選んでも乗換駅での距離がかなり長い). というわけで,地方でやってもらうか昔みたいに合宿形式だと助かるんだけど,こればっかりは実行委員に負担がかかる話なので無理は言えない.

・自分関連の発表

 手前みそ的に自分の名前が入っている発表について総括してみる.

 - 麻生英樹, 城 真範, 神嶌敏弘, 赤穂昭太郎(産業技術総合研究所), 興梠貴英(東京大学)
   “エピソード時系列データ分析のための強化学習ツールRLearn”

   一言で言うとRで強化学習できるツール作りましたという話.
   麻生さんが完璧にプレゼンしてくれているようだったのであまりポスターのところにいなかったのでよくわからなかったけど,まあまあの反応はあったみたい. 

   最近強化学習の発表も増えてきたようだし,ばりばりに強化学習の研究をしている人というよりも,強化学習をユーザとして使う人にはお手軽でお勧めなソフト.
   現在まだ public には公開しないけれど個別に問い合わせがあれば試用してもらうことはできるはず.

- 城 真範, 赤穂 昭太郎(産業技術総合研究所)
    “量子化による測定結果への影響”

   平均 μ 分散 σ^2 の値をデジタル計測器で何回か測るとき,σが小さすぎると情報不足でダメ,σが大きすぎると誤差が大きすぎてダメ. そのトレードオフをとった中間が一番いいという話.
   情報量とか考えれば情報理論で知られているような話にも関係するというコメントをもらった.

- 高畠一哉, 赤穂昭太郎(産総研)
    “新グラフィカルモデル「発火過程ネットワーク」 〜 学習が簡単な新モデル 〜”

   ちょっとコテコテすぎるタイトル?で心配はしていたものの,なんとオーラルに選んで頂きました.
   逆転の発想という感じで面白い話だと思うのですがオーラル会場での反応は今一つな感じ. 
   * 情報幾何で説明していたけど,ちょっとなじみが薄かった?
   * そもそもグラフィカルモデルの構造学習に興味のある人が少ない?
     ノンパラベイズとか,deep network とか,符号化の話とか,グラフィカルモデルを扱っている人は多いけど,そこではあまり構造学習はしていない.
   * ちなみに高畠さんはオーラルで離散限定みたいな言い方していましたが枠組み自体は連続にそのまま拡張可能.
   * 座長の @kashi_pong さんから指摘された Gaussian network との関連で言うと,モデルとしてはもっと複雑なものまで視野にしている点と,Gaussian network で非対称な結合まで許そうというところが違う点. ただし,よく考えると Gaussian network で非対称結合入れると,確率推論のときに Gaussian である計算メリットが失われてしまうかも.
   * あと,アルゴリズムの収束先として確率モデルが定義されるというのは気持ち悪いという声も? まあこれがSVMで言えばカーネルトリック的な発想の転換なわけだけど.

そんなわけで,まだまだ盛り上がっている ibis workshop,来年も楽しみにしています!

IBIS2011の感想および...

奈良女子大で開催されたIBIS2011に参加しました.

@shima__shima: 朱鷺の杜Wikiからリンクしようと思ってるのだが,今年のIBISについて書いてくれてるブログがないょぉ? (゜◇゜)ガーン

とのことですのでみなさん書きましょう.

ただ,最近は twitter でツイートして満足してしまうことも多いので,それらをまとめて togetter すればいいかも
(ちなみに昨年のはこちら)

あと,しましまさんのまとめがしっかりしすぎているのでそれに追加することが特にないということもあります.

オーガナイズドセッションは非常によくオーガナイズされていて,どのセッションもすごく勉強になります.

一方,ポスターセッションはあまりにも盛り上がりすぎて時間が足りない感じでした.
会場の制約もあるので仕方ないですが,昔の合宿形式の時のようにエンドレスでやれるのが理想でしょうね. 現状だと,発表している人はほとんどほかの発表は聞きに行けない感じです. 私は自分の発表はそこそこにして他の人の発表を聞きに回りましたが.

ポスタープレビューは,ちょっとネタ的な発表をしたのですが,事前にツイートしたのが裏目に出て,みんなの期待度が異常に高まってしまい,ほとんど受けませんでした. しかしその後某社の方々が掛け合い漫才風プレゼンとか自虐的プレゼンなどヒートアップしたものをやっていただいたので,その火付け役にはなったかなと思っています.
(追記: ibis2011 のホームページにはまだ掲載されていないようなのでネタ部分だけ載せておきます)

自分は連名を含めて3件の発表をしましたが,いずれもディスカッショントラックで,まだまだ preliminary な内容なのでこれからブラッシュアップしていかねばという思いを新たにしました.




...と,投げやりな感想を書いた上で,本題(^^;)ですが...




「カーネル多変量解析」がおかげさまで11月4日付けで4刷になりました!!!



### IBISネタで釣っておいて自分の本の宣伝をするというあこぎな商法^^

前回の増刷から1年半以上経っており,増刷間隔も指数関数的に空いていて,次回増刷があるかどうか不透明ですが,いずれにせよこれまでのみなさまのご愛顧に感謝いたします.





多くの方にご指摘いただいた誤植もほぼ修正されています(難しいのは放置^^;;;).

...と思ったら重要な修正を忘れていました.

サポートページのアドレス,組織改編があって朱鷺の杜wiki内に移したのを忘れていました.うーむ,早速誤植情報更新しておかないと.

# なお,産総研はちょこちょこ組織改編しているんですが,なくなった部門のページは1年経つと自動的に消されるという方針なので,そういうところに大事なものを置いておいたのが間違いでした.


気を取り直して...

本を書くというのは,お金という意味では大したことなく,むしろみなさんからいろいろ感想やらフィードバックをもらえること自体が著者へのご褒美です. 今後ともよろしくお願いいたします.

IBISML研究会 2011/3

3月11日に東日本大震災が発生し,年度末に予定されていた 2010 年度第 4 回 IBISML 研究会も当初開催が危ぶまれましたが,大阪開催ということもあり幹事の方々のご尽力でなんとか予定通り開催されました.

まず,会に先立って樋口先生@統数研の合図に従って震災で被災された方々に対して出席者全員が起立して一分間の黙祷が捧げられました. 亡くなられた方に対して深く哀悼の意を表するとともに,避難を余儀なくされている方々を少しでも元気づけられるように,そして,研究分野として直接・間接さまざまな面から何か貢献できないかを考えていくという誓いを立てた時間でした. 幸いこの分野は特別な大型機器を使うわけではないので,その意味からも大きなブランクが空くこともなく研究が進められるという利点があります.

なお,この震災では産総研のつくばセンターも強い揺れに襲われ,建物などには少なからず被害が出ましたが,奇跡的に全職員大過なく無事でした. 当日はちょうど産総研で PRMU 研究会が開催されており,地震により急遽中断されましたが,交通が完全に遮断されたため,つくば駅近くのホテルのロビーなどで一夜を明かされた方もいたようです. このあたりは image-ML に投稿された玉木先生@広島大の報告
 [image 05410] PRMU3月11日研究会 被災報告 (2011/03/13)
に詳しいので,お近くに image-ML を購読されている方がいらっしゃったら是非読まれるとよいと思います.
とても生々しい様子が伝わります.

つくばでは(というか関東全体だと思いますが)なんとなく世の中に暗い雰囲気が漂っていて,気持ちも沈みがちだったのですが,久々にお会いしたいろいろな方とお話しできてかなり元気が出ました. 産総研では出張の原則自粛が勧告されていたのですが,思い切って参加してよかったです.

さて,IBISML に話を戻すと,幸い地震による発表キャンセルもなく,20数件の発表が滞りなく行われました.
投稿された分野も現在の機械学習のトレンドに沿って幅広く,いつも通り査読なしとは思えないほどレベルの高いものばかりでした. [開催プログラム]

キーワード的にざっと挙げてみると,
・(ノンパラ)ベイズ,確率場
・ランキング
・プライバシー保護
・劣モジュラ
・テンソル分解
・スパース (lasso など)
・カーネル関係いろいろ
・ネットワーク解析
この辺りの基本を押さえておけば,ほぼすべての講演が十分楽しめる感じでした.

グループとしていちばんまとまっている感じがしたのは杉山先生@東工大の周辺でやられている密度比推定関連の研究で,完成度の高い研究という感じでした.

個人的には最後の理論のセッションがやはりもっともおもしろかったセッションです.
渡辺一帆さんによるVBの汎化についてかなり一般的な形の式を導出されていました.
綾野さん@阪大と鈴木さん@東大はいずれも(ただし解いている問題設定は全然違いますが)ノンパラの min-max レートの漸近解析をされており,興味深い結果を出されていました. 鈴木さんの発表に対する田中利幸さんの質問が例によってむちゃくちゃ鋭かったのが記憶に残りました.

なお,私は藤木さんと共著に入れて頂いた「回帰大作戦」という,怪奇大作戦をもじった内容での発表でした.世の中を明るくするために途中随所にネタ的なスライドも仕込まれていましたが,時節柄爆笑で受けるという感じではありませんでした. 中身は至極まっとうで,回帰や測定誤差モデルの損失関数をロバスト化したときに大域最適解が満たす性質に関する数学的な証明で,まあ詳細は予稿集をよく読まないとなかなか理解するのは難しいかもしれません.(藤木さんは予稿の証明が汚いので別のところにちゃんとしたのを出すつもりだとのことでしたが)

今回の IBISML 研究会は 英語発表の LLLL, DMSS というワークショップと並列開催で,一部パラレルに進行していて目当ての講演が聴けなかったりなどの声もあったようです. この辺りはまだ初めてのことでこれからディスカッションしていろいろ改善していくことでしょう.

追記ですが,冒頭の樋口先生は4月より統数研の所長に,幹事補佐の持橋さんも統数研に移られ,統数研がますます熱いですね. 今後も IBISML 研究会に対してもいろいろなスキームでサポートがされていくようです.

IBIS2010

先日開催されたIBIS2010は空前の300名を超える御参加をいただき,大盛況のうちに終わることができました.
持橋さんのブログをはじめ,感想などは朱鷺の杜wiki@shima__shima さんがまとめてくださっているのでそちらもご参照ください.

また,御参加頂いた方にはアンケートにお答え頂ければ幸いです.
今回の開催も昨年のアンケートの結果をいろいろ反映させましたが,IBIS は参加者が作り上げていくものだと思いますのでどうぞよろしくお願いいたします.

今回私は共同実行委員長をさせてもらいまいしたが,実際は福水さんが細かいところまで気を配った運営をしてくださって,私のいい加減さを補ってもらえました.
また,福水さんの秘書さんがスーパー秘書さんで大会の成功には大きな力となりました.
(初日には統数研の秘書さんが3人も受付していただき大いに助かりました)
産総研側も秘書さんには名札作りやランチマップ作りなど準備に多大な助力をいただきましたのでここに感謝の意を記したいと思います.

そしてもうひとつ大きな力となったのはアルバイトの学生さんです.
当初関連する研究室ではなかなかアルバイトの学生さんが集まらず苦労したのですが,早稲田の村田先生を通じて @koh_t さんが twitter をはじめいろいろな手段で学生さんを集めてくださいました.
ほとんどの方が初対面ということもあり(一部の学生さんが実は私の非常勤の授業の履修者だった方もいるようですが)最初のうち名前を間違えたり,うまく仕事の配置ができなかったりしてご迷惑をおかけしましたが,学生さんたちが自律的に働いてくれて助かりました.
初日は早朝につくばから駒場まで慣れない電車で行ったのもあってあまり調子がよくなかったのですが,学生さんたちといろいろ働いているうちに気合いが乗ってきて具合が悪いのも忘れてました.

ところで,今年から IBISML 研究会の発足に伴い開催形態がかなり複雑になりました.
統数研と通信学会が共催の IBIS ワークショップと,通信学会が主催の IBISML 研究会の併催ということで,いろいろな事情ではっきり切り分ける必要があるものの,参加者の方にあまり意識させることがないように苦心しました.
開催形態については今後いろいろ議論があるところだと思います.

あと運営について書いておくべきこととして ustream などによるネット中継という話があります.
これは私自身は企画当初からかなり意識はしていて,要望もあったらしいのですが,ノウハウやマンパワー,それに許諾や主催者の意識の問題などもあり難しいということで断念しました.
ただ,9月の PRMU の共催では部分的に試みもありましたし,メリットも大きいものだと思うので,今後は議論を避けては通れないところだと思います.


中身についてはプログラム委員長の持橋さんをはじめPCメンバーの方々のご尽力ですばらしい企画セッションばかりでした.
以前から私がこのブログや口頭で言っていた勝手なことを持橋さんが非常にいい感じで拾ってくださって,マニアックな中にもバランスよく配分されていたと思います.

大まかに言えば最初の二日間は数理的に深い情報論的学習理論のコアとなる部分,そして最終日は融合分野として裾野を広げようとするこれも IBIS の重要な部分という二つが両方入っていたのがとてもよかったです.

スタートは因果推論で,IBIS のみならず社会的にも非常にニーズも高く研究も進んでいるというトレンドまっしぐらのセッションでした.

個人的に一番ふるえたのは小林景さんの企画された統計数理のセッションでしたが,多端子情報も情報理論の未解決問題の宝庫ということで(それだけ手強いと言うこともありますが)わくわくするセッションでした.

量子情報のセッションでは,最近 IBM 科学賞を受賞された林正人さんがシンガポールからスカイプで中継してセッション紹介をするという面白い試みがありました.

経済と生物は,今も部分的にはかなり統計やベイズといったアプローチはあるものの,これから機械学習の手法でブーストアップできる可能性を感じました.
IBIS を機に共同研究が進むとよいなと思いました.


最後になんといっても IBIS の主役はポスターセッションで今年も(実質査読なしにも関わらず)質の高い発表がたくさんありました.
奨励賞や honorable mention のあった発表はもちろんそれ以外にもたくさん面白い発表がありました.
初日はポスターボードや椅子の配置がきつくて立錐の余地もなかった感じだったのは
申し訳なかった点です.
二日目はその反省に立って余裕のある配置にしましたが.

自分も二日目のポスター発表で多項式最適化をデータ解析の問題に適用する実験的な結果を発表しましたが,専門家の方にもアドバイスをいただけてとても有意義でした.

そもそもポスターセッションはまだまだ議論が続きそうだったのを,(無理矢理?)中断していただくような形になってしまうのは心苦しいところです.
昔の合宿形式ではほぼエンドレスで議論ができたので,昨今みなさんが忙しい状況では難しいと思いますが,たまには合宿というのも悪くないのでは思います.



なお,来年は阪大の鷲尾先生を実行委員長として開催される予定です.
来年もみなさん是非ご参加ください.

なんか今回は自分が関わったこともあってかなり賞賛ばかりの内容になってしまいましたが,特に運営に関してはいろいろ不備があったと思いますので,最初に書いたようにアンケートなどでフィードバックを頂ければ幸いです.

Tsukuba.R で発表したことなど

9/19 (日) につくばのR言語勉強会,Tsukuba.R の8回目があり,初参加しました.

今回は産総研で開催していただけるということで,あかほが会場係となって
みなさんをお迎えしました.

http://wiki.livedoor.jp/syou6162/d/Tsukuba.R%238

参加するだけでは申し訳ないので,「Rで情報幾何」という怪しげなタイトルで
発表もさせていただきました. あまりにもいい加減な話で,まじめに情報幾何の
研究されている方のお叱りを受けるといけないのでスライドや ust へのアドレスは
ここには載せませんので,興味のある方はネットで探してください.

ほとんどの参加者は私の半分くらいの年齢の方々ですが,とても勉強になりました.
以下簡単なメモ:

@yag_ays さん 「Interactive design in R etc.」
グラフと生データを行き来したいみたいな,データ解析屋なら一度は考えるテーマについての実装の試みでした

@y_benjo さん 「俺のuseR!解説が45分でわかるわけがない」
useR というイベントの報告で,日本からの発表が少ないのでみなさん発表しましょうという内容
y_benjo さんはスライドの作り方がいつもセンスがあって感心します.

@twittoru さん 「@y_benjoの代わりにoAuthの話」
セキュアな twitter を R でするための実装の話. R の弱点をプログラミング能力で力づくでカバーするというすごい話.

@mickey24 さん 「Extend R with Rcpp!!!」
R から c++ のプログラムを呼ぶときに,標準だとかなり面倒なのが,Rcpp パッケージを使うとかなり楽になりますという話. R の for 文は 10^6 とかいうオーダーになると相当遅いみたいですね. おまけの R でテトリスも面白かったです. ncurses でプログラミングとか20年近く書いていない気がしますが.

@yag_ays さん「お蔵入りになっていたESSの話」
R の emacs 上の実行環境です. ショートカットキーがなかなか便利そうなので今度試してみようと思いました.

その後懇親会もあったのですが,全部の参加者の twitter アカウントを書き漏らしたので,フォローしきれていないかもしれません.



詳細な情報は y_benjo さんのブログやそこからのリンクを参照してください.
http://d.hatena.ne.jp/repose/20100919/1284911619
なんかみなさん気を遣って? 岩波本の宣伝までしてくださって恐縮です.

一人だけ年寄り混じっていたのに温かく迎えてくださったみなさまありがとうございました.

そういえば,最近は勉強会バブル?で,Tsukuba.R と同日に Tokyo.R という R の勉強会や
コンピュータビジョン研究会と思いっきりバッティングしていたようです.
そんな中つくばまでおいでいただいた方は相当コアな方々ですね.

第2回IBISML聴講

福岡大で開催された第2回 IBISML 研究会に行った話.
http://ibisml.org/002/

発表なしで座長するためだけに行きました.PRMU と CVIM との合同でしたが,
さすが PRMU の勢力はすごいですね. IBISML はちょっと押され気味でしたでしょうか.
でも発表そのものはクオリティが高いものが多くて聞きに行った甲斐がありました.

フェロー講演で今年の3月に産総研から広島大に移られた栗田多喜夫さんと東芝の前田賢一さんの講演も
聞き応えがあり,それを含めたいくつかの発表は ustream 配信もされたようです.
(残念ながら録画はされていないようですが)
博多の後,広島に行き,ust 配信をされた玉木さんとも知り合いになれました.

今回の参加は,IBIS2010 の準備の下見も兼ねていたので発表だけでなく運営の方もいろいろ見てきました.

そういえば IBIS2010 の発表申し込みも締め切られましたが,今年も質の高い発表がたくさん
投稿されてきたようです. みなさん是非ご参加ください.

博多に行くとアフターファイブも相当充実してしまうので体はくたくたになりますが,相当充実した出張でした.

NIPS2009報告

もうしばらく前のことになってしまったのですが昨年末にNIPS2009に参加してきたので簡単に報告します.

バンクーバーやウィスラーはオリンピック前ということでそれなりに盛り上がっていました.
時差ボケの体にはバンクーバーからウィスラーまでのバスが結構きついのですが,今回は
福水さんと話をしながらだったのでそんなにきつくは感じませんでした.
ただ,スキーはしなかったので何のためにウィスラーに行ったのかという感じもします.
知り合いの人でもスキーはしないという人が多いです.

なお,再来年はヨーロッパで開催,その後アメリカ(やはりスキーリゾートらしい)でやるという予定のようです.

あと,NIPS は朝食やバンケットも込みなのですが,最近はそれだとその分が出張費からばんばん引かれてしまうので,
バンケットは仕方ないとして朝食はなしにしてもらえると助かります(あるいは別料金にするか).

会議は相変わらず朝早くから深夜までぶっ通しで,何回行っても空港とホテルの往復のみで,
バンクーバーの地理には詳しくなりません. ホテル近くのレストランの情報はぼちぼち増えていますが...

本会議で目立っていたのはスパースがらみの話で,どこを切ってもスパースでぱっと見には違いがよくわかりません.
スパースが流行っている背景には,最適化分野の話がどんどん学習関係に入り込んできたからというのがあると
思います.

ワークショップでも最適化のセッションが盛況でした.
いろいろな話があったのですが,単純だけど印象深い話を一つだけ書いておきます.

最適化で最適解から ε だけずれた解を求めるための計算量(の上界なり下界)が評価できている問題の
クラスがあります. 一方学習理論では有限サンプルからの学習で,汎化誤差のオーダーは 1/n とか
1/√n とかで評価されています. これらを合わせて考えると,汎化誤差で評価されているより上のオーダーで
最適化をがんばってもあまり意味がないのでちょうどその境目くらいの近似計算で止めておけばよい
という話になります. つまり計算量と近似精度のトレードオフを統計的な観点から決めるということです.

学習の分野というのは統計と計算の接点のような分野ですから上の話はそれを象徴するようなお話です.
昔からこんな話はあるだろうなと思っていたのですが,やはり最適化の専門の人が近くにいないと具体的に
話を作るのは難しいですね.

ノンパラベイズもまだまだ盛り上がっているのですが,やはり計算量をどうするという話になり,Michael Jordan
が上の話を持ち出してノンパラベイズもこういう観点が必要かもしれないねということを指摘していました.

最後に,NIPS とは直接関係ないのですが(岩波本にも出てくる)Locally linear embedding などで有名な
Sam Roweis 氏が37歳の若さでお亡くなりになりました.
個人的には面識はなく,ただ会議などで見かけただけですが,すごくアクティブな研究者という印象があります.
また,NIPS のホームページでは,ご家族のためのメモリアルファンドの寄付を募っています.
その衝撃的な死はいろいろな意味で現代社会の抱えている問題点を反映しており,考えさせられることも多い
できごとですが,それについて書くのはこのブログの主旨とはずれますので報告にとどめます.
ご冥福をお祈りします.

IBIS2009報告2「企画セッション編」

さて、IBIS2009企画セッション編です。
若いPCメンバーが魅力のある7つのセッションを企画していました。
企画セッションは事前にいろいろな調整が必要でなかなか大変だったと思いますが、
みなさんご苦労様でした。

以下、打ち合わせをしたりして必ずしも全部は聞けなかったので、かいつまんで感想を書きます。

・金融時系列
個人的にはなんとなく聞いていたコピュラの紹介がわかりやすくてよかったです。
演者の吉羽さん@日銀は伏見研OB会で何度かお会いしたことがあります。
(私は伏見研OBではないですが)

極値統計は主に一次元のときの場合の話の紹介で、途中からかなり飛ばし気味でした。
まあ細かい式は後で復習すればよいのですね。 ただし、大阪の年最大風速の解析の結末というか
オチがもう少し知りたかったです。
後で伊庭さんから多次元の話が熱いみたいなのを聞いたので、今度機会があれば統数研で
毎年やっているらしい公開講座も聞きにいきたいと思いました。

・音声・音響処理
興味のある話題だったのですが打ち合わせのため、まるっきり聞けませんでした。
すみません。資料を読んで自習したいと思います。

・化学構造
バイオインフォで有名な阿久津先生の、主に木構造などのグラフ構造の編集距離の近似計算の話。
計算量とかをバウンドするテクニックとかに、ただただ「はーーー」と感心して聞いていました。
カーネル的には最後の方に話されたpreimage (特徴写像の逆写像)の問題が応用上も重要だし、まだよくわからないことが多いなあと感じています。
岩波本には preimage の話はまるで書かなかったのでいつかサポートページに書いておくつもりです。(いつのことだか^^;)
化学物質だと創薬とかお金に直結するような話もあるようですが、その分難しいのでしょうね。

・疎グラフ上のダイナミクス
一時期は IBIS の一大勢力だった統計物理の話も今回は少な目の印象でした。
最初に三村さん@広島市立大が導入として頂点被覆問題を中心としたいろいろなアプローチの比較。

一宮さん@京大は経路積分法のチュートリアルで、とても話はわかりやすかったのですが、結局
ランダムネットワークでも蔵本転移が起きるということだったので、素人的には現象として
何か違いが出るような例があるといいなあと思いました(聞き逃しただけかもしれません)。

最後の上江洌先生は cavity 法で免疫系のダイナミクスを解析した話で、解析法の説明はわかりやすかったのですが、当初の免疫系との絡みがよくわからなくなりました。 単に自分の能力不足です。

・ランキング
前に NEC で山西さん@現東大たちと一緒に研究されており、現在マイクロソフトの李さんが順序学習のレビュー。これはしましまさんの専門分野で最後に厳しい突っ込み入れてましたね。

・パターン認識の新潮流
グラフカットの研究で著名という石川先生の話。石川先生とは一緒に食事もさせていただきました。
内容はグラフカットではなく、パターンのように連続的なものに対してコルモゴロフ複雑度を拡張しようという試みの話。
冒頭で既存のコルモゴロフ複雑度に対するアンチテーゼとして話を持っていったため、竹内さんが
最後に突っ込みを入れていましたが、話自体は面白いアプローチでした。
ただ、現実問題として、連続パターンに対する operation がどれほど自然に定義できるのかがよくわからなかったので今度お会いしたらその辺りをお聞きしてみたいと思います。

・機械学習応用のフロンティア
最初は顔認識システムを開発しているオムロンの方のお話。
質疑ではビジネスになるのかどうかというなかなかシビアな話。
技術的には、職場で近い栗田さん@産総研に話を聞くことも多いのですが、
やはりViola-Jones 強しという感じですね。

最後のトークは加納先生@京大による製造業における機械学習の話。
製造業における裏話的な内容も盛り込まれたとても面白い話だったのですが、
個人的にはカーネル関係の話に着目。
岩波本にはカーネルPLS (partial least square) の話は書かなかったのですが、
製造業では結構使われている様子。
どこに使われているのかあんまり知らなかったし,定式化も正準相関分析なんかと相当かぶるので不要かと...(それに一つ増やすとバランス的に別のところも増やしたくなるので本が巨大になってしまうという事情もあります)
というわけで製造業の読者を失ったかもしれないのでサポートページにいつか足しておきます.(これもいつになるやら)

というわけで以上企画セッションの感想でした。





ところで、なぜか来年実行委員長することになってしまいました
(福水さん@統数研と co-chair ですが)

選挙運動もしていないのにいきなり野党から与党になってしまった感じです.
今までIBISに対しては非公式を売りにして好き放題言ってきたのですが,これからは多少
控えたほうがよいのでしょうか.(無理かも知れませんが)

懇親会で言いましたが,IBIS はもともと絶滅危惧種の朱鷺になぞらえて絶滅危惧の
研究者の集まりとしてスタートしたわけですが,いまやgoogle やらマイクロソフトといったすごいところがまじめに取り組むようなすごくメジャーな研究分野になったので多くの参加者は
全然絶滅危惧種ではなくなりました.

マイノリティが好きなので最近あまりIBISでも見なくなったような濃い理論研究が
もう少しあった方が個人的には好きです. もしそういった方々が,
「最近のIBISはちょっと雰囲気違うから出しにくいな」
とか感じているならば,そういうのを再度増やすような企画があってもいいなと思います.
(もちろんプログラム関係はプログラム委員会の方で決められるわけですが)

それから、いろいろなルートで学生さんなどから「IBIS はしきいが高いので出せない」という話を聞きます。
確かに血気盛んな?若い先生方が多いので、突っ込まれることも多いかもしれません。
しかし、「ちょっとしたネタを思いついたけどちゃんと実験するの面倒だなー」というときでも、
IBIS なら「ちゃんと実験しろ」というつっこみはまずないので、逆に出しやすい面もあります。
それに、下手な国際会議出してあまり反応がないよりも深いディスカッションができる場だと思います。

まあともかくIBIS2009スタッフの方々ご苦労様でした。
IBIS2010は東京近辺でやりますので投稿&参加よろしくお願いします。

IBIS2009報告1 「ポスター発表編」

IBIS2009今年は博多で開催。
博多はおいしい食事とおいしいお酒が満載でかなり胃が疲労して帰ってきました。

会議報告、とりあえず自分の発表があったポスターセッションから。

紙のプロシーディングスをぱらぱらしながらポスターをまわるというのが理想ですが
今年も紙はなし。(去年はプロシーディングスそのものが発行されませんでしたが)
というわけで自分で印刷&製本しようとしたけど両面印刷をしたら
プリンタの調子が悪くいきなり挫折。しかたなくアブスト集(webページ)だけ印刷して
もっていきました。


ポスター発表の長所・短所
一言で言えば オーラル=コース料理・定食、ポスター=アラカルト という感じでしょうか。

・密なディスカッションをするには最適ですね。

・自分の興味のあるのだけを選んで聞けるというのもいいです。

・でも、中身を多くの人に知ってもらうのはなかなか難しい。

・興味がある内容かどうかぱっと見て見分けるのも難しいし、あまり興味のないポスターに
 つかまってほかのポスターが聞けないというのもつらい。

・これらの欠点を補うのがポスタープレビューですが、1分ではなかなか難しい。
 時間を単純に増やせばいいかというとそうでもなさそうだし。

・人気のあるポスターはお客さんがいつまでも掃けず、なかなか聞けないというのも難点です。

・こう考えるとポスターは聞く側のテクニックがかなり要求されるように思います。
 自分はあまりうまい方ではないですが。

さて、自分関係では3件(そのうち自分が筆頭のは2件)ポスター発表でした。

・1件目
 自分がセカンドオーサーの藤木さん@同僚の発表は、正規分布の空間の次元削減の話。
 最近藤木さんとやっているユークリッド化という話と私が前からやっている指数分布族の
 次元削減をくっつけた話で、非線形当てはめ(カーネルもあり)にも拡張しています。
 私の時間&能力的な問題で実験結果がのせられずすみませんでした。

・2件目
 次は伊庭さん@統数研との共同研究で、カーネルMCMCで入力にもノイズがのっている
 モデルの関数推定。 リプレゼンター定理そのものは成立しないのですが、
 カーネルならではのトリックが効くという話。 「隠れ変数のある場合のカーネル法」という一般化
 という意味では応用は広いのですが、技術的にはまだまだクリアすべき課題が多いです。
 このポスターは比較的お客さんが少なくて、しかも半分は伊庭さんにやってもらったので楽でした。

・3件目
 最後はしましまさん@同僚との共同研究で、しましまさんの考えた「飼いならし」の理論解析。
 「高品質な少数サンプル」+「低品質な大量サンプル」という問題設定が興味を引いたのか、
 解析部分のマニアックさにも関わらず大人気で、声が枯れるはほかの発表は聞きにいけない
 などうれしい悲鳴をあげていました。

二日目のポスターは全然聞けませんでしたが、一日目では竹内さんと福水さんが
マニアックなポスターを出していて面白そうでした。 竹内さんのはちゃんと聞くチャンスが
なく残念でした。 あと、全般的にカーネルの話は多くていろいろ面白そうでしたが
やはり人気の高いポスターはなかなか聞けませんでした。

若手のポスター発表は奨励賞の対象となり、受賞者はIBIS公式ホームページの方に掲載されています。

受賞された方、候補の方々の論文ももちろんすばらしいものですが、それ以外の発表も例年通りとても質の高い発表で、実質査読なしでこれだけの質が保たれているのはすばらしいと思いました。

次回は企画セッションの感想を投稿する予定です。
次のページ

FC2Ad