http://ibisforest.blog4.fc2.com/ 情報論的学習理論(IBIS)に関する管理人の独断と偏見に満ちた意見 ja http://ibisforest.blog4.fc2.com/blog-entry-106.html しばらく前の神経回路学会誌に神経回路学会２０周年ということで，分野を代表する方々がいろいろな思い出を書かれていました．われわれの年代では本村さん（産総研）が昔の話を書いていたので私も昔話を書こうと思います（私の名前も出てきて感謝です＞本村さん）．こういう話は年寄りじみてて一度没にしかけたのですが，何かしらの意味はあるかもしれないと思い直して投稿してしまいます．かつて，一部の人に伝説的となっている「 分野を代表する方々がいろいろな思い出を書かれていました．
われわれの年代では本村さん（産総研）が昔の話を書いていたので
私も昔話を書こうと思います（私の名前も出てきて感謝です＞本村さん）．

こういう話は年寄りじみてて一度没にしかけたのですが，
何かしらの意味はあるかもしれないと思い直して投稿してしまいます．

かつて，一部の人に伝説的となっている「樺島君とゆかいな仲間たち」
という勉強会のような集まりがあり，私の研究人生にも大きな影響がありました．

それ以前の背景として，９０年代半ば頃，通産省の
「リアルワールドコンピューティングプログラム」（略称 RWCP）というものがあり，
その中で「確率的知識の利用ワークショップ」という理論系の研究会を，
当時電総研の大津さんや麻生さん，理科大の上坂先生などを中心にやっていたのが
ちょうど９６年頃まででした．

その後９７年頃になって，理研の村田さん（現・早大）の呼びかけで，まだリコーにいた
福水さん（現・統数研）と樺島さん（東工大）を中心に若手の会のような
ものとして企画されました． そんな関係で私にもとりあえず声をかけて頂き末席を汚させて
いただいたわけです．
ちょうど理研関係で岩本町の科振費の会議室が使えたので別名岩本町ミーティングとも
呼ばれていましたが，当時から抜群の存在感の樺島さんの名前を取って「樺島君とゆかいな仲間たち」
という名前になりました．
９９年ぐらいまで続きましたがみなさん忙しくなってきて自然に終了しました．

メンバーは理研からは中原さん＆池田思朗さん（現・統数研）が加わり，渡辺澄夫さん（東工大），
本村さん（産総研）などもいました．
内容としては独立成分分析やTAP平均場近似の話から特異点の学習理論の話，グラフィカルモデルや
アンサンブル学習などまさに研究が大きく発展していこうとしているテーマを間近で
聞けたのは非常に有意義な体験でした．
自分自身はあまり貢献していない気がするのが少々残念ですが．

人数はだいたい総勢でも１０名前後で，今思うとちょうどいい規模でした．
やはり密な議論をするには高々１０人程度が限度だと思います．
それ以上の人数で，しかもあまり知らない人の集まった研究会とかだとどうしても遠慮が出て
若者が自由に発言したりするのははばかられます．
当時はそれこそ朱鷺のように絶滅危惧種の研究者たちだったので，
集まっても人数は知れていました．
今は時流に乗っているので同じ世代に限定してもすぐに大人数になってしまう危険が
あり，オーガナイザが力量を問われる難しい時代ですね．

以下に機械学習関係で私の知っているものを挙げておきます．ほかにもたくさんあるでしょうが．

・東工大の杉山さんなどを中心とした T-PRIMAL

・関西だと大羽さんや持橋さんがやられているというサークルＫ

・twitter で私がフォローしている人の参加者の多いR の勉強会 Tsukuba.R．
つくばでやっているにも関わらずまだ参加できたことはありませんが．

・ビショップ本の勉強会もいろいろなところで行われているようです たとえばこれ：生駒読書会
これも北千住まで行けば近そうなんだけど．．．

勉強会のメリットはいろいろあると思いますが，研究のモチベーションが高まるというのが
私には一番大きかったと思います．
孤独に部屋に籠もってリーマン予想を考える，というタイプの人は一人でもモチベーションを
高め続けられるでしょうが，凡人ではついつい怠けてしまい，研究も停滞してしまいます．
ところが勉強会とかだと不思議なことにいくらでも集中力が持続できるのですね．

職場の中に近い分野の研究者の人がいる場合には特にこういう勉強会みたいなものは不要なのかも
知れないですが，なかなか同世代で近い人というのは少ないものです．
年配の権威ある先生(上司)から教えを受けたり，ずっと年下の若い人を教育したりするのも，それは
それで非常に意義あることなのですが，プライベートな話をしたりできるもっとも気楽
なのは同世代ではないでしょうか(当時はアフターの飲み会で車の話ばかりしていた気がします)．

あと，あまり組織などからオーソライズされない自由な雰囲気で集まれるものというのも必要な
要素かも知れません．

以上，私個人の経験をもとに勉強会への参加のお勧めでした．
]]> 落書き 2010-02-05T14:18:17+09:00 あかほ FC2-BLOG http://ibisforest.blog4.fc2.com/blog-entry-105.html もうしばらく前のことになってしまったのですが昨年末にNIPS2009に参加してきたので簡単に報告します．バンクーバーやウィスラーはオリンピック前ということでそれなりに盛り上がっていました．時差ボケの体にはバンクーバーからウィスラーまでのバスが結構きついのですが，今回は福水さんと話をしながらだったのでそんなにきつくは感じませんでした．ただ，スキーはしなかったので何のためにウィスラーに行ったのかという感じもし
バンクーバーやウィスラーはオリンピック前ということでそれなりに盛り上がっていました．
時差ボケの体にはバンクーバーからウィスラーまでのバスが結構きついのですが，今回は
福水さんと話をしながらだったのでそんなにきつくは感じませんでした．
ただ，スキーはしなかったので何のためにウィスラーに行ったのかという感じもします．
知り合いの人でもスキーはしないという人が多いです．

なお，再来年はヨーロッパで開催，その後アメリカ(やはりスキーリゾートらしい)でやるという予定のようです．

あと，NIPS は朝食やバンケットも込みなのですが，最近はそれだとその分が出張費からばんばん引かれてしまうので，
バンケットは仕方ないとして朝食はなしにしてもらえると助かります（あるいは別料金にするか）．

会議は相変わらず朝早くから深夜までぶっ通しで，何回行っても空港とホテルの往復のみで，
バンクーバーの地理には詳しくなりません． ホテル近くのレストランの情報はぼちぼち増えていますが．．．

本会議で目立っていたのはスパースがらみの話で，どこを切ってもスパースでぱっと見には違いがよくわかりません．
スパースが流行っている背景には，最適化分野の話がどんどん学習関係に入り込んできたからというのがあると
思います．

ワークショップでも最適化のセッションが盛況でした．
いろいろな話があったのですが，単純だけど印象深い話を一つだけ書いておきます．

最適化で最適解から ε だけずれた解を求めるための計算量（の上界なり下界）が評価できている問題の
クラスがあります． 一方学習理論では有限サンプルからの学習で，汎化誤差のオーダーは 1/n とか
1/√n とかで評価されています． これらを合わせて考えると，汎化誤差で評価されているより上のオーダーで
最適化をがんばってもあまり意味がないのでちょうどその境目くらいの近似計算で止めておけばよい
という話になります． つまり計算量と近似精度のトレードオフを統計的な観点から決めるということです．

学習の分野というのは統計と計算の接点のような分野ですから上の話はそれを象徴するようなお話です．
昔からこんな話はあるだろうなと思っていたのですが，やはり最適化の専門の人が近くにいないと具体的に
話を作るのは難しいですね．

ノンパラベイズもまだまだ盛り上がっているのですが，やはり計算量をどうするという話になり，Michael Jordan
が上の話を持ち出してノンパラベイズもこういう観点が必要かもしれないねということを指摘していました．

最後に，NIPS とは直接関係ないのですが（岩波本にも出てくる）Locally linear embedding などで有名な
Sam Roweis 氏が37歳の若さでお亡くなりになりました．
個人的には面識はなく，ただ会議などで見かけただけですが，すごくアクティブな研究者という印象があります．
また，NIPS のホームページでは，ご家族のためのメモリアルファンドの寄付を募っています．
その衝撃的な死はいろいろな意味で現代社会の抱えている問題点を反映しており，考えさせられることも多い
できごとですが，それについて書くのはこのブログの主旨とはずれますので報告にとどめます．
ご冥福をお祈りします．
]]> 会議報告 2010-02-03T12:51:14+09:00 あかほ FC2-BLOG http://ibisforest.blog4.fc2.com/blog-entry-104.html R については以前にも少し触れたことがありますが、最近 R に関する本が雨後の竹の子のようにたくさん出てきてどれを選んだらいいかよくわからない状態です。そんな中、共立から最近出た パターン認識 (Rで学ぶデータサイエンス 5) を入手しましたので紹介します。著者の金森、竹之内、村田の３氏は統数研の江口先生と共に U-divergence を用いたブースティングで有名で、私も個人的に知り合いです。本には当然ブースティングも入 以前にも少し触れたことがありますが、最近 R に関する本が雨後の竹の子のようにたくさん出てきてどれを選んだらいいかよくわからない状態です。

そんな中、共立から最近出た パターン認識 (Rで学ぶデータサイエンス 5) を入手しましたので紹介します。

著者の金森、竹之内、村田の３氏は統数研の江口先生と共に U-divergence を用いたブースティングで有名で、私も個人的に知り合いです。
本には当然ブースティングも入っていますが、クラスタリング、判別分析、ロジスティック回帰、k-近傍法、LVQ, 決定木、SVM などの機械学習の基本的なアルゴリズムが網羅されています。

このシリーズがややこしいのは、既刊にマシンラーニング (Rで学ぶデータサイエンス 6)というのもあることで、こちらは統計や平滑化などの著書で有名な辻谷 将明,竹澤 邦夫両先生の著によるものです。　SVM とニューラルネットは入っていますが、基本的には伝統的な統計手法の本です。 というわけで題名からするとなんだか紛らわしいので、著者の研究分野と目次をよく見て買った方がよいと思います。

さて「パターン認識」本に話を戻すと、まずいきなり１章は評価法の説明で、ROC とか AUC とかからはじまります。　ただしまえがきによると「初学者は１章はとばせ」と書いてあります＾＾；
その後の章はそれぞれの手法をオムニバス式に並べて、必要に応じてどの章から読んでも大丈夫なようにできています。　手法の説明はすっきり明快であまりくどくないのがいいです（初学者にはちょっときついかも）。　とりあえずプログラムがあるので百聞は一見にしかずということでしょう。逆に言うと全体のストーリーを追うというような読み方には向いていないです。

最近の話題では、パス追跡アルゴリズムとミニマックス確率マシンが入っているのが目新しいところです。 この辺りは岩波本のサポートページでも書いておかなくっちゃと思っていたところなので、この本で勉強してまとめておこうと思いました。
あと、多値判別のために ECOC を実装しているのですが、復号にコントラスティブダイバージェンス・平均場近似・MCMC というマニアックな手法を使っていて、入門者にはマニアック過ぎだろうとか思いましたが、この辺りは最後の方なので専門家向けという面もあるのでしょうね。

それにしても R のコードの整備は大変だったろうなと思います。
まあ、この３氏は私と違って几帳面な性格ですからバグや誤植も少ないことでしょう。(パターン認識のサポートページはこちら)
一応私が昔作った Splus 向けの混合分布のコードを参考にしてくださっている部分があり、それで謝辞に入れていただいており恐縮しています。
９０年代に書いたコードなので kernlab とかで使われている S4 メソッドではなく、古い S3 のメソッドを使っているところが少々恥ずかしいところです。



ところで、ついでに山ほどある R 関係の本もちょっとだけレビューしておきます。
RjpWiki のページに R 本リスト という完全リストがあります。

言語の解説と手法の解説のどちらに重点があるかでもいろいろ違いますし、バイオインフォとかマイニングなど特定の目的向けに書かれた本もあり、どれがいいというのは一概に言えないです。

R 言語自体の解説として、私のまわりでわりとバランスがいいのはやや古めですがRの基礎とプログラミング技法で、これを卒業するレベルくらいになると、グラフィックスについては久保拓弥さんが訳して最近出版されたRグラフィックス ―Rで思いどおりのグラフを作図するために―が決定版という感じです。
一方、言語自体のレファレンスとしてはRの普及に尽力されている間瀬先生のRプログラミングマニュアル (新・数理工学ライブラリ 情報工学)が定評があります。

統計関係では、やはり間瀬先生などが書かれた工学のためのデータサイエンス入門―フリーな統計環境Rを用いたデータ解析 (工学のための数学)をしましまさんに見せてもらって統計初心者向けの教科書としてわかりやすそうな感じでした。Rによる統計解析は、丁寧な解説で定評のある青木先生の書かれた本で、しっかり統計を勉強するのによい本です。

まあ共立本のようにタイトルが必ずしも中身をあらわしていないということもあるし、上の評価もあくまで私の周りでの評価なので本屋さんで実際に手にとって見るというのが一番なんでしょうね。
岩波本のようになかなか本屋さんに置いてない場合はとりあえず買ってみるしかできないでしょうけど＾＾；、R の本ならわりと小さな本屋さんでもいっぱい並んでいると思います。

]]> 本 2009-11-06T14:54:15+09:00 あかほ FC2-BLOG http://ibisforest.blog4.fc2.com/blog-entry-103.html さて、IBIS2009企画セッション編です。若いPCメンバーが魅力のある７つのセッションを企画していました。企画セッションは事前にいろいろな調整が必要でなかなか大変だったと思いますが、みなさんご苦労様でした。以下、打ち合わせをしたりして必ずしも全部は聞けなかったので、かいつまんで感想を書きます。・金融時系列個人的にはなんとなく聞いていたコピュラの紹介がわかりやすくてよかったです。演者の吉羽さん＠日銀は伏見研 IBIS2009企画セッション編です。
若いPCメンバーが魅力のある７つのセッションを企画していました。
企画セッションは事前にいろいろな調整が必要でなかなか大変だったと思いますが、
みなさんご苦労様でした。

以下、打ち合わせをしたりして必ずしも全部は聞けなかったので、かいつまんで感想を書きます。

・金融時系列
個人的にはなんとなく聞いていたコピュラの紹介がわかりやすくてよかったです。
演者の吉羽さん＠日銀は伏見研OB会で何度かお会いしたことがあります。
（私は伏見研OBではないですが）

極値統計は主に一次元のときの場合の話の紹介で、途中からかなり飛ばし気味でした。
まあ細かい式は後で復習すればよいのですね。 ただし、大阪の年最大風速の解析の結末というか
オチがもう少し知りたかったです。
後で伊庭さんから多次元の話が熱いみたいなのを聞いたので、今度機会があれば統数研で
毎年やっているらしい公開講座も聞きにいきたいと思いました。

・音声・音響処理
興味のある話題だったのですが打ち合わせのため、まるっきり聞けませんでした。
すみません。資料を読んで自習したいと思います。

・化学構造
バイオインフォで有名な阿久津先生の、主に木構造などのグラフ構造の編集距離の近似計算の話。
計算量とかをバウンドするテクニックとかに、ただただ「はーーー」と感心して聞いていました。
カーネル的には最後の方に話されたpreimage (特徴写像の逆写像)の問題が応用上も重要だし、まだよくわからないことが多いなあと感じています。
岩波本には preimage の話はまるで書かなかったのでいつかサポートページに書いておくつもりです。（いつのことだか＾＾；）
化学物質だと創薬とかお金に直結するような話もあるようですが、その分難しいのでしょうね。

・疎グラフ上のダイナミクス
一時期は IBIS の一大勢力だった統計物理の話も今回は少な目の印象でした。
最初に三村さん＠広島市立大が導入として頂点被覆問題を中心としたいろいろなアプローチの比較。

一宮さん＠京大は経路積分法のチュートリアルで、とても話はわかりやすかったのですが、結局
ランダムネットワークでも蔵本転移が起きるということだったので、素人的には現象として
何か違いが出るような例があるといいなあと思いました（聞き逃しただけかもしれません）。

最後の上江洌先生は cavity 法で免疫系のダイナミクスを解析した話で、解析法の説明はわかりやすかったのですが、当初の免疫系との絡みがよくわからなくなりました。　単に自分の能力不足です。

・ランキング
前に NEC で山西さん＠現東大たちと一緒に研究されており、現在マイクロソフトの李さんが順序学習のレビュー。これはしましまさんの専門分野で最後に厳しい突っ込み入れてましたね。

・パターン認識の新潮流
グラフカットの研究で著名という石川先生の話。石川先生とは一緒に食事もさせていただきました。
内容はグラフカットではなく、パターンのように連続的なものに対してコルモゴロフ複雑度を拡張しようという試みの話。
冒頭で既存のコルモゴロフ複雑度に対するアンチテーゼとして話を持っていったため、竹内さんが
最後に突っ込みを入れていましたが、話自体は面白いアプローチでした。
ただ、現実問題として、連続パターンに対する operation がどれほど自然に定義できるのかがよくわからなかったので今度お会いしたらその辺りをお聞きしてみたいと思います。

・機械学習応用のフロンティア
最初は顔認識システムを開発しているオムロンの方のお話。
質疑ではビジネスになるのかどうかというなかなかシビアな話。
技術的には、職場で近い栗田さん＠産総研に話を聞くことも多いのですが、
やはりViola-Jones 強しという感じですね。

最後のトークは加納先生＠京大による製造業における機械学習の話。
製造業における裏話的な内容も盛り込まれたとても面白い話だったのですが、
個人的にはカーネル関係の話に着目。
岩波本にはカーネルPLS (partial least square) の話は書かなかったのですが、
製造業では結構使われている様子。
どこに使われているのかあんまり知らなかったし，定式化も正準相関分析なんかと相当かぶるので不要かと．．．（それに一つ増やすとバランス的に別のところも増やしたくなるので本が巨大になってしまうという事情もあります）
というわけで製造業の読者を失ったかもしれないのでサポートページにいつか足しておきます．（これもいつになるやら）

というわけで以上企画セッションの感想でした。





ところで、なぜか来年実行委員長することになってしまいました
（福水さん＠統数研と co-chair ですが）

選挙運動もしていないのにいきなり野党から与党になってしまった感じです．
今までIBISに対しては非公式を売りにして好き放題言ってきたのですが，これからは多少
控えたほうがよいのでしょうか．（無理かも知れませんが）

懇親会で言いましたが，IBIS はもともと絶滅危惧種の朱鷺になぞらえて絶滅危惧の
研究者の集まりとしてスタートしたわけですが，いまやgoogle やらマイクロソフトといったすごいところがまじめに取り組むようなすごくメジャーな研究分野になったので多くの参加者は
全然絶滅危惧種ではなくなりました．

マイノリティが好きなので最近あまりIBISでも見なくなったような濃い理論研究が
もう少しあった方が個人的には好きです． もしそういった方々が，
「最近のIBISはちょっと雰囲気違うから出しにくいな」
とか感じているならば，そういうのを再度増やすような企画があってもいいなと思います．
（もちろんプログラム関係はプログラム委員会の方で決められるわけですが）

それから、いろいろなルートで学生さんなどから「IBIS はしきいが高いので出せない」という話を聞きます。
確かに血気盛んな？若い先生方が多いので、突っ込まれることも多いかもしれません。
しかし、「ちょっとしたネタを思いついたけどちゃんと実験するの面倒だなー」というときでも、
IBIS なら「ちゃんと実験しろ」というつっこみはまずないので、逆に出しやすい面もあります。
それに、下手な国際会議出してあまり反応がないよりも深いディスカッションができる場だと思います。

まあともかくIBIS2009スタッフの方々ご苦労様でした。
IBIS2010は東京近辺でやりますので投稿＆参加よろしくお願いします。

]]> 会議報告 2009-10-28T04:06:34+09:00 あかほ FC2-BLOG http://ibisforest.blog4.fc2.com/blog-entry-102.html IBIS2009今年は博多で開催。博多はおいしい食事とおいしいお酒が満載でかなり胃が疲労して帰ってきました。会議報告、とりあえず自分の発表があったポスターセッションから。紙のプロシーディングスをぱらぱらしながらポスターをまわるというのが理想ですが今年も紙はなし。（去年はプロシーディングスそのものが発行されませんでしたが）というわけで自分で印刷＆製本しようとしたけど両面印刷をしたらプリンタの調子が悪くいきな IBIS2009今年は博多で開催。
博多はおいしい食事とおいしいお酒が満載でかなり胃が疲労して帰ってきました。

会議報告、とりあえず自分の発表があったポスターセッションから。

紙のプロシーディングスをぱらぱらしながらポスターをまわるというのが理想ですが
今年も紙はなし。（去年はプロシーディングスそのものが発行されませんでしたが）
というわけで自分で印刷＆製本しようとしたけど両面印刷をしたら
プリンタの調子が悪くいきなり挫折。しかたなくアブスト集(webページ)だけ印刷して
もっていきました。


ポスター発表の長所・短所
一言で言えば　オーラル＝コース料理・定食、ポスター＝アラカルト　という感じでしょうか。

・密なディスカッションをするには最適ですね。

・自分の興味のあるのだけを選んで聞けるというのもいいです。

・でも、中身を多くの人に知ってもらうのはなかなか難しい。

・興味がある内容かどうかぱっと見て見分けるのも難しいし、あまり興味のないポスターに
　つかまってほかのポスターが聞けないというのもつらい。

・これらの欠点を補うのがポスタープレビューですが、１分ではなかなか難しい。
　時間を単純に増やせばいいかというとそうでもなさそうだし。

・人気のあるポスターはお客さんがいつまでも掃けず、なかなか聞けないというのも難点です。

・こう考えるとポスターは聞く側のテクニックがかなり要求されるように思います。
　自分はあまりうまい方ではないですが。

さて、自分関係では３件（そのうち自分が筆頭のは２件）ポスター発表でした。

・１件目
　自分がセカンドオーサーの藤木さん＠同僚の発表は、正規分布の空間の次元削減の話。
　最近藤木さんとやっているユークリッド化という話と私が前からやっている指数分布族の
　次元削減をくっつけた話で、非線形当てはめ（カーネルもあり）にも拡張しています。
　私の時間＆能力的な問題で実験結果がのせられずすみませんでした。

・２件目
　次は伊庭さん＠統数研との共同研究で、カーネルMCMCで入力にもノイズがのっている
　モデルの関数推定。　リプレゼンター定理そのものは成立しないのですが、
　カーネルならではのトリックが効くという話。　「隠れ変数のある場合のカーネル法」という一般化
　という意味では応用は広いのですが、技術的にはまだまだクリアすべき課題が多いです。
　このポスターは比較的お客さんが少なくて、しかも半分は伊庭さんにやってもらったので楽でした。

・３件目
　最後はしましまさん＠同僚との共同研究で、しましまさんの考えた「飼いならし」の理論解析。
　「高品質な少数サンプル」＋「低品質な大量サンプル」という問題設定が興味を引いたのか、
　解析部分のマニアックさにも関わらず大人気で、声が枯れるはほかの発表は聞きにいけない
　などうれしい悲鳴をあげていました。

二日目のポスターは全然聞けませんでしたが、一日目では竹内さんと福水さんが
マニアックなポスターを出していて面白そうでした。　竹内さんのはちゃんと聞くチャンスが
なく残念でした。　あと、全般的にカーネルの話は多くていろいろ面白そうでしたが
やはり人気の高いポスターはなかなか聞けませんでした。

若手のポスター発表は奨励賞の対象となり、受賞者はIBIS公式ホームページの方に掲載されています。

受賞された方、候補の方々の論文ももちろんすばらしいものですが、それ以外の発表も例年通りとても質の高い発表で、実質査読なしでこれだけの質が保たれているのはすばらしいと思いました。

次回は企画セッションの感想を投稿する予定です。
]]> 会議報告 2009-10-24T08:28:19+09:00 あかほ FC2-BLOG http://ibisforest.blog4.fc2.com/blog-entry-101.html 台風一過、みなさまのところは被害等ありませんでしたでしょうか。世の中では少し前に民主党の鳩山由起夫さんが首相になりましたが、鳩山さんは計数出身で、知人からの情報によると卒論がかの南雲仁一先生の研究室で甘利先生が南雲研の助教授だったときらしく、甘利先生のコメントが出ています　（東京新聞記事）同じ学科を卒業しても進路は様々ですが、計数出身の首相と言うことで科学行政にも多少は明るい未来図を描いてもよいの
世の中では少し前に民主党の鳩山由起夫さんが首相になりましたが、鳩山さんは計数出身で、
知人からの情報によると卒論がかの南雲仁一先生の研究室で甘利先生が南雲研の
助教授だったときらしく、甘利先生のコメントが出ています　（東京新聞記事）
同じ学科を卒業しても進路は様々ですが、計数出身の首相と言うことで科学行政にも多少は明るい未来図を描いてもよいのでしょうか。

さて、カーネル本関係ですが、いくつか動きがありましたので報告します。

まず、岩波書店から出ている「応用数理」の2009年 9月号に今年 IBM からこれまた東大計数に移られた鹿島久嗣さん(=@kashi_pongさん)が書評を書いてくださっています。

注記１：ちなみに、人工知能学会に書評を書いてくださった井手さんもIBMで、IBMには足を向けて寝られません。 Thinkpad を愛用してきたのですが、今は Thinkpad を買っても IBM には貢献できないですね

注記２：それから、応用数理９月号に載るというのは前々から聞いていて、英語タイトルとかもこれのために考えたのですが、この雑誌は岩波発行ですが基本的に応用数理学会の会員に配られるもので、小さな書店にはなかなかなくて、産総研でも地質関係の図書室に今日やっと入ったのでこうしてブログを更新しているわけです

鹿島さんといえば特にグラフカーネル関係では世界トップレベルの研究者で、私よりはるかに若いですがカーネル法についても私よりずっと造詣が深く、そのような方の書評というのはむちゃくちゃ緊張して読みました。
が、大変好意的に書いてくださっており、ほっとしました。５章のカーネル設計の話は私は概略的なことしか書かなかったので、むしろ鹿島さんが本格的に別のどこかで執筆されるのを楽しみにしております。（すでに学会誌等ではいろいろ書かれていますが）


さて、次の話題はカーネル本の輪講について。
産総研でも少し前に私の近くで輪講してもらっていたのですが、ネットで検索していたところ、Rで学ぶクラスタ解析などで有名な新納浩幸先生の研究室で輪講していただいているようです。リンク：研究室輪講のページ
後ろの章の担当の方は結構きついと思いますががんばってください。


次にブログ関係。 いつも @shima__shima さんに教えてもらってばかりですが、twitter に流れていた記事をぼーっと見ていたら @y_benjo さんがブログに記事書いてくれていたのを見つけました。リンク：ゼミのちはじめてのカーネル法

リプレゼンター定理の２カ所の違いがよくわからないとのことでしたが、確かに大して違いないです。
ノルムの単調増加関数に一般化したのと、再生性の言葉を使って言い換えただけで、本質的には同じ証明です。
（もともと２章の方は証明がなかったのを編者の伊庭さんの suggestion で加えたのです。 伊庭さんに感謝）


さて、カーネル本は「確率と情報の科学」というシリーズですが、ときどき集中講義や非常勤で授業をしたりするときに感じるのは、線形代数や微分積分に比べて確率統計を知らない学生さんが多いということです。（かくいう自分もそうでしたが）

これは高校や大学で確率統計が選択科目になっていることが多いという背景もあると思います。
また、確率の概念が難しいという以前に、確率の記法のところで意外につまずいている人が多いということがわかったので、カーネル本のサポートページに「確率の記法」というページを作りました。
　　（これは朱鷺の杜wikiに書くべきだったかな... でもまあどこに書いてあるかと言うことは今の時代あまり重要ではないですね）

あと、最後になりましたが今年の IBIS のポスタープログラムが出たようですのでここでもお知らせしておきます。

追記：今週末は産総研停電のためサポートページにアクセスできませんのでご了承ください。
]]> 岩波本 2009-10-08T14:55:33+09:00 あかほ FC2-BLOG http://ibisforest.blog4.fc2.com/blog-entry-100.html お久しぶりです．ドイツ・スロベニアで開催された二つの会議への参加報告です．時差ボケなので夜中に書いてます．あと，最初に書いておくと IBIS の締め切りは 9/13 まで延長されたので（ってもう今日か），みなさんどんどん投稿しましょう．さて，最初の会議はドイツのミュンスターで開かれたCAIP (The 13th International Conference on Computer Analysis of Images and Patterns)というビジョン系の会議です．投稿前は知らな
ドイツ・スロベニアで開催された二つの会議への参加報告です．
時差ボケなので夜中に書いてます．
あと，最初に書いておくと IBIS の締め切りは 9/13 まで延長されたので（ってもう今日か），みなさんどんどん投稿しましょう．

---

さて，最初の会議はドイツのミュンスターで開かれたCAIP (The 13th International Conference on Computer Analysis of Images and Patterns)というビジョン系の会議です．

投稿前は知らなかったのですが，採択率３０％程度と結構厳しくてビジョン系では有名な会議のようです．
私の参加名目は藤木さん＠産総研と村田研＠早稲田との共同研究に入れてもらっており，今回はポスター発表での参加．
内容は，魚眼レンズのカメラのキャリブレーションを繰り返し計算を使わないで高速にやる方法の提案でした．

会議全体はビジョン系と言うこともあり，見てわかりやすい発表が多かったです．
意外に機械学習関係でもおもしろいのがたくさんありました．

招待講演は２件．

１件目は Aljoscha Smolic という人がステレオビジョンとそれを応用してユーザが自由に視点を移動できる Free Viewpoint Video という話のレビュー．
サッカーの試合とかをいろんな視点から見せたりするデモや３Ｄ関係のデバイスの話が印象深かったです． 富士フィルムからも最近3Dカメラが発売されたりしたのでこういう研究も割と気軽にできるようになった感じですね．

２件目は Duda & Hart 本第２版：Pattern Classificationで加わった David Stork の講演で，絵画のイメージ解析の結果を紙芝居的に次から次へと見せていました． フェルメールの有名な「真珠の耳飾の少女」 の光源推定をしていて，フェルメールが実際の光を非常に精度良く描いていたことなどが面白かったです．

一般発表で機械学習に関連する話としては，SVM などの手法の応用はもちろん，グラフ関連のマイニング（Ihara Zeta function とか初めて聞いたし）や多様体あてはめに関しては無茶苦茶濃い発表もいくつかありました．

肝心の我々の発表ですが，一応学生さんがメインで発表すると言うことで，共著者陣はサポートするために控えていたのですが，すごく英会話が堪能な学生さんで出る幕ありませんでした＾＾； 上述の Stork 先生などもすごく興味を示しており，（内容ももちろんですが）うまくしゃべるのも大事だなあと思いました．

ほかの参加者は日本からもビジョン系で有名な先生方が何人かいらっしゃいました．
千葉大の井宮先生や慶應の斉藤英雄先生，成蹊大の村松先生のほか，元電総研の岡さん＠会津大とその学生さんの矢口さんなどとお会いしました．
矢口さんは twitter でフォローしている人 (ハンドル名yagu1)と判明．少しだけお話ししました．

CAIP は２年おきで次回はスペイン南部のセビリア（だったと思います）だそうです．

---

さて，ミュンスターからスロベニアのブレッド湖に移動して２件目の国際会議ECML/PKDD(European Conference on Machine Learning and Principles and Practice of Knowledge Discovery in Databases)に参加．

毎日 Newsletter を発行するなど運営にすごく気合いが入っていました．

proceedings は 9/17 まで時間限定でSpringer のページから見られます． ただ，会場ではネットがつながりにくくなっていたので，よく分からなかった発表を詳しく知りたいと思って proceedings を参照したいと思ってもなかなかできないということがありました． CD-ROM くらい配ればいいと思うのですが，何か事情があるのでしょうか．

あと，会議はビデオ撮影していてvideolectures.netで見られるようになるようです．

発表はなかったので聞くばかりだったのですが，意外に理解できる度合いは CAIP とそんなに変わらなかったので，いったい自分はどの分野の研究者だ？と自問．
最初の invited talk は Yahoo の Rosie Jones で，検索ログマイニングのプライバシーの話でした． プライバシーは最近はやっていて私も勉強会に参加したりしていますが，数理的に面白い部分がまだあまり発見できず． 社会学とか法律関係とかそういう広がりが面白いといえば面白いのですが，個人的にどこまで contribute できるかは疑問．

二日目の invited talk は Shai Ben-David という理論家の人が，理論がいかに実際の役に立つかをやさしく解説． 実際のところなかなか難しいと思うのですが，世の中の流れは理論をすぐ役に立てようという機運が高まっている気がします． 理論と実践とは twitter のようにゆるい結びつきというのが健全な姿で，あまり結びつきを追究しすぎるのもどうか思うのですが時代遅れ感覚なのでしょうか．

会議全体の研究テーマとしては，テキストマイニングやグラフマイニングを中心に，転移学習や準教師あり学習なども流行っている感じ． そのほかでは意外に強化学習のセッションが二つもあるなど目立っていました． あと，subgroup discovery という論理系のマイニングの話を初めて聞きました．
カーネル関係もカーネルを複数組み合わせるマルチカーネルの話や高速計算の方法あたりはまだまだやることがあるようで，Best machine learning paper も SVMlight の Joachims のところの SVM の高速計算を cutting plane を使ってやるという話でした（発表は共著者の人がしていた）．

本会議と並行して industrial track というのが走っていて，企業関係の発表がたくさんあり，参加者も多く盛況でした． 昨今 Microsoft, Google, Yahoo などが機械学習分野と結びつきを強くしているのと，やはり企業の人はプレゼンがうまいです （中身はさておき）．

それから参加者は，日本からビショップ本 の５人の監訳者のうち３人参加していました． 杉山研＠東工大の八谷さん，石井研＠京大の植野さん，植野研＠電通大の磯崎さんなどが発表で来られていました．
事前に ECML での合流を打ち合わせていた川鍋さん＠Fraunhofer とはザルツブルク駅で偶然遭遇．
あと，個人的に知り合いの伊庭斉志さん＠東大や野田五十樹さん＠産総研などともお会いしました．

日程の都合で，会議の後半（洞窟へのバンケットツアーや最後のワークショップでのしましまさんの招待講演）は聞けませんでした． 残念．

それから，来年の ECML/PKDDはバルセロナだそうです． 会議の内容を見る限りレベル的には結構通りやすそうにも見えるのですが，やはり通っている論文を見ると実データを使ってきっちり比較実験とかしているというところがポイントで，そういう意味では中身の深さよりは「完全な研究」が大切ということでしょうか．

それにしても１０日間英語漬けになっていたら言語中枢が崩壊しそうになりました． もうちょっと聞くのになれるのとコミュニケーション取れるようにならないと．．．
]]> 会議報告 2009-09-13T03:19:50+09:00 あかほ FC2-BLOG http://ibisforest.blog4.fc2.com/blog-entry-98.html 「カーネル多変量解析」の第２刷（２００９年６月２５日）が発行されました。これもひとえに皆様のご愛顧のおかげです。　ありがとうございます。第１刷で発覚した誤植はすべて修正してあります。あと、最初の方の章で「定理」という名前はつけないで定理みたいな形で書いていた見出しが節の見出しと紛らわしかったのを、体裁を変えて見やすくしました。誤植のある第１刷が欲しいという方（そんな人はいない）は在庫が少ないと思い これもひとえに皆様のご愛顧のおかげです。　ありがとうございます。

第１刷で発覚した誤植はすべて修正してあります。
あと、最初の方の章で「定理」という名前はつけないで定理みたいな形で書いていた見出しが
節の見出しと紛らわしかったのを、体裁を変えて見やすくしました。

誤植のある第１刷が欲しいという方（そんな人はいない）は在庫が少ないと思いますのでお早めに。
また、第１刷は買ったんだけど、誤植があるのでイヤという方は是非第２刷をお求めください＾＾；

]]> 岩波本 2009-07-03T14:49:30+09:00 あかほ FC2-BLOG http://ibisforest.blog4.fc2.com/blog-entry-97.html 今日は２件あります．１件目：２００９年７月号の電子情報通信学会英文誌D はこのブログでも何度か触れてきた「学習・最適化における大規模アルゴリズム」小特集です．目玉の一つは２本の招待論文です．・１本目は鹿島，井手，加藤，杉山の４氏による大規模カーネル法のレビューで，赤穂本ではあえて詳しく触れなかった？カーネルの大規模アルゴリズムについて詳しく書かれています．岩波本サポートページでもこの論文にリンクを張
１件目：
２００９年７月号の電子情報通信学会英文誌D はこのブログでも何度か触れてきた
「学習・最適化における大規模アルゴリズム」小特集です．

目玉の一つは２本の招待論文です．
・１本目は鹿島，井手，加藤，杉山の４氏による大規模カーネル法のレビューで，赤穂本ではあえて詳しく触れなかった？カーネルの大規模アルゴリズムについて詳しく書かれています．岩波本サポートページでもこの論文にリンクを張ってお茶を濁そうかと．．．（こんなんばっかですが）
・もう一本はランダム最適化の分野でシンプルながら有効な手法として定評を得つつある swarm optimization のレビューを筑波大の亀山さんに書いてもらいました． 最適化の研究者にもちょっと使ってみようかなというユーザの方にもお楽しみ頂ける内容です．

一般論文は foreward にも書いてありますが，一般投稿論文１７本中採択が論文３，レター１ということで，超難関低採択率になっております． 当然採択論文の質は高いわけですが，不採録判定の論文も相当ハイレベルでした． 分野ごとに査読規準の公平化が必ずしもうまくいかなかったかもしれませんが，これはひとえに幹事の私の責任です． でもこれは昨今の超厳しい国際会議やジャーナル論文などで最近よく耳にする問題点であり，そうやすやすとは解決できないでしょう．

２件目：
「確率と情報の科学」シリーズと銘打っていたものの長らく１冊だけで寂しい状態が続いていた岩波本ですが，ついに第２弾が出ます．

星野　崇宏著：
調査観察データの統計科学 ―― 因果推論・選択バイアス・データ融合 ――

で，岩波の新刊のページによると７月２９日発売予定だそうです．
しばらく前から（岩波より先に＾＾）丸善などでは出ていましたが，e-honなどいくつかのオンライン書店で予約受付中となっています． 例の流通経路の影響か amazon に出るのは少し先でしょう．

私も草稿段階で読ませていただいたのですが，ある意味カーネル本とは好対照をなす本です．
目次を見ると，共変量シフトやセミパラメトリック，EMアルゴリズムなど機械学習になじみの深いキーワードが並んでいます（目次はまだあまり出回っていないので詳細は省略）．
一方，中を見るとカーネル本と違い，さまざまな事例研究が紹介されており，社会調査などに関してうんちくがたまるような面白い話がたくさん載っています．

いずれにしても，これでやっとシリーズとして認知されそうなので，カーネル本が一般書店に出回る日も近い？ （岩波は返本制でないので小さいところでは厳しいとは思いますが）
]]> 岩波本 2009-07-01T14:16:08+09:00 あかほ FC2-BLOG http://ibisforest.blog4.fc2.com/blog-entry-96.html 最近 twitter をはじめたので、ブログに書く内容がますます少なくなって、またまた広告が表示されるようになってしまいました。　というわけで久々の更新ですが、IBIS 2009 https://kaigi.org/ibis/2009/ の CFP がメーリングリストに流れてきましたのでこちらでも宣伝しておきます。今年は九大で、実行委員長竹内さん＠九大、プログラム委員長井手さん＠IBM　という体制です。九大グローバルCOEがスポンサーになっているようで、
というわけで久々の更新ですが、IBIS 2009 https://kaigi.org/ibis/2009/ の CFP がメーリングリストに流れてきましたのでこちらでも宣伝しておきます。

今年は九大で、実行委員長竹内さん＠九大、プログラム委員長井手さん＠IBM　という体制です。
九大グローバルCOEがスポンサーになっているようで、今年も参加費無料と言うことでありがたいことです。

　　重要な日付：
　　　　投稿・発表申込締切： 2009年9月4日（金）
　　　　会期： 2009年10月19日（月）～21日（水）

今年は proceedings は出るようですが、昨年のいいところを取り入れてディスカッショントラックという萌芽的な話を出すこともできるようになっています。　また、若手の方には奨励賞なども出るようですのでみなさんどんどん投稿しましょう。

ところで話は変わりますが、いわゆるビショップ本は、Amazon の取次代理店の問題？で上巻がしばらく品切れ状態になっていたのですが、最近やっと在庫あり状態になったようです。　上巻はすでに４刷が出て売り上げ絶好調というところです。
岩波本もビショップ本を買うと推薦されるようなので、同期してまた売り上げが多少回復しているようです。

ちなみに、あるところから岩波本の英文タイトルを教えてくれと言われて、とりあえず

Kernel Multivariate Analysis: New Trends in Nonlinear Data Analysis

とか適当に答えてしまいました。　もちろん正式なものではないのですが、これが事実上英語名ということになるのでしょう。（英語名の謎は９月頃明らかになる予定です）
]]> 会議情報 2009-06-10T11:26:08+09:00 あかほ FC2-BLOG