朱鷺の杜(IBIS)ブログ

情報論的学習理論(IBIS)に関する管理人の独断と偏見に満ちた意見

スポンサーサイト

上記の広告は1ヶ月以上更新のないブログに表示されています。
新しい記事を書く事で広告が消せます。

福水:カーネル法入門

IBIS2010でもチラシが配られていたのでご存じの方も多いと思いますが
福水健次:カーネル法入門-正定値カーネルによるデータ解析-(シリーズ多変量データの統計科学8)朝倉書店
が発刊されました.

タイトルを見れば分かる通り,私の岩波本のライバル本として位置づけられるわけですが,別に執筆業で食べているわけでもないですし,分野の発展としてはこういう本がどんどん日本人研究者によって出版されることは喜ばしいというわけで宣伝しておきます.
(わざわざブログで取り上げる理由としては,福水さんと親しいからとか,献本してもらったから,ということは全然...あります^^; ちなみにすでに持橋さんがブログで感想を書いておられます)

岩波本の出版時期はちょうど2年前のクリスマス商戦の時期でした. やはりカーネルというとケンタッキーにあやかってクリスマス商戦にぶつけるというのが作戦なのでしょうか(ということは全くないと思います^^;).

情報源は定かではないですが,某大学では科研費で「入門」と名のつく本を買うことはまかり成らん,という摩訶不思議な決まりがあるそうです. たぶん「まんがでわかる...」とかその手の初心者本を想定しての決まりだと思いますが,福水本はこの決まりに対して強烈なアンチテーゼと言えるほどの格調の高さがあります.

岩波本では初期の原稿で再生核ヒルベルト空間の導入が2章にあったのですが,初学者の便宜を考えて後回し(6章)にしました. 福水本ではその辺は割り切って2章にカーネルの理論の基礎事項をがっつりと持ってきています. 確かに最初に導入しておいた方が後の説明は楽になります. 例えが適切かどうか分かりませんが,ディズニーランドのアトラクションで言うと,岩波本が It's a small world 並のゆるさに対して,福水本はスペースマウンテンみたいなジェットコースター形式です. 最初に急な坂を登っておいて,あとはダッシュで下るイメージです. 

どちらがいいということはなくて,読者のバックグラウンドや好みに応じてどっちのアトラクションを選ぶかということだと思います. 岩波本の感想でも「6章から読んだ方がわかりやすかった」という方が(数学の得意な方が中心ですが)結構いらっしゃいます.
岩波本は数学的に難しい表現はできるだけ避けようとして,逆に表現があいまいになっているところが多数ありますが,その辺りは福水本はきっちりと漏れなく書いてあります.
岩波本の著者としては,岩波本でざっと全体を眺めてから,よりきっちりした記述を福水本で補う,といった使い分けをしていただければ幸いです.

岩波本のサポートページも中途半端な感じで放置してありますが,「福水本のここを参照」とか書いておけばいいような気がしてきました.

もちろんカーネルに関してより造詣の深い福水さんが岩波本より2年遅れで出しているわけですから,岩波本にない題材もかなり入っています. 以下その辺りをざっと書き出しておきます.

2章に関しては,岩波本では省いた複素数値カーネルについても書かれています.命題2.9にあるカーネルの連続線形汎関数を用いた定義は岩波本のサポートページでも少し触れていますが美しいですね. あと,岩波本では導入しなかった Sobolev 空間の導入(sec.2.2.3)は10章のスプラインとの関連を述べる上ではかなり重要で,岩波本ではこれを適当にごまかしています(岩波本p.171, sec.7.2(b)).

いわゆる多変量解析手法は3章と4章に短くまとめてありますが,実用上重要なものとして,sec.3.6 のグラム行列の低ランク近似があります.カーネル法は結構計算量が大きいので,インプリメントの際にも大いに参考になる部分です.(これについては鹿島さんらにお願いした信学会の招待論文にも詳しいです)

6章はカーネルの理論についてより詳しい話がいろいろと載っていますが,Hilbert-Schmidt 作用素については後の章で重要な概念なのでざっと理解しておくことが大切です.

そしてなんといっても福水本のハイライトは8章と9章にあります.福水さん自身がかなりの貢献をしている分野で,条件付き独立性についての数学的に厳密な扱いです.岩波本では p.82, sec.3.5(c) に約1ページでさらっと書いてあることをふくらませて,条件付き独立性検定・因果推論・(線形)次元削減などへの応用に発展させています.

あと,全体に研究の歴史や最新動向については岩波本では省略している部分で(私の不勉強ゆえですが),参考になるところが多いです.

一方,岩波本にあって福水本にない題材は少ないのですが,情報幾何絡みの話(岩波本 p.160, sec.6.3)はマニアックなものとして挙げておきます.

なお,前のブログエントリーで予告してあった統計数理の機械学習特集号 が発行されており,pdf もダウンロードできますが,福水さんも「正定値カーネルによるノンパラメトリック推論」というタイトルで研究詳解を書かれていますので福水本のサマリーとして参考になる部分も多いと思います.

スポンサーサイト

最近の特集号などの情報

機械学習も最近はいろいろな分野に広がっていて特集や解説もいっぱいあってフォローし切れていないのですが,私の把握している範囲で多少まとめておきます.

なお,主だったものは 朱鷺の杜Wiki にもまとめられていて,ちなみに2010年に関しては現時点で

 2010年
 特集『ベイジアンネットワークの最先端』人工知能学会誌, vol.25, no.6
 特集『大規模画像データ処理』人工知能学会誌, vol.25, no.6
 特集『ビジョンコンピューティングにおける確率的情報処理の展開』電子情報通信学会誌, vol.93, no.9
 解説『グラフとネットワークの構造データマイニング』電子情報通信学会誌, vol.93, no.9
 解説『超多重検定の最新動向』電子情報通信学会誌, vol.93, no.9
 連載解説『最近のベイズ理論の進展と応用 [I]~[V]』電子情報通信学会誌, vol.92, no.10~vol.93, no.3
 解説『転移学習』人工知能学会誌, vol.25, no.4 (2010)
 "A taxonomy of sequential pattern mining algorithms" ACM Computing Surveys, Volume 43, Issue 1


という情報が載っています. 特に「最近のベイズ理論の進展と応用」の連載はベイズの気鋭の方々による気合いの入った解説でとても勉強になります.

論文誌関係では,IEICE Volume E93-D No.10, Special Section on Data Mining and Statistical Science という特集号が 10 月号に掲載され,私も統数研の伊庭さんと共著で載せて頂きました.

現在,IBISML 関係の新たな特集号「Special Issues on Information-Based Induction Sciences and Machine Learning」が企画されており,私もPCに入れて頂いております. 締め切りは12/31までとなっておりますのでみなさまどしどし投稿をよろしくお願いします.

あと,もうすぐ発刊されると思われますが統計数理の2010年2号が統計的機械学習特集で,私も投稿させて頂きましたのでよろしければご覧ください.

解説関係にもどると,数理科学2010年10月号から甘利先生が情報幾何の解説の連載を始められています. いまでも第一線で活躍されている甘利先生すごすぎます.

神経回路学会でもいくつか動きがありました.
まず,創刊当時の学会誌が公開されており,Neuromail の案内によると

 創刊号の「会報」によれば、当時は平成元年7月に発足された学会も
 6年目に入り、正会員や賛助会員も増加して発展しきた頃でした。

 学会誌の編集は創刊号から岡部先生、石井先生、石川先生、麻生先生、
 平井先生が担当されていました。

 また巻頭言は以下の先生方の原稿です。
 1巻1号 松本 元先生
 1巻2号 外山敬介先生
 2巻1号 塚田 稔先生
 2巻2号 吉澤修治先生
 2巻3号 甘利俊一先生

 他にも貴重な論文や解説、報告、書評などが多数掲載されておりますので、
 どうぞご覧ください。


とのことです.最近の号でも和田山先生や樺島さんの圧縮センシング関連の解説など神経回路学会誌も目が離せないですね.さらに歴史をさかのぼると学会誌が発刊される以前の NEWS LETTER も公開されています.ちょうど私が研究者としてまだ駆け出し(今も駆け出しという説もありますが)だった頃で,非常になつかしい感じです. この辺りの熱い流れが現在の機械学習研究の一つの源流になっていると感じます.




上記広告は1ヶ月以上更新のないブログに表示されています。新しい記事を書くことで広告を消せます。