朱鷺の杜(IBIS)ブログ

情報論的学習理論(IBIS)に関する管理人の独断と偏見に満ちた意見

スポンサーサイト

上記の広告は1ヶ月以上更新のないブログに表示されています。
新しい記事を書く事で広告が消せます。

査読システムについて

よほど暇だと思われているのか私はよく査読を頼まれる(というかこんな文章を書いていること自体暇人の証拠?).
そもそも論文誌や国際会議の数が増えて,必要な査読の絶対数も増えているので私のような者でも査読しないと追いつかないということだろう.

学会の編集委員や査読委員もいくつかやっているので定常的に査読が舞い込んできて,細かいのまで入れたら年間30本ぐらいはやっているだろうか. 私は論文を読むのが遅いのでこれだけの量をこなすのは結構きつい. 仕事の大部分の時間を査読に取られているような気がする. しかし,この数が多いのか少ないのかはわからない.

他の査読者のコメントを見る機会も多いのだが,結構あきれるようなコメントを見かけることも多い. 超有名国際会議(隠してもしょうがないので書くがNIPSである)の査読を引き受けたことがあるのだが,そんな会議でも査読の質はかなりひどかった. まあ私も人のことは言えないが,こういうひどい査読で採択・不採択が決まるかと思うとちょっとぞっとする.

そもそも査読というのはボランティアベースであり,いい査読を書いたからといって自分にとっては何の得にもならない. まあいいコメントを見れば担当編集委員からの個人的評価は少し上がるかもしれない. でもそうするとますます多くの査読が回ってくることにもなる. 逆にひどい査読をしたからといって,研究上そんなに不利になるとも思えないし,嫌いな著者の論文は落とすということだって平気であるみたいだ. また,そういう査読者がいると,まじめに査読をした査読者がバカを見るだけなので,結局全体的に査読の質は低下していく.

もちろんそういういろいろな問題はすでにあちこちで議論されていて,査読システムはいろいろ工夫されているが,あまり抜本的なものではないようだ. とりあえず現状でいろいろされている工夫を並べてみよう.

・お金を出す:弱小学会などでは図書券をくれることもあるが,査読の対価として割に合うかというとかなり厳しいものがある.
でも,弱小学会なので,断られないためにはこういうものは何か必要かもしれない. しかしたぶん意味のある対価はお金ではないと思う.

・匿名・オープン:これは査読者と著者の両方の場合があり,上記NIPSについてもconnectionist mail で一時期かなり議論された. 査読者名のオープン化は査読者が責任を取るという意味でいいが,あまり厳しいコメントは書きづらくなるというバイアスがかかる可能性がある. Neural Computation では部分的にこれを取り入れている. 著者名の匿名性は身びいきや知名度だけで評価を上げるということを避ける目的がある. そもそもそういう評価をしがちな事実も問題だが,匿名にしたところで,参考文献なんかを見れば著者の推測はある程度ついてしまうのであまり意味がないという意見もある. ただし,多くの会議などでは実際に著者の匿名化は行われている.

査読をする目的は,質の高い論文を集めることと,論文誌では紙面の容量,国際会議などでは会場の容量などの制限があることである. しかし最近は電子出版をすることも多いので,そんなに査読をする必要もないかもしれないと思う. インパクトファクターを上げたければ厳しい査読をするのではなく,レビュー論文をいっぱい載せればいいだけの話である.

査読とは評価制度の一つであるが,最近は評価というものの難しさがどんどん浮き彫りになっている. そもそも評価の基準というのを定めるのが難しい. 通信学会の査読をしていても思うのだが,仲良しグループ的な雰囲気のある分野の論文は比較的簡単に掲載されているが,理論の一部などではかなり厳しい査読が行われていて,その分野の論文が滅多に載らないということがある.
そういえばNatureでも,まず自分をそのソサイエティで認知してもらうことが大事だとNature常連の某氏が言っていた. なんかそれって違うんじゃない?と思わざるを得ないが,実際そういう政治的な活動が必要なところもあるのが現実である.

まあいろいろ書いてきたが,結局査読というのは誰にとっても労多くして益少なしの代表選手である. 最近では論文誌に出さないで自分の web ページに論文を載せたりブログを活用したりする人も多い. ただ,今のところそれが有効なのはかなりの大御所的な人に限られている. また,少し分野は違うが Amazon の book review なんかもうまくいっている例である. あのシステムをそのまま論文の世界に持ち込むのは無理かもしれないが,参考にはなるかもしれない. 論文を Amazon で読む日も近い?
スポンサーサイト

朱鷺の杜ブログ開始

朱鷺の杜というサイトを開いて情報論的学習理論に関するいろいろな情報を集めつつあり,その中で落書き帳と称して勝手に自分の意見を書くコーナーを作りました.

ただ,それだと一方通行なので,ほかの人のコメントもつけられるようなブログ形式にしようと思いこのサイトを開きました. 最近は無料のブログサイトもいろいろあるようなので,AIST の中に無理に作るよりはそういうのを利用した方が管理もずっと楽そうです.

ただ,ブログ初心者なので,慣れるまではしばらくかかるかもしれませんが,よろしくお願いします.

IBISの住人たち

IBIS は学習理論に関わるいろんな分野の人たちが関わっている.ものすごく大雑把に言うと,物理・数学・工学の3つに分かれ,それぞれがまた細分化された分野に分かれている.

分野分けされているのにはいろんな理由がある. これにはいわゆる「バカの壁」という論理が使える. すなわち,非常に高度なことを進めていくためには,効率化が必要となる. そのためにはみんながバラバラにやるのではなく,専門用語・方法論・価値観といった要因を,ある程度そろえた方が効率がよい.

ところが分野融合的な IBIS のような場だとそういう効率化のための要因は逆に分野間の壁となってしまう. 特に専門用語については,外国人がそれぞれ自国の言葉でしゃべっているようなもので,そもそも何を言っているかわからない. ある程度努力して,何を言っているかわかったとしても,さまざまな道具立て(方法論)が専門化しすぎていて,何をやっているのかがわからない. さらにものすごく努力して何をやっているのかわかったとしても,それをやって何がうれしいのかという価値観を理解するのがまた一苦労である.

価値観は研究者の存在意義やモチベーションとかいった研究活動そのものの原動力となるものだから,それが違うとどうしても相手の立場を否定しがちであり,分野融合的な分野ではついつい不毛な水掛け論が起きている.

ただし,それは自分の価値観を捨てろということではない. むしろ自分の立場というのをはっきりさせて,かつ,相手の立場も理解する中で分野融合というのが生まれてくる. また,専門用語や方法論といったものも,それは自分の武器であって,優れた研究を進めていくには欠かせないものである. ただ少しだけ努力を払って分野融合的な場面では,共通語的な話し方をすればよいのである.まあ実際にはなかなか難しいのだが.

というわけで,とりあえず IBIS に住んでいる人たちのタイプをステレオタイプ的に分類してみよう.これは筆者の独断と偏見に満ちたものなので,気分を害された方がいらっしゃったらご容赦を.

物理
IBIS では特に統計物理の人たちが多い. 森羅万象の不思議に興味があり,その謎を解き明かすことが最大の関心事. 物理学が培ってきた方法論・道具立てはそのために最高のものだ自負している. レプリカ法とか,平均場近似といった道具で学習の問題をバッサバッサと切り捨てる. これらのマジカルなキーワードを出されると凡人にはもうついていけない. 数学的な厳密性よりも新たな道を開拓するブルドーザーのような存在. 往々にして数学のあまりの厳密性をバカにしている部分がある. IBIS でも元気な人たちが多く,一大勢力をなしている.

数学
IBIS の中では pure な数学者の人は少ないかもしれないが,情報理論や数理統計学の基礎的な部分をやっている研究者は,かなり数学的な価値観をもっていると言えるだろう. 数学者にとっては「厳密性・証明」が重要な価値観であり,それが役に立つかどうかはあまり気にしない. むしろ難しい証明をいろいろなテクニックを駆使して解いたという理論の高みをめざしているきらいがある. 往々にして厳密性に欠けた物理をバカにしている部分がある. ものごとを一般化しすぎて普通の人にはなかなかついていけない.

工学
一応 IBIS の中心的な部分をなしていてもいいはずだが,上記の二つの勢力に押されていまいち影が薄いのがこの勢力である. 工学の人たちの基本的なモチベーションは「役に立つ」ということである. ただ,学問というよりは職人みたいな部分もあり,物理や数学といった体系的な武器よりも,問題依存の知識の積み重ねで解こうとするところがある. 役に立たないことをやっている数学や物理をバカにしているところもあるが,劣等感もある.

上記広告は1ヶ月以上更新のないブログに表示されています。新しい記事を書くことで広告を消せます。