朱鷺の杜(IBIS)ブログ

情報論的学習理論(IBIS)に関する管理人の独断と偏見に満ちた意見

スポンサーサイト

上記の広告は1ヶ月以上更新のないブログに表示されています。
新しい記事を書く事で広告が消せます。

査読システムについて

よほど暇だと思われているのか私はよく査読を頼まれる(というかこんな文章を書いていること自体暇人の証拠?).
そもそも論文誌や国際会議の数が増えて,必要な査読の絶対数も増えているので私のような者でも査読しないと追いつかないということだろう.

学会の編集委員や査読委員もいくつかやっているので定常的に査読が舞い込んできて,細かいのまで入れたら年間30本ぐらいはやっているだろうか. 私は論文を読むのが遅いのでこれだけの量をこなすのは結構きつい. 仕事の大部分の時間を査読に取られているような気がする. しかし,この数が多いのか少ないのかはわからない.

他の査読者のコメントを見る機会も多いのだが,結構あきれるようなコメントを見かけることも多い. 超有名国際会議(隠してもしょうがないので書くがNIPSである)の査読を引き受けたことがあるのだが,そんな会議でも査読の質はかなりひどかった. まあ私も人のことは言えないが,こういうひどい査読で採択・不採択が決まるかと思うとちょっとぞっとする.

そもそも査読というのはボランティアベースであり,いい査読を書いたからといって自分にとっては何の得にもならない. まあいいコメントを見れば担当編集委員からの個人的評価は少し上がるかもしれない. でもそうするとますます多くの査読が回ってくることにもなる. 逆にひどい査読をしたからといって,研究上そんなに不利になるとも思えないし,嫌いな著者の論文は落とすということだって平気であるみたいだ. また,そういう査読者がいると,まじめに査読をした査読者がバカを見るだけなので,結局全体的に査読の質は低下していく.

もちろんそういういろいろな問題はすでにあちこちで議論されていて,査読システムはいろいろ工夫されているが,あまり抜本的なものではないようだ. とりあえず現状でいろいろされている工夫を並べてみよう.

・お金を出す:弱小学会などでは図書券をくれることもあるが,査読の対価として割に合うかというとかなり厳しいものがある.
でも,弱小学会なので,断られないためにはこういうものは何か必要かもしれない. しかしたぶん意味のある対価はお金ではないと思う.

・匿名・オープン:これは査読者と著者の両方の場合があり,上記NIPSについてもconnectionist mail で一時期かなり議論された. 査読者名のオープン化は査読者が責任を取るという意味でいいが,あまり厳しいコメントは書きづらくなるというバイアスがかかる可能性がある. Neural Computation では部分的にこれを取り入れている. 著者名の匿名性は身びいきや知名度だけで評価を上げるということを避ける目的がある. そもそもそういう評価をしがちな事実も問題だが,匿名にしたところで,参考文献なんかを見れば著者の推測はある程度ついてしまうのであまり意味がないという意見もある. ただし,多くの会議などでは実際に著者の匿名化は行われている.

査読をする目的は,質の高い論文を集めることと,論文誌では紙面の容量,国際会議などでは会場の容量などの制限があることである. しかし最近は電子出版をすることも多いので,そんなに査読をする必要もないかもしれないと思う. インパクトファクターを上げたければ厳しい査読をするのではなく,レビュー論文をいっぱい載せればいいだけの話である.

査読とは評価制度の一つであるが,最近は評価というものの難しさがどんどん浮き彫りになっている. そもそも評価の基準というのを定めるのが難しい. 通信学会の査読をしていても思うのだが,仲良しグループ的な雰囲気のある分野の論文は比較的簡単に掲載されているが,理論の一部などではかなり厳しい査読が行われていて,その分野の論文が滅多に載らないということがある.
そういえばNatureでも,まず自分をそのソサイエティで認知してもらうことが大事だとNature常連の某氏が言っていた. なんかそれって違うんじゃない?と思わざるを得ないが,実際そういう政治的な活動が必要なところもあるのが現実である.

まあいろいろ書いてきたが,結局査読というのは誰にとっても労多くして益少なしの代表選手である. 最近では論文誌に出さないで自分の web ページに論文を載せたりブログを活用したりする人も多い. ただ,今のところそれが有効なのはかなりの大御所的な人に限られている. また,少し分野は違うが Amazon の book review なんかもうまくいっている例である. あのシステムをそのまま論文の世界に持ち込むのは無理かもしれないが,参考にはなるかもしれない. 論文を Amazon で読む日も近い?
スポンサーサイト

FC2Ad

上記広告は1ヶ月以上更新のないブログに表示されています。新しい記事を書くことで広告を消せます。