Less Reviewing and More Progress

Yaleのビジネススクール(SOM)の教授で、Journal of Financial MarketsやReview of Financial Studies(RFS)のエディターを計13年勤めたMatthew Spiegelが、自らの経験とデータをもとに、ジャーナルが論文を審査するプロセスをどのようにすべきかについて述べたノート（原文はここ）についてメモする。まずは1980年と2010年でJournal of Finance（ファイナンスのトップジャーナル）に掲載される論文がどのように変わったかというデータを見てみよう（著者はRFSのデータも載せているが、基本的な傾向は同じなのでJFだけについて述べる）

1. 引用論文数の平均が1980年の15.7本から2010年には48.1本に増えた（中央値は13から46に増えた）。
2. イントロの長さの平均値が1980年の481単語から2010年には1673単語に増えた（中央値は408単語から1665単語に増えた）。
3. 全体のページ数の平均値が1980年の11.4ページから2010年には34.3ページに増えた（中央値は11ページから34ページに増えた）。
4. 著者数の平均が1.6人から2.3人に増えた（中央値は2で変わらず）。

では、論文の審査プロセスがどのようにおかしくなって、どのようにすべきか、について彼が述べていることを箇条書きにしていく。

1.  どこかに掲載された論文を他の論文に送ってみたら掲載されるだろうか?他の雑誌に掲載されたバージョンがそのまま掲載される確率はゼロだろう。そもそもリジェクトされる可能性も高いだろう。我々は、論文を「good enough（掲載する水準には達している）」と判断する能力を失い、すべての論文について達成しようのない完璧さを求めすぎている。
2. 何回もリバイズのプロセスを経たところで、論文の致命的な欠点が発見されることはまれだし、論文で使われたコードやデータを加工したプロセスを再現するなんてレフリーには不可能だ。そもそも、著者にはそれを隠すインセンティブもある。延々と続くリバイズのプロセスが論文をよくしているとは思えない。
3. 論文の電子化が進んで引用数を簡単に計算することができるようになったせいで、皆がどの(誰の)論文が引用されているかについて非常に注意を払うようになった。しかも、引用しすぎることのペナルティはないから、その結果、なんでも引用しようという風潮になった。平均の引用数は30年で3倍になった。
4. しかも、レフェリーは引用されるだけでなく、自分の論文がほめられるのを喜ぶ。その結果、イントロで多くの論文について述べることが多くなり、イントロの長さは30年前に比べて3倍以上になった。更に最近は、イントロのほかに、関連論文レビューというセクションも設けられることが多くなった！ジャーナルは関連論文のレビューにページ数を割くことに反対すべきである。
5. レフェリーが細かい頑健性チェックなどを延々と求めることで、論文の長さも3倍以上になった。しかし、このことが、最近の論文をより影響力があるものにしたり深いものにしているとは思えない。
6. 論文の掲載までにかかる時間が長くなる一方、テニュア審査の際には、論文が何人で書かれようとその論文のカウント数が割られることはなぜかないため、一つの論文の著者数も増加した。中央値は30年間2人で変わっていないが、平均は1.6から2.3に、50％増加した。
7. これらのトレンドによって、ファイナンスが以前より速いスピードで成長するようになったか？そうではないと思う。どちらかといえば、これらの変化によって、学問の進化のスピードが遅くなったと思う。現在のレビュープロセスによって論文が間違っているリスクを軽減しているという利点もあるかもしれないが、そもそも大多数の論文はすぐに忘れ去られるものであり、「正しさ」についてそれほど注意しなくてもよい。影響力のある論文であれば、レフェリーが何もしなくても、コードはチェックされ、結果は再現され、論文の結果が別の面からテストされたりしてゆく。
8. 自分は何をしてきたか？ 自分は基本的には、レフェリーの意見をもとに改定された論文がレフェリーの要求を満たしていると考えれば、レフェリーには再び送らないようにしてきた。また、年に1本はサブミットされた論文をそのまま掲載するように努力してきた。
9. あなたが将来エディターになったら、レフェリーの提案のうちこれは無視していいと言ってあげるべきだ。そして、レフェリーが書きたい内容ではなく、著者が書きたい内容を書いた論文を掲載すべきだ。自分の経験によると、そういう姿勢で臨めば、自然とよい論文が送られてくるようになる。そしていいと思った論文は大胆に採用すべきだ。最終的には、ジャーナルの目的は数は少なくても影響力のある論文を掲載するのが目的なのだから。

 個人的にもAppendixを入れて100ページとかある論文はうんざりする。自分が比較的よく知っているマクロでいえば、JMEはいろいろ批判されているが、ここに挙げたような路線に一番近づいていると思う。実際、JMEの論文はコンパクトに書かれているので、内容が同じであれば、他のジャーナルより眺める気になる。