How to Improve Econ Journals?

最新号のJEP (Journal of Economic Perspective, AEA（American Economic Association、アメリカ経済学会）が出している、比較的一般向けに噛み砕いた記事を載せる雑誌。インターネット上で無料で公開されている。）で経済学の雑誌についての面白い記事が2本載っていた。

 Card and DellaVignaは、このペーパーで、経済学の雑誌が、投稿するペーパーに対してページ制限を課すことで、どのような影響があるかについて分析した。彼らが用いたnetural experimentは以下のものである。AER（American Economic Review。AEA経済学のNo. 1の雑誌）とJEEA（Journal of European Economic Association、EEA（European Economic Association）が発行している雑誌。ヨーロッパで発行される最も影響力のある雑誌のひとつ）が、それぞれ2008年と2009年に、これらの雑誌に掲載するために投稿されるペーパーの長さに上限を設定した。AERの場合、ダブルスペースで50ページ以内、1.5倍スペースで40ページ以内というのが制限である。彼らがペーパーで書いているように、経済学のトップの雑誌に掲載されるペーパーの長さは1970年には15ページくらいだったのが、今は50ページに達している。もしそれぞれの雑誌のページ数に制限がある場合、それぞれのペーパーが長くなるということは、掲載されるペーパーの数が減ることを意味する。長さに制限を課すことで掲載されるペーパーの数を増やすことができる。それに、短いペーパーのほうが読みやすい（ので影響力が上がるかもしれない）し、レフェリーもしやすい（ので、レフェリーにかかる時間が短縮できるかもしれない）。その一方、ページ制限を課すことによって、本来本文で議論されるべきことがApeendixにまわってしまったり削除されてしまうことで、ペーパーの質が下がる懸念もある。

彼らは、2008あるいは2009年のページ数制限以降、AERとJEEAに投稿・掲載されるペーパーの質がどう変わったか、を分析した。彼らは以下のことを発見した。

1. ページ数に制限を課して以降、AERに投稿されるペーパーで長いものの割合が急に低下した。それと同時に、40ページちょうどの長さのペーパの投稿数が大幅に増加した。その一方、AERに投稿されるペーパーの数には変化は見られなかった。ページ数制限を嫌ってAERからほかの雑誌に投稿先を変えるという行動は見られなかった。AERが最高の雑誌であることを考えると当然だろう。AERに送れるペーパが書けたのであれば、ページ数なんていわれたとおりに削るのである。
2. では、ペーパーの内容にどのような変化が生じたか？平均的には、AERに投稿されるペーパーのページ数は4ページ低下した。2ページはフォーマットの変更によって達成され、1.5ページはAppendixを削ることで達成され、残りの0.5ページは表やグラフを削ることで達成された。最終的には、一方、本文の長さにはまったく影響は及ぼさなかった。このことは、それぞれの雑誌の長さのトレンドを比較した以下の表で、AERに2008年に何の変化も見られないことからも確認される。  
3. ではJEEAには何が起こったか？投稿されるペーパーの長さの分布は変わらなかったけれども、40ページを超えるペーパーは他の雑誌にいってしまうことになった。JEEAは数ヵ月後にページ制限を撤廃したが、このことが原因だろう。AERのようなトップの雑誌と違って、JEEAレベルであれば、代替する雑誌が存在するということだろう。
4. では、短いペーパーの方が優れているのであろうか？著者らは、過去の研究において、トップの雑誌においては、長いペーパーの方がR&R（Revise and Resubmit、論文を修正の上再投稿する権利が与えられること）が得られる確率が高いことを示したが、このことは、長いペーパーの方が引用数が多いことと整合的である。JEEAにおいても、最終的に投稿された論文が採用されても棄却されても、引用数は長いペーパーの方が多かった。
5. 結論としては、競争相手が多いJEEAのような雑誌においては、ページ数の制限は反生産的な効果を生むことがわかった。AERにおいて、ページ数制限が望ましいかについての結論はこの研究からは得られない。ページ数制限でまずはじめに期待された利点、すなわち掲載されるペーパーが短くなること（そして掲載されるペーパーの数が増えること）、は実現しなかった。

Chetty, Saez, and Sandorはこのペーパーにおいて、Journal of Public Economics（公共経済学におけるトップの雑誌）で、2010年から2011の間に、レフェリーに与える締め切りまでの日数および締め切りを守った場合に与える報酬をランダムに変化させることで、レフェリーの行動がどのように変わったかを分析した。彼らが得た結果は以下の４つに纏められる。以下のグラフがレフェリーレポートが提出される数を示したグラフである。

1. レフェリーに与えられる締め切りまでの日数を6週間（45日）から4週間（28日）に短縮することで、レフェリーが仕事を終えるまでの日数の中央値（median）が48日から36日に短縮された。締め切りを守らないことによる直接的な罰がないことを考えると、この結果は締め切りが「nudge」の役割を果たしていると考えられる。
2. 4週間以内にレフェリーレポートを終えた場合に100ドルの報酬を与えた場合、レフェリーが仕事を終えるまでの日数の中央値は28日まで短縮された。上のグラフで、4週間のデッドライン直前に仕事を終える人の割合が急上昇することが見て取れるだろう。経済学者はきちんと金銭的なインセンティブに反応するのである。
3.  レフェリーがレポートを提出するまでにかけた時間を公開するとレフェリーに伝えた場合、レフェリーが仕事を終えるまでの日数の中央値は46日に、2日間だけ短縮された。この、「社会的インセンティブ」の効果は、テニュアのある学者の方が強かったが、一方彼らは金銭的インセンティブや4週間のデッドラインに対する反応は弱かった。
4.  では、レフェリーレポート自体に影響はあったか？短いデッドラインは、レポートの質（レポートの長さ、およびエディターがレフェリーの評価にどれくらい従うかで計測した）に影響を及ぼさなかった。金銭的および社会的インセンティブはレポートを少しだけ短くする効果があったが、エディターがレフェリーの評価に従う確率は影響を受けなかった。また、レフェリーが仕事を受け入れる確率、および他のElsevierが発行する雑誌においてレフェリーがレビューにかける日数には影響がなかった。

 最近は様々な雑誌において、長さに関する制限が導入されたり、レビュー完了までのデッドラインが短くなったり、キャッシュアワードや、優秀なレフェリーの表彰、等が導入されたりしている。このような研究がなされた上で雑誌の長さに関する規則や、レフェリーのシステムが改良されていくのは面白い。FacebookやOKCupudにおいてユーザーを使った実験を行うことが批判されているが、経済学者はこのような実験に比較的寛容なのではないかと思う。