On Referee Report

今年の9月に、Econometric Society（ES）の3ジャーナル（ECMA, TE, QE）のエディター連名で、ESのジャーナルにパブリッシュされるペーパーが長くなりすぎているので、短くしていくという意向が表明された（リンクはここ）。このメールによると、Econometricaの平均ページ数は1970年代には12ページだったのが、今はOnline Appendixを除いても36ページになり、50ページを超えるペーパーも多いらしい。確かに、長いペーパーが多くてげんなりすることが多い。ESのエディターとしては、ペーパーの長さを、現在の30-40ページから20-30ページにしたいということである。そのためにも、レフェリーも、あまり多くのことを要求しないでほしい、と書いている。ペーパーが（Appendixも含めて）長くなっている理由の一つは、レフェリーがいろいろな追加の分析、頑健性のチェックを要求する（こともあるし、それに対抗して、これでもかといろいろな分析を最初からペーパーに加えておく）からである。

これと連動して、Econometricaのマクロのエディターから、レポートをこういう風に書いてほしいとの連絡がきた。そのメールには以下のようなことが書いてあった。

• レポートは必ず6週間以内に提出してほしい。そのかわりに、あなたがサブミットしたペーパーも素早く決定を下す。
• レポートは (1) ペーパーの要旨、(2) 非常に重要なポイント（Essential Point）、(3) （その他の、ペーパーを改善するための）提案（Suggestion）、の3部構成としてほしい。
• 「要旨」は今までと同じように書いてほしい。
• 「非常に重要なポイント」は、この点が改善されればペーパーがトップジャーナルに載る価値があるものになるという点に絞って、3点まであげてほしい。4点以上ある場合は、そのペーパーはリジェクトされるべきだ。あなたの評価がリジェクトであれば、「非常に重要なポイント」はリジェクトを提案する理由が書かれるところとなる。
• 「提案」は、「非常に重要なポイント」以外の、ペーパーを改善するための提案である。現在のレフェリーレポートはここが80％を占めていると思う（つまり、現在のレポートには本当に重要ではないことがたくさん書かれている）。
• Econometricaはしばしば「Econometricaらしい」ペーパーがパブリッシュされるところと考えられているが、最高のマクロのペーパーをパブリッシュしたいだけである。AERに載る価値があるとあなたが思うペーパーをEconometricaはパブリッシュしたい。

このメールで提案されているレフェリーレポートの書き方のバックグラウンドペーパーとして、"How to Write an Effective Referee Report and Improve the Scientific Review Process"（by Berk, Harvey, and Hirshleifer, JEP 2017）というペーパーが挙げられていたので、読んでみた。いくつか参考になったポイントを以下にメモしておく。このペーパーは、著者らが、過去のAER、JPE、QJE、ECMA、REStud、JFEのエディターに、経済学のレビュープロセスをどのように改善したらよいかヒアリングした内容をまとめることで構成されている。

• あるペーパーがパブリッシュに値するかは、(1) そのペーパーが重要な質問に答えているか、(2) そのペーパーが既に分かっている結果から大きく前進しているか、(3) その結果が正しいか、である。レフェリーは(3)に注力しすぎな印象を受ける
• 若い研究者は、レフェリーしているペーパーをぼろくそに（意訳）批判することで、自分がいかに優れているかを見せつけようとする傾向がある。これ、やるなぁ、と反省している。
• レフェリーレポートは（ペーパーがアクセプトされるかリジェクトされるかを決める）「非常に重要なポイント」と（それ以外の）「提案」に明確に分けるべきである。（この提案がEconometricaのエディターの方針として採用されている）
• 「この証明は信じられない」とか「この結果は間違っているような気がする("smell")」とか「結果が直感と異なる」という理由でリジェクトを提案するレフェリーがいるが、レフェリーも説得力のある、論理的な理由をあげなければならない。
• レフェリーがリバイズを提案するということは、(1) そのペーパーは（問題点が解決されれば）パブリッシュされる価値がある、(2) ただし、今の状態ではいくつか問題がある、(3) これらの問題は解決が可能である、という評価にコミットしたということである。第2ラウンドのレフェリーを行う場合は、そういうコミットをしたということを頭に入れて書かねばならない。例えば、第1ラウンドで指摘しなかった問題を指摘するのは契約違反である。
• レフェリーが追加的に何かを行うように要請するときには、それを実施するコストを考慮しなければならない。
• 自分がレフェリーを依頼されたペーパーととても関連している研究をしていて、レフェリーレポートから自分が誰かわかってしまう恐れがあるときは、エディターに相談するべきだ。レフェリーをしないという選択肢もあるし、レフェリーにはならずとも、エディターに個人的にペーパーについての意見を伝えるということもできる。
• ペーパーの著者と個人的な関係がある場合、自分が競合しているペーパーを書いている場合、もエディターに知らせなければならない。
• もしペーパーが明らかにジャーナルが求める質よりかなり下のレベルにあるときには、1ページの短いレポートをすぐに返すと、皆の時間の節約になるかもしれない。
• （エディターだけが見る）カバーレターは、レポートのCopy and Pasteでは意味がないが、レポートと整合的でなければならない。レポートでは素晴らしいペーパーとほめておいて、個人的にリジェクトを勧めるようなレフェリーもいるらしい。カバーレターは次の3点から構成されるのが望ましい。(1) ペーパーの貢献（エディターがペーパーの分野の専門家ではないかもしれないことを考慮すべき）、(2) 分析に説得力があるか？、(3) ペーパーはリジェクトされるべきか、リバイズを要請するか。後者であれば、1回リバイズすればアクセプトされるべきペーパーになるか。
• （ペーパーが自分の専門とちょっとずれている等の理由で）自分の意見に確信がない場合、その点も明確にするとよい。
• レポートは簡潔なほうがよい（例えば2-3ページ）。
• レポートの中のコメントには、参照がしやすいように、すべて番号をつけるべきである。