Fads Move Economists

Economist誌が、経済学の流行、のようなテーマの記事を載せている（記事へのリンクはここ）。最近流行のいくつかのキーワードがNBERワーキングペーパーの要旨でどのくらいの頻度で言及されているかを示したのが以下のグラフだ。

「DSGE」や「実験」は1985年から安定的に伸びてきているが（Time to Buildが1982年なのに1985年にDSGEという言葉が0.1％くらいのペーパーで言及されていることに驚いた）、2000年ごろから急激に伸びているのはDID（日本語ではなんと言うのだろう？）非連続回帰（Regression Discontinuity）、ランダム試行実験（RCT）などの、いわゆる最近の計量経済学の流行を反映した言葉である。また、ここ数年で急激に伸びているものとして、マシーンラーニングやビッグデータという言葉（一番右の緑の線がマシーンラーニング＋ビッグデータである）が挙げられている。

Economist誌の記事では、このような流行に対してDeaton and Cartwrightが書いた、RCTはしばしば考えられているほど万能ではないというペーパー（"Understanding and Misunderstanding Randomized Controlled Trials"）を引用して警鐘を鳴らしている。このペーパーは別にRCTに興味がなくても、識別に関して一般的にに適用できる考えがとてもわかりやすく書かれているのでお勧めである（とはいえ僕にはちゃんと理解できているわけではないけれども）。このペーパーで指摘されているRCTの潜在的な問題点を全て議論するのは大変なのでここではやらないが、彼らが指摘したポイントのうちのいくつかは以下の通りである。

• 実験が一回きりだと、サンプリングエラーがわからない。
• 実験に参加した人の数が少な過ぎることが多い。
• 理論を必要としないという利点は、理論なき軽量（worthless casual theorizingあるいはfairly story theorizingと呼ばれるもの）に陥るリスクを内包している。
• 有意な結果が出たとしても、その背後にどのようなメカニズムが働いているかがはっきりしてないと、実験の結果をそのままほかの状況に適用して同じような結果が期待できない（External (in)validity）。
• 背後で働いているメカニズムがわかっていないと見せかけの相関にだまされる可能性がある（一般的な相関と因果の話だ）。
• ある政策が割り当てられた人と割り当てられなかった人が、自分はどちらなのかわからないようにする（Blinding）ことがとても難しく（ランダムにいい学校と悪い学校に子供が割り当てられる実験を考えてみるとよい）、それぞれのグループが、割り当てに応じて行動を変えたり、割り当ての結果を変えようと行動したりしようとすると、結果をどう解釈していいかわからなくなる。

結局は、ありきたりな話だが、RCTから得られた結論も、他の手法を用いた実証研究結果と照らし合わせて解釈されなければならないというのが結論のようだ。

Economist誌は、RCTが流行ることで、重要だけれどもRCTが使えないようなテーマ（金融政策、社会規範）に使われるリソース（人・金）が減ることも懸念している。

僕はマクロ経済学を研究しているので、この懸念は理解できる。大まかに言うと、実験で簡単に効果を示しにくいものであればあるほど、（少なくとも理論的には）その効果が大きいものであることが多いので、効果を示しやすいものにリソースがシフトすればするほど、言葉は悪いが、ちまちましたものにリソースがより割かれてしまう恐れがある。例えば、経済成長率を平均して0.1％上げることができる政策（そのようなものがもしあれば）から得られる生活水準の向上は、多分、かなり多くのちまちまとした（しかしエビデンスはしっかりしている）政策変更による利益を上回るのではと思う。エビデンスベースの政策を進めているイギリスで、EU脱退が議論された際に、EU残留派（ほとんどのまともな経済学者）がEUにいることで得られる貿易上その他の利益が説得力を持って示すことができなかったのが、個人的にはいい例だと思う。もちろん、データからぜんぜん効果を示すことができないような大風呂敷を広げるだけではしょうがないというのは承知なんだけれども。もちろんここで行っているのは実験をやらないマクロ経済学者のポジショントークと思ってくれてよい。