Economist誌の記事では、このような流行に対してDeaton and Cartwrightが書いた、RCTはしばしば考えられているほど万能ではないというペーパー（"Understanding and Misunderstanding Randomized Controlled Trials"）を引用して警鐘を鳴らしている。このペーパーは別にRCTに興味がなくても、識別に関して一般的にに適用できる考えがとてもわかりやすく書かれているのでお勧めである（とはいえ僕にはちゃんと理解できているわけではないけれども）。このペーパーで指摘されているRCTの潜在的な問題点を全て議論するのは大変なのでここではやらないが、彼らが指摘したポイントのうちのいくつかは以下の通りである。
- 実験が一回きりだと、サンプリングエラーがわからない。
- 実験に参加した人の数が少な過ぎることが多い。
- 理論を必要としないという利点は、理論なき軽量（worthless casual theorizingあるいはfairly story theorizingと呼ばれるもの）に陥るリスクを内包している。
- 有意な結果が出たとしても、その背後にどのようなメカニズムが働いているかがはっきりしてないと、実験の結果をそのままほかの状況に適用して同じような結果が期待できない（External (in)validity）。
- 背後で働いているメカニズムがわかっていないと見せかけの相関にだまされる可能性がある（一般的な相関と因果の話だ）。
- ある政策が割り当てられた人と割り当てられなかった人が、自分はどちらなのかわからないようにする（Blinding）ことがとても難しく（ランダムにいい学校と悪い学校に子供が割り当てられる実験を考えてみるとよい）、それぞれのグループが、割り当てに応じて行動を変えたり、割り当ての結果を変えようと行動したりしようとすると、結果をどう解釈していいかわからなくなる。
Economist誌は、RCTが流行ることで、重要だけれどもRCTが使えないようなテーマ（金融政策、社会規範）に使われるリソース（人・金）が減ることも懸念している。
僕はマクロ経済学を研究しているので、この懸念は理解できる。大まかに言うと、実験で簡単に効果を示しにくいものであればあるほど、（少なくとも理論的には）その効果が大きいものであることが多いので、効果を示しやすいものにリソースがシフトすればするほど、言葉は悪いが、ちまちましたものにリソースがより割かれてしまう恐れがある。例えば、経済成長率を平均して0.1％上げることができる政策（そのようなものがもしあれば）から得られる生活水準の向上は、多分、かなり多くのちまちまとした（しかしエビデンスはしっかりしている）政策変更による利益を上回るのではと思う。エビデンスベースの政策を進めているイギリスで、EU脱退が議論された際に、EU残留派（ほとんどのまともな経済学者）がEUにいることで得られる貿易上その他の利益が説得力を持って示すことができなかったのが、個人的にはいい例だと思う。もちろん、データからぜんぜん効果を示すことができないような大風呂敷を広げるだけではしょうがないというのは承知なんだけれども。もちろんここで行っているのは実験をやらないマクロ経済学者のポジショントークと思ってくれてよい。
0 comments:
Post a Comment