Spurious Correlation or Deeper Problem?

ちょっと前にMarginal Revolutionに載っていた記事が面白いのでメモしておく。Yale SOMのChenのAER forthcomingの論文についてである。この論文では、現在と未来を文法において厳密に区別しない言語(論文ではドイツ語の例が挙げられている)を使う人々は、現在の楽しみを犠牲にして将来に利益を得るような行動をより積極的に行うという仮説をデータを使って検証している。言語において未来をきちんと区別しない人は、未来をあまり遠くのことと考えないので、未来の利益がより近くに感じられ、それを得るために必要な現在の犠牲を進んで受け入れるからである。反対に、未来を現在と厳密に区別する言語を使う人たち(例として英語(willを使って未来を現在と厳密に区別する)を挙げている)は、未来が現在から離れた遠くのもののように感じられるので、未来の利益をより高い率で割り引くのである。ちなみに日本語は未来と現在を厳密に区別しない言語として分類されている。

さまざまな言語の特徴を現したデータを使って分析した結果、未来と現在を厳密に区別しない言語を使う人たちは、貯蓄をより行い、退職時により多くの資産を保有し、タバコを吸う人が少なく、より避妊を行い、肥満になりにくい、ことがわかったそうだ。この結果はさまざな国を比較した結果として成り立つと共に、ある国の中で似たような人たちが異なる言語をしゃべっているケースでも成り立った。

本当かなぁと思う人も多いだろう。典型的な「Freakonomics」的な研究だけれども、この論文が何でMRの目に留まったかというと、Max Planck InstituteのRobertsという人が、その論文の結果の頑健性について検証してみたからである(MRではこの頑健性のテストについて触れたThe Chronicle of Higher Educationの記事に言及している)。この頑健性チェックでは、Chenの論文で使われた、各言語の特徴を分類した研究の、未来と現在を厳密に区別しているか否かといった特徴以外のさまざまな特徴が貯蓄などの「未来志向の行動」を説明できるかを調べてみた。その結果、ある言語が口蓋垂音(なにかはわからなくてよい)を持つか、ある種の同意を示す言葉があるか、名詞の後に関係節をつけることができるか、2つの目的語を取る動詞(Double Accusative Constructionsの訳なんだけれどもこれでいいのであろうか…)があるか、疑問前置詞句(Preposed interrogative phrasesの訳なんだけど間違っているだろうなぁ)、等の、未来志向の行動とは何の関係もないと思われる言語の特徴のほうがより強い説明力を持っていることがわかったのである。

と、ここまで書いた後で、更にアップデートがあったので、すぐにこのエントリをパブリッシュしないでよかったと思った。この批判を行ったRobertsに対して、Chenが、彼らの結果にどうして違いが生じたかを説明し(Robertsはconditional logitを使わずにlinear regressionを使ってた、とか、言語と関係のない特徴(年齢とか性別とか)をコントロールしていなかった)、それらを加味した結果、上で書いた批判は当てはまらない(ラフに言えばChenの結果は正しかった)ことがわかったのである。

自分が間違っていたことを素直に書いたのはとても好感が持てると思う。それと同時に、経済学ではこのような批判的検討がどのくらいちゃんとなされているかについて改めて考えさせられた。レフェリーをやっていても、理論であれば証明が正しいかはチェックできるけれども、複雑なマクロモデルや構造モデルで、論文で行われた実験を再現する時間なんてない。トップジャーナルにパブリッシュされたマクロのペーパーのシミュレーションの結果を再現しようとして、再現できないという話はしょっちゅう聞かれる。同じ結果が出ないなぁと思うことは多くても、そんなことに時間を割いたところで業績にならないから、あまり多くの人がチェックしない。特に複雑であればあるほどそもそもそれを実行できる人は限られていて、そういう人にはチェックするインセンティブがほとんどない。それと同時に、複雑なモデルを使わない人たちから見れば、どうせモデルをうまくいじくっていい結果が出るようにしたんだろうと思われることが多いだろう(同業の僕ですらそう思うことが多いのだから、そもそも複雑なモデルを使わない人は更に懐疑的になっておかしくない)。では、どうすればいいのか、と聞かれても、駆け出しの研究者にはどうしようもない。あまりに暗い話なのでこの辺にしておこう。

0 comments:

Post a Comment