hkonoの日記

2011-03-25

Blattmanの金言 & CSAE Conference

06:43

Blattmanのこのポストは非常にナイス。

http://chrisblattman.com/2011/03/24/behavioral-economics-and-randomized-trials-trumpeted-attacked-and-parried/


特にこの部分:

  • We need to stop finding a robust empirical result, writing a model that is consistent, then putting the model at the beginning of the paper and calling the empirical work a test.
  • The greatest advantage economics holds is theory, and it ought to be wielded more productively in experimental design (especially the hundreds of atheoretical searches for significance that characterize most program evaluations in the big development agencies).

人のこと言えないが、

最初に推計やって、

それからその結果にあうようなモデルを作って、

そのくせ論文では、対象とする状況のモデルを作り、そのImplicationをテストをした、

って書いている論文、多いんだよなあ。

それって、後だしじゃんけんと同じで、

モデルのテストになっていない。

例えば評価すべき変数を50個くらい準備しておいたら、

有意水準5%の検定なら、本当は何の関係がなくても、そのうち2〜3個は有意な結果が出るわけで、

その有意な結果に沿うようなモデルを書いて、

あたかも最初にモデルがあって、

そのモデルのImplicationを実証結果がサポートした、

と主張するのは、

いかさまに近いということがもっと認識されるべき。

ちょうど占い師が

100個くらいの災害予言とかのリストを作っておいて

災害が起きた後で

リストに載ってるその災害だけ見せて、

ほら私の言っていたことは当たっていたでしょう、

というのと同じレベル。


それとOxfordのCSAE Conferenceのセッションの一部がここで見れる:

http://www.csae.ox.ac.uk/conferences/2011-EdiA/video.html

"Randomized Trials or Structural Models?"というセッションのG.Harrisonのトークが小気味がいい。

行動経済学者のパラメータ推計は信じるな。エコノメ知らないずさんな推計で震えが来る」

「若い研究者の卵がRCTに特化するのは機会コストが大きすぎる。時間はかかるし、扱える範囲は狭いし、使用するスキルも限られてる(のでスキルを磨けない)」

「それでもRCTやるならPreferenceパラメータとかもきちっと取ってメカニズムが明らかにできるようにしろ」

sshimosshimo 2011/03/30 13:59 非常に興味深い内容だったので、ブログからリンクを貼らせてもらいました。Blattmanのコメントに関してはDavid Jinkinsのレスとほぼ同意見ですね。特に、以下の部分。
“As long as it is clear that the model isn’t being tested, I don’t see a problem with including an idea about a mechanism in a paper describing an empirical regularity. Of course, this shouldn’t be construed as a test of the theory, just an idea about what might be going on.”by David Jinkins

Glenn Harrisonのトークは面白いの一言です。情報ありがとうございます。

hisakijapanhisakijapan 2011/04/02 06:49 >sshimoさん
リンクありがとうございます。
David Jinkinsのレスはもっともですね。
"Theory and Evidence"と書かれているペーパーのほとんどは、
"Empirical Findings and A Possible Underlying Mechanism"
とかにタイトル変更する必要がありそうです。

トラックバック - http://d.hatena.ne.jp/hisakijapan/20110325/1301003021