Hatena::ブログ(Diary)

こにしき(言葉、日本社会、教育) このページをアンテナに追加 RSSフィード

February 16, 2017

エビデンスと僕

僕は「エビデンスベースト」という考え方が大好きである


最近そっち系研究もしているし、実際、いままさにその論文も書いている*1

例:Evidence-Based Education Policy と 日本の英語教育学


ただ、よく誤解されるので(勝手に)はっきりさせておきたい。僕がこの考え方が好きなのは、「科学的に教育を考えたい」という動機ではまったくない。

そうではなくて、メソドロジーとかリサーチデザインの話そのものが好きだからである。


エビデンスベーストの優等生、エビデンスベースト医療EBM)はリサーチデザインの標準化成功した例なので、大いに関心がある。

しかし、「科学的で羨ましい」とかましてや「理系っぽくてかっこいい」みたいな思いは一切ない。

実際、そのまま適用するのは無理だ。


何が「効果的」でもかまわない

僕には個別指導法指導原理にほとんど思い入れがない。

英語教育学者一般的特定の指導原理に強い感情を持っているので、そういう人たちと比べれば、僕の情熱は最低クラスだと思う。


したがって、文法訳読法とか協同学習の効果のエビデンスが見つかろうが見つかるまいがどっちでもいい。コミュニカティブな教育プログラムやTBLTが効果的だというエビデンスが見つかろうが見つかるまいがどっちでもいい。


しかし、上記の効果(因果効果=エビデンス)を実証するために、巧いリサーチデザインを思いついたという人がいたら、ぜひ話を聞きたいと思う。

繰り返すが、その効果は、文法訳読でもコミュニケーションでも何でもよいのだ。


だから、「(標準化された)科学的リサーチデザイン」が浸透しているEBMを見て、「科学的リサーチデザイン」がまったく顧みられていない教育分野は遅れてる、EBMが羨ましいとは別に思わない。

どうして医療では標準化が成功して、教育ではうまくいかないのか、という点にはすごく興味があるが。


小学校英語政策とエビデンス

まあ、小学校英語教育政策に関しては多少の悔しさ、みたいなのはある。推進した研究者が、ちゃんと勉強してればもうちょっとマシなエビデンスとれたのに、と思うからだ。うらやましいというよりは、「あああ、科研費無駄遣い」という呆れ感。

先日も「『エビデンスがない』からといって小学校英語を否定するのはおかしい」と(おそらく小学校英語推進の人から)言われのだが、何を甘えたことを言っているんだと思った。

実験校のスタートから約20年たっているのだ。

初期の児童の多くがとっくに成人しているのに「エビデンスがまだない」というのは単なる甘えである。

*1:近日中に書き終わるが査読誌への投稿なので日の目を見るかは定かではない

January 29, 2017

大規模調査のSEM --- lavaan.survey() --- に関する覚書

この本の10章を読みながら、自前のデータ分析した。

サンプルデータでは何の問題もなかったが、自前のデータだと途端にエラーが吐き出されまくる。

エラー修正に苦労した。

というか、そもそも何がエラーなのかを特定することにものすごく時間がかかった。


というわけで、教科書には明示的には書いていないが、今回わかったことを自分用にメモしておく。


factor変数が入ってると推定エラー

lavaan() だと factor (TRUE/FALSE) でも融通を効かせて、1/0変換で分析してくれるようだが、lavaan.survey() はそんなことはしてくれない


切片は明示的に指定しないと、0.00 を放り込まれる

ちゃんとモデル記述してなかった自分が悪いんだけど、切片を指定したなかったせいで、パラメーター推定値がものすごいことになる。

たとえば、もともと beta = 0.10 程度だった標準化回帰係数が 0.95にふくれあがったり、とか。

"ML" 最尤推定法は実質的に何もやってない

lavaan.survey() の estimator = "ML" で最尤推定法を行っても、

Estimator 'ML' will not correct standard errors and chi-square statistic.

こういうメッセージが出てくる。

seを再計算(修正)しないということは、実質的に何もやってない気がするんだがよくわからない。

"ML" の代わりに "MLM" を指定したら解決した。

January 23, 2017

応用言語学とエビデンスベースト:イギリスしんどい&根拠に基づく教室実践

Mitchell, R. (2000). Applied linguistics and evidence-based classroom practice: the case of foreign language grammar pedagogy. Applied Linguistics, 21(3), 281-303.

http://applij.oxfordjournals.org/content/21/3/281.abstract

この論文ポイント ――といっても上記リンクからアブストを読めばいい話なんだけど―― は、

  • (a) イギリスで猛威を奮っているエビデンスベースト型の政策決定批判的に紹介しうえで、
  • (b) 応用言語学はどういう感じでエビデンスベースト教室実践に貢献できるか

という点。

UKエビデンスベースト、悲惨

前半 (a) を読むと、「イギリス大変だなあ」という気持ちがあらためて強くなる。

UKでは、エビデンスベースト教育政策の極端なバージョン――つまり、エビデンスに基づいて「予算配分」を決定する制度――が行われていて、これはかなり悲惨なことになってるなあというのがよくわかる。

合意可能性が低い分野で「エビデンスあり/なし」に過剰に傾斜をつけると、屍しか生まなそう。「独創的な研究の芽を摘む」とかならまだマシなほうで、研究不正の温床にもなりかねない。

医療分野のEBM成功例であるのは、「処遇」「アウトカム」いずれにも合意がとれていて、しかも「処遇」「アウトカム」の定義自体がエビデンスベーストに決めやすいためであって、それをそのまま教育に応用すると悲惨だろう。応用したがる人はエビデンスに対してかなり楽観主義的/ナイーブ認識論を持っていると思われる。


言語習得理論は「エビデンス」なのか

後半 (b) の議論はかなり奇妙だ。

いわゆる 'What Works' タイプのエビデンスとして、言語習得理論(UG, インプット処理に関する理論)の貢献可能性が論じられているが、'What Works' の拡大解釈感がすごい。'What Works' の what の部分にはふつう文字通り、具体的な処遇が入るわけで、言語習得理論の実証研究独立変数対象にしているのは個々の処遇ではないだろう。


エビデンスベーストの根本思想リスペクト、実務的運用方法スルー

本論文の前半の議論を見る限り、エビデンスベーストを意思決定原理にするのは途方もなく期待薄という感じしかしない。

そういう点でEBP研究者の多くが、Evidence-based ではなく Evidence-informed という語を好んで使っていることは納得がいく。

同時に感じたのが、たとえ運用が困難だったとしても、エビデンスベーストの根本思想自体は即廃棄する必要もないという点だ。

たとえば「処遇→アウトカム」の因果モデルや、因果効果信頼性にしたがってエビデンスを格付けするアイディア(エビデンス階層)は、依然、貴重だと思う。

本論文の後半は、応用言語学におけるエビデンスベーストの可能性が議論されているが、これら「処遇-アウトカム因果モデル」やエビデンス階層の話はまったく考慮していない。考慮していないからこそ、たとえば「L2への普遍文法介在に関する研究」と「文法指導の長期的効果に関する研究」が同一平面上で議論できてしまうのだろう。

エビデンスベーストの根本思想はリスペクト、運用原理はスルー辺りが最適解ではないか。