Hatena::ブログ(Diary)

remcat: 研究資料集 RSSフィード Twitter

2018-01-11 Fake News on Poverty and Children’s Academic Performance

「10歳の壁」の虚妄:箕面市「子ども成長見守りシステム」データから読みとるべきこと

昨年12月25日、 読売新聞社サイト YOMIURI ONLINE 「深読みチャンネル」に「「10歳の壁」から貧困家庭の子どもを救え」と題する記事が掲載された。

小学校4年(10歳ごろ)時に、家庭の貧富の差による「学力格差」が急拡大する傾向があることが、日本財団などの調査でわかった。貧困家庭の子どもが大人になっても貧しさから脱することができない「負の連鎖」の一因とも指摘される。分析調査を行った日本財団職員の栗田萌希さんが解説する。
-----
栗田萌希 (2017) 「日本財団「子どもの貧困対策プロジェクト」: 「10歳の壁」から貧困家庭の子どもを救え」『YOMIURI ONLINE』2017-12-25 05:20

http://www.yomiuri.co.jp/fukayomi/ichiran/20171222-OYT8T50029.html

「Yahoo! ニュース」でも、年明けの1月7日に、おなじ記事が配信された。

毎日新聞も、2017年12月30日大阪朝刊に「学力格差:「貧困」小4から 「学習・生活習慣、身につかず」 日本財団が箕面で調査」という記事を載せている。

 経済的に苦しく、生活保護などを受ける世帯の子どもは、そうでない世帯の子と比べて国語や算数の学力の平均偏差値が低くなる傾向があり、特に小学4年生ごろから学力の格差が広がるとの研究結果を日本財団がまとめた。大阪府箕面市の調査を基に分析した。
 日本財団は「基礎の応用が小4ごろから必要になる。貧困家庭の子は幼い頃から勉強や規則的な生活習慣を身につけにくく、学力格差の拡大を招いている」と指摘し、低学年への支援を訴える。
----
毎日新聞 (2017)「「貧困」小4から 「学習・生活習慣、身につかず」 日本財団が箕面で調査」『毎日新聞』2017年12月30日 大阪朝刊

https://mainichi.jp/articles/20171230/ddn/041/040/019000c

これらの記事のもとになっている、箕面市の「子ども成長見守りシステム」データを使った日本財団の研究について、資料を集めて検討した結果、トンデモであるとの結論に到達した。要点はつぎのとおり:

  • データをみるかぎり、貧困世帯の子供の「学力」は全国平均にくらべてやや低い程度であり、大きな格差はない
  • 貧困世帯の子供の「学力」が成長にしたがって低下するという解釈をデータから導くことはできない。むしろ、全国の児童生徒の平均的な傾向と同様に、貧困世帯の子供も順調に学力を伸ばしていることが、データからは示唆される
  • 「小学校4年(10歳ごろ)時に、家庭の貧富の差による「学力格差」が急拡大する」というのは根拠のないデマ
  • 経済状態による格差よりも地域間の格差のほうが大きそうである。このことを考慮せずに、特定の地域のデータの分析結果を一般化するのは非常に危険
  • 「学力」を測定しているとされる調査やそれを使って算出したスコアの測定・算出方法が不明であり、またその妥当性・信頼性・代表性が吟味されていない

資料の所在

この記事のもとになった日本財団の報告書『家庭の経済格差と子どもの認知・非認知能力格差の関係分析:2.5万人のビッグデータから見えてきたもの』(速報版) は次を参照。PDFファイルが2箇所にあがっているが、たぶんおなじものである。

これは「速報版」で、正式の報告書は1月下旬に公表とのこと。どういうデータをどう分析したかが正確にわかる資料はまだ出ていないのである。この段階で記事を書いて世論を誘導するということ自体、そもそも研究者倫理としてアウトだろう。

分析に使われた箕面市「子ども成長見守りシステム」データについては、2017年3月に報告書『子供の貧困対策支援システムの在り方と運用方法に関する実証研究報告書』が出ている。このファイルは、2つに分割されて文部科学省サイトにも置かれている。

なお、箕面市のサイトにはたいした情報はみあたらない。

こまかいところまでは探索していないので、みつけにくいところに情報がある可能性はあるが、それはそれで、自治体の情報公開のありかたとしてどうなんだろうか。

「平均偏差値」とは何か?

上記の新聞記事等の「小学校4年 (10歳ごろ) 時に、家庭の貧富の差による「学力格差」が急拡大する」説の根拠は、「発見1」とタイトルがついているつぎのグラフだ。

f:id:remcat:20180109134721p:image
-----
日本財団 (2017)『家庭の経済格差と子どもの認知・非認知能力格差の関係分析:2.5万人のビッグデータから見えてきたもの』(速報版)、8ページ

https://www.nippon-foundation.or.jp/what/projects/ending_child_poverty/img/4.pdf

どうみても「10歳を境に急激に低下する」という動きではないのだが、それはともかく。

このグラフをみて万人の脳裏に浮かぶのは、「平均偏差値」って何? という疑問であろう。これが、報告書では一切説明されないのである。5ページに「子ども成長見守りシステムで把握可能な項目」として「全教科の平均偏差値」と書いてあるだけで、その定義や測定方法については一言もない。これではなにがなんだかわからないではないか。

統計学用語で「平均偏差」(average deviation) といえば、データのばらつきをあらわす指標 である。しかし、日本財団の報告書では学力が高いか低いかをあらわすために「平均偏差値」を使っているのだから、この意味でないことはあきらかである。

単に、箕面市内でおこなったテストの得点を偏差値に変換してその平均を求めた (つまり「偏差値」の「平均」) のだろうか? しかしこの解釈にも無理がある。偏差値の平均は、定義上、かならず50になるはずだが、上記の「発見1」のグラフはそうなっていないようにみえるからだ。

手がかりを探して「子ども成長見守りシステム」関連の資料をあちこちみていると、どうやらこれは東京書籍が売っている「標準学力調査」によるものらしいことがわかる。

「箕面学力調査」、「体力調査」、「学習状況生活状況調査」については、東京書籍株式会社(以下、東京書籍)が発行している「標準学力調査」、「NEW 体力テスト診断システム」、そして「学習状況生活状況調査」として「i-check」を採用し、採点・集計も同社に委託している。
-----
箕面市 (2017)『子供の貧困対策支援システムの在り方と運用方法に関する実証研究報告書』(平成28年度 (2016年度) 地域政策等に関する調査研究)、22ページ

http://www.impactmeasurement.jp/wp/wp-content/themes/impact/pdf/MEXT_H28_children_support_system_report.pdf

東京書籍「標準学力調査」の説明では、つぎのようにある。

各カテゴリーの正答率を、全国値を50とする「標準スコア」で再計算し、レーダーチャートで示しています。
-----
東京書籍 (2016)「標準学力調査」

https://www.tokyo-shoseki.co.jp/academic/n_hyoujun.html

この「全国値を50とする「標準スコア」」が、日本財団のいう「偏差値」なのではないか?

この「標準スコア」がどうやって算出されているかは不明であるが、すくなくとも、東京書籍の持つ全国のデータのなかでの相対位置を示すように標準化されていることはわかる。また、「偏差値」と称するなら、おそらく平均が50、標準偏差が10だろう。以下では、この推定に基づいて議論を進める。何か間違っている可能性はあるが、間違いの全責任は、正確な資料を示さなかった日本財団と箕面市と東京書籍にある。

「10歳の壁」などない

「小学4年生ごろから学力の格差が広がる」という主張の根拠として使われているグラフに戻ろう。

f:id:remcat:20180109134721p:image
-----
日本財団 (2017)『家庭の経済格差と子どもの認知・非認知能力格差の関係分析:2.5万人のビッグデータから見えてきたもの』(速報版)、8ページ

https://www.nippon-foundation.or.jp/what/projects/ending_child_poverty/img/4.pdf

このグラフで、「生活保護世帯の子ども」の「平均偏差値」が9歳時の48.5から10歳時の45.1にすこし下がる (差は3.4) ことを指して「10歳を境に急激に低下する」などと言っているようだ。

ここで気になるのは、「生活保護世帯の子ども」っていったい何人いるの? ということだ。生活保護世帯の比率はそれほど高いものではないし、そのかなりの部分は高齢者世帯である、という常識的な知識に照らすと、箕面市程度の人口規模 (13万人) の自治体でこの条件にあたる子供が何百人もいるだろうか? という疑念が湧いてくる。ところが、このグラフにも、報告書の本文にも、ケース数が書いてない。ほかの分析結果の表示においても、分析に使ったケース数はまったく示されていない。統計分析の結果表示で絶対に省略してはいけない情報が省略されているのである。

しかたがないので資料をあちこちひっくり返していると、箕面市における生活保護世帯の子供は約200人と推計されており、1学年あたりでは約10人、という記述が出てくる (箕面市『子供の貧困対策支援システムの在り方と運用方法に関する実証研究報告書』、72ページ)。約10人。これは相当すくない人数であるから、相当おおきな標本誤差を見込まなければならない。標準偏差σの母集団からサイズ n の標本を無作為抽出した場合、その標本平均は、90%の確率で、母平均 ± 1.64 × σ/√n の区間に入る。σ=10 で n=10 だとすると、およそ 母平均 ± 5.2 の区間である。3.4程度の変動は、偶然に起こりうる誤差の範囲内なのだ。

上記の「発見1」のグラフに、この誤差範囲を書き込んでみた。母平均としては 47.2 を採用している。これは、生活保護世帯の子供のスコアの各年齢の平均値の平均値である。

f:id:remcat:20180109134722p:image
-----
日本財団 (2017)『家庭の経済格差と子どもの認知・非認知能力格差の関係分析:2.5万人のビッグデータから見えてきたもの』(速報版)、8ページのグラフをもとに作成。緑のエラーバーは 47.2±5.2 の区間をあらわす。

この図からわかるように、生活保護世帯の子供のスコアの平均値の変動は、完全に誤差範囲内にある。何かのメカニズムがはたらいてスコアが上がったり下がったりすると考える必要はなく、年齢による系統的な変動は起こさないはずのものが、その時々のテストでたまたま高かったり低かったりしているだけだ、と考えれば足りる。このデータからは、「10歳の壁」の存在を裏付けることはできない。

もっとも、生活保護世帯の子供のスコアの平均値は、どの年齢でも全国平均 (=50) を下回っている。生活保護世帯の子供の「学力」は全国平均より低い、と解釈するだけであれば、いちおうデータの裏付けはあるわけである。しかし、全国平均50に対して2-3点程度の差であれば、(無視はできないにしても) それほど大きな格差とはいえまい。

箕面市の子供の「学力」分布の全体的な状況

つぎの疑問は、なぜわざわざ生活保護世帯の子供だけをとりだしたのか、である。

箕面市「子ども成長見守りシステム」では、つぎのような基準で「経済的困窮」を定義している (これらの説明も、日本財団の報告書には見当たらない)。

ア.「物的資源の欠如」について
 0歳から18歳(高等学校卒業)までの箕面市の子ども約2万5千人のうち、経済的困窮の視点から「生活保護世帯、児童扶養手当受給世帯(ひとり親家庭)、就学援助受給世帯、子どもの医療費助成事業における非課税階層世帯」に属する子ども、養育力不足の視点から「要保護児童等」に属する子どもの合計約4千人(重複を除く)を「生活困窮世帯に属する子ども」=「物的資源の欠如」の状態の子ども、と定義した。
-----
箕面市 (2017)『子供の貧困対策支援システムの在り方と運用方法に関する実証研究報告書』(平成28年度 (2016年度) 地域政策等に関する調査研究)、42ページ

http://www.impactmeasurement.jp/wp/wp-content/themes/impact/pdf/MEXT_H28_children_support_system_report.pdf

このように、「経済的困窮」の基準としては、生活保護世帯のほかに、児童扶養手当受給(ひとり親家庭)、就学援助受給、子どもの医療費助成事業における非課税、の3つが使われている。上の「発見1」で「経済的に困窮していない世帯」となっていたのは、これら4条件のどれにも該当しない世帯ということだろう。グラフには「生活保護世帯」と「経済的に困窮していない世帯」しか出てこないから、それら以外の世帯の子供が無視されている。経済的に困窮しているのに生活保護を受けていない世帯は多いはずだが、それらの世帯の子供たちの「学力」はどうなっているのだろうか?

同様の疑問は、分析対象とした科目についてもいえる。なぜ国語のテストだけをとりあげたのだろうか? もちろん国語の学力に興味があるのならそれだけを分析することに不思議はない。しかし、日本財団の報告書8ページをみるかぎり、学力一般についての問題をとりあげているのであって、特に国語に限って議論する意図はなさそうである。経済的に困窮している世帯の子供は、他の科目についても、国語と同様の傾向 (全国平均よりもやや低いところで、年齢にかかわらず一定のスコア) を示すのだろうか?

これらの疑問には、日本財団の報告書9ページの「発見2」のグラフが部分的な答えになっていよう。

このグラフは「全科目平均の偏差値について、年齢別にカーネル密度関数を描いたもの」なので、国語以外の科目が入っている。また、対象は「就学援助世帯」なので、上記の「経済的困窮」の4基準のうちの生活保護以外の基準で対象者が選ばれている (なんでいちいち選択基準を変えているのかはよくわからない)。

f:id:remcat:20180112085057p:image
-----
日本財団 (2017)『家庭の経済格差と子どもの認知・非認知能力格差の関係分析:2.5万人のビッグデータから見えてきたもの』(速報版)、9ページの左側のグラフに加筆したもの。黄色の曲線は μ=48, σ=10 の正規分布の確率密度である。
[2018-01-12 N() のパラメータ表記の間違いを訂正しました (曲線の形状には変更ありません)。]

日本財団の報告書は、このグラフに「貧困世帯の学力は低位に……集中していく」と解説を付けているのだが、これは的外れである。確かに7-9歳から10-12歳、13-14歳へとピーク部分が左に動いているようにみえるが、それと同時に、偏差値30以下の層が縮小し、偏差値60以上の層が拡大しているからだ。全体を俯瞰してみれば、下がっているとも上がっているとも言いがたい。ましてや「低位に集中していく」などと描写できるようなものではない。グラフに平均48、標準偏差10の正規分布を重ねてみると、全国のスコアの分布 (平均50、標準偏差10) よりやや低い位置にあるものの、それほど大きなちがいはないことがわかる。この傾向は、先に「発見1」のグラフで生活保護世帯の子供の国語テストについて読みとったことと一致している。

なお、この日本財団報告書「発見2」のグラフの曲線は左端が25で切れているが、これは作図の際に省略したものではなく、もともとデータにふくまれていないらしい。

(注5)偏差値については、各種調査の採点、及び、集計を委託している東京書籍の管理上、下限は25に設定されている。
-----
箕面市 (2017)『子供の貧困対策支援システムの在り方と運用方法に関する実証研究報告書』(平成28年度 (2016年度) 地域政策等に関する調査研究)、48ページ

http://www.impactmeasurement.jp/wp/wp-content/themes/impact/pdf/MEXT_H28_children_support_system_report.pdf

実際にスコア25未満の子供はいるのだろうから、そういう子供のデータがどういうあつかいになっているのか、またそのことが分析結果にどんな影響をあたえているか、気になるところだが、その点についての説明はない。

箕面市の特殊性

さて、この箕面市「子ども成長見守りシステム」データの特徴がはっきり出ているのは、むしろ「経済的に困窮していない世帯」の子供のほうである。

f:id:remcat:20180109134724p:image
-----
日本財団 (2017)『家庭の経済格差と子どもの認知・非認知能力格差の関係分析:2.5万人のビッグデータから見えてきたもの』(速報版)、9ページの右側のグラフ。

https://www.nippon-foundation.or.jp/what/projects/ending_child_poverty/img/4.pdf

全教科の平均のスコアが、全国平均 (=50) にくらべてかなり高い位置にあり、それが加齢とともに右に移動していく。分布は左に裾を伸ばした、ゆがんだ形になっている。ここから読みとれるのは、全国平均よりも早く学力を伸ばしていく子供が多数いる一方で、その他の子供が相対的に低い成績のまま差が拡大していく、という箕面市の特殊性である。人口比からいえば「経済的に困窮していない世帯」の子供が圧倒的多数 (8割以上) を占めているのだから、箕面市は全体的に全国平均より「学力」が高く、その傾向は学年が高いほど顕著になる、と考えていいだろう。

すでにみたとおり、箕面市においては、困窮世帯の子供の「学力」はとりたてて低いわけではなく、全国平均と同様のペースで成長していく。これに対して、非困窮世帯の子供の一部が全国平均を上回るペースで急激に「学力」を伸ばしており、このことが市内で「学力」格差を生む原因となっている。これはかなり特異な状況であり、他の多くの地域ではこうはなっていないはずだ。このような特殊性をもつ地域での発見を、他の地域にもあてはまる一般的な傾向としてあつかうのは非常に危険なことだ。ところが「10歳の壁」を報じた記事では、箕面市が子供の「学力」に関して特殊な傾向を示す地域であることは説明されず、あたかも普遍的現象であるかのように書かれている。

東京書籍「標準学力調査」は信用できるのか

東京書籍の「標準スコア」は、全国平均が50になるように算出されている。箕面市のように高いスコアを示す地域があるのだから、その逆に、50よりもずっと低いスコア分布を示す地域もあるのだろう。このデータから読みとるべき重要な含意は、「学力」には大きな地域格差がある、ということなのだ。上のグラフからわかるように、箕面市の非困窮世帯の子供の平均スコアは、全国平均を5点程度は上回っていそうである。他方で全国平均を5点下回る地域もあるとすれば、両者の間には10点の差があることになる。箕面市内の困窮世帯の子供とそうでない世帯の子供とのスコア差が7点程度だとすると、それよりも地域間の格差のほうが大きい可能性がある。

「学力」の地域格差が大きいということは、どこの地域のデータを集めてくるかで平均点に大きな違いが出るということだ。東京書籍「標準学力調査」の「標準スコア」は「全国値を50とする」数値というふれこみなのだが、これは本当に全国を代表した数値になっているのだろうか。

この調査の妥当性・信頼性がどの程度確保されているかも疑問である。Google Scholar で "東京書籍" "標準学力調査" を検索すると、論文5件しかヒットしない (2018-01-07)。研究者にはほとんど利用されていない指標なのだ。また、これらの論文のいずれも、測定・算出方法の批判的吟味はおこなっていない。あまり大丈夫そうな感じはしない。

この調査がどれくらい信用できるかを評価しておくことは、この研究にとって死活的に重要なポイントだったはずだ。ここまで私がおこなってきた推論でも、この調査で子供の「学力」がいちおう測定できているだろうという暗黙の前提を置いている。しかし日本財団の報告や箕面市「子ども成長見守りシステム」関連の資料ではこの調査について検討した形跡がないのだから、これはずいぶん好意的な前提である。

不可解なのは、この「子ども成長見守りシステム」の構築に東京書籍が関わっていることだ。箕面市 (2017)『子供の貧困対策支援システムの在り方と運用方法に関する実証研究報告書』 1ページには、「共同調査研究員」として、東京書籍株式会社の評価事業本部企画部の部長、係長などの名前がならんでいる。担当者が参加していたのだから、さまざまな資料を出して検討を加えることは可能だったはずだ。にもかかわらず、調査の方法やスコアの性質が説明されていない。研究プロジェクト内部でまったく検討しなかったのか、それとも検討したうえで公表はしないことにしたのかはよくわからない。いずれにせよ、「平均偏差値」がいったい何を測っているのかを判断するための肝心の情報が伏せられているという事実は、それ単独で、この研究を信用してはならない理由として十分なものといえる。

foofoo 2018/01/11 19:30 おっしゃるとおり、error barを表示せず、偶然変動による動きを意味のある動きと誤認する典型的なパターンですね…data dredgingですらないところが悲しいところです。

まあ、すべての年齢で生活保護世帯の児童が下回っていますので、二項検定的な意味での差は有意にありそうですが。

検証性を全く意識してない事もあわせて、研究者としてのバックグラウンドを持っている方の報告というよりも、調査担当となった方がそれらしき報告を作ったという印象ですね。

大卒ですら大半は教養程度の統計学を身につけていない現状ですから仕方ないところですが、文部科学省サイトにまで掲載されているのは救われない。

日経新聞でも欧州の地域別人口密度と出生率のとんでもグラフを掲載していましたし、日本はどうなっているのでしょう。

foofoo 2018/01/11 19:41 あ、細かい部分ですが、N(48, 10)→N(48, 100)の方がよいと思われます。

remcatremcat 2018/01/12 12:08 ご指摘ありがとうございます。訂正しました (かなり恥ずかしい…)。

remcatremcat 2018/02/02 23:48 最終報告書 (1月31日):
>日本財団「家庭の経済格差と子どもの認知・非認知能力格差の関係分析」(全文)(PDF/3.5MB)
https://www.nippon-foundation.or.jp/news/articles/2018/6.html
なお報告書本文のURLは
https://www.nippon-foundation.or.jp/news/articles/2018/img/6/1.pdf
https://www.nippon-foundation.or.jp/what/projects/ending_child_poverty/img/5.pdf
のふたつある模様。

この最終報告書から次のことが確認できる。

・「平均偏差値」は、本エントリで推測したとおり、東京書籍による全国スコア。25点以下切り捨て問題については説明がない。
・生活保護世帯の子供の人数は、本エントリで考えたより多い。

ざっと見た感じでは、本エントリでの批判を変更する必要はなさそうである。

スパム対策のためのダミーです。もし見えても何も入力しないでください
ゲスト


画像認証

トラックバック - http://d.hatena.ne.jp/remcat/20180111/minoo