remcat: 研究資料集 RSSフィード Twitter

2016-09-22 Letter to the editor of Human Reproduction

Misinformation due to a low-quality international multilingual survey

(I submitted the following letter as an online response to the article "Fertility knowledge and beliefs about fertility treatment: findings from the International Fertility Decision-making Study" by L Bunting, I Tsibulsky, and J Boivin, Human Reproducion 28:385-397 (2013). As it was not published on the Human Reproducion website, I posted the following to my blog. For this blog post, hyperlinks were added and the reference style was modified.)

Dear Editor,

I read an article about International Fertility Decision-making Study (IFDMS) by Bunting, Tsibulsky, and Boivin (2013) in Human Reproduction 28(2). Since it was based on data from a large-scale survey conducted in more than 18 countries with 13 languages (in 2009-2010), I was interested in understanding whether it yielded results that were valid and comparable across lingual and socio-cultural differences. After examining the article and other documents, I concluded that the IFDMS does not have a substantial level of validity and comparability. This letter explains why.

Bunting et al. (2013) reported some problems in the measurement. For the Cardiff Fertility Knowledge Scale (CFKS), one of the main topics of the survey, the standardized Cronbach alpha was low in Italy and Turkey (p. 387). This suggests failed measurements due to translation into Italian and Turkish.

In the 'Translations' section of the article (p. 388), there are problems in the process of designing multilingual questionnaires. The questions were framed in English, pre-tested by potential respondents, and then translated. In this process, questions might not have been selected to ensure comparability among different social conditions. Indeed, according to the Appendix, the second item of the CFKS includes a statement 'A couple would be classified as infertile if they did not achieve a pregnancy after 1 year of regular sexual intercourse (without using contraception)' and sets the right answer as 'TRUE'. However, the answer should have depended on the definition of infertility. In Japan in those days, for instance, the standard definition by the Japan Society of Obstetrics and Gynecology (2008, p. 276) applied the term 'infertility' to couples who had not conceived after regular intercourse of 2 years. The item thus failed to capture the existing varieties in the definition of the term.

The questionnaire-making process had another problem; the translated versions were not pre-tested by potential respondents. This could have resulted in unreadable or unanswerable questions being retained in the questionnaire.

This doubt should be confirmed by examining the questionnaires. However, there is no published IFDMS questionnaire. Although the article introduces two URLs, http://www.startingfamilies.com and http://www.startingfamilies.org, the former has expired while the latter is redirected to a webpage carrying no information on IFDMS. A published report on IFDMS (Merck Serono, No date) also contains no questionnaire.

I contacted the correspondence address of the article and directly got the Japanese version of the questionnaire (PDF files for male and female respondents). I have already reported about it in Japanese (Tanaka, 2016a, 2016b).

As an overall impression, the quality of translation is poor. There are many unnatural Japanese phrases among the 17 pages of the questionnaire, as well as spelling errors (e.g., 'atana' instead of 'anata' (=you)). Although different questionnaires were prepared for women and men, they are almost identical. As a result, some questions are unanswerable for male respondents: the questionnaire for men includes questions on the respondent's thought about why he is not pregnant.

There are mistranslations among the 13 items of the CFKS. Many English expressions involving comparisons and tendencies (e.g., 'more', 'never', and 'likely to') were not translated. For some items, Japanese postpositional particles were misused to make unintended connotations. In questions about male fertility, the terms 'fertility' and 'fertile' were translated into a Japanese word that meant artificial insemination. In total, I evaluated 10 of the 13 items to be improperly translated (Tanaka, 2016a).

In addition, the order of the 13 items of the CFKS differs between the English and Japanese versions. It is an elementary mistake not to keep the identical order of a series of questions. This would damage the comparability among questionnaires of different versions, due to the difference in carryover effects.

Regarding the other focus of the article, the six items on fertility treatment beliefs, the quality of translation is somewhat better than that of CFKS. Notwithstanding, there is also an obvious mistranslation: the auxiliary verb 'can' was not translated in the statement 'fertility treatments can cause emotional problems'.

I only read the Japanese questionnaire. I have no information on the other versions. However, as I mentioned above, it is probable that questions were mistranslated in Turkish and Italian. There is no evidence to indicate that the questionnaires in other languages are of better quality than the Japanese one. I accordingly expect no reliable research results with IFDMS, given that the data are unreliable.

As a professional social survey researcher, I am afraid of the spreading of unreliable information based on low-quality surveys. Researchers should make efforts to keep the quality of a survey and reject unreliable research results.

I am not sure whether the reviewers checked the IFDMS questionnaires. But, even if they did, it would be difficult to evaluate all questions in 13 languages. Generally speaking, it is unrealistic for journal editors to appoint native-level speakers for a dozen of languages to review a manuscript.

To check the quality of such multilingual study, the only realistic solution is readers' critical evaluation after the publication. For such evaluation, questionnaires and detailed documents should be accessible. In a traditional way, researchers compile questionnaires and details of the survey in a book-form report and donate it to libraries. With the progress of information technology today, it is convenient to publish them as a supplementary material on the journal website. I hope that the Human Reproduction editorial board will consider it.


2016-09-09 第26回日本家族社会学会大会報告:2016-09-11 (日)



  • Date: 2016-09-11 (Sunday) 10:45-12:45
  • Location: 早稲田大学 (東京)
  • Title: 産婦人科・生殖医学で広報・政治活動に使われているグラフの科学的根拠の検討 || Unscientific charts used in obstetrics, gynecology, and reproductive medicine
  • Language: Japanese
  • Keywords: 疑似科学, 人口政策, 妊娠・出産
  • Content: 産婦人科・生殖医学では、科学的根拠のないグラフが広報と政治活動に使われている。これらの問題点を解説するとともに、政府の「少子化対策」との関連を検討する。
  • Presenter: 田中 重人 || TANAKA Sigeto
  • Conference: 第26回日本家族社会学会大会
  • URI: http://www.sal.tohoku.ac.jp/~tsigeto/16w.html

取り上げるグラフの例 (報告要旨画像):

スライド →http://tsigeto.info/16w-slide.pdf

2016-08-20 Age-specific marital fertility rates of Hutterites (Sheps 1965)

Sheps (1965) Table 2 によるハテライトの女性年齢別婚姻内出生率 (ASMFR)

2016年3月31日の記事 【解題】高校保健副教材「妊娠しやすさ」グラフの適切さ検証: 人口学データ研究史を精査 - remcat: 研究資料集 のつづき。

年齢別婚姻内出生率 (ASMFR) はハテライトのデータからえられるわけだが、ここでなぜか Bendel and Hua (1978) は、20代前半までに結婚した女性のデータだけに限定するのである。


〔……〕この操作の結果として、年齢が上がるにしたがって新婚の人がいなくなり、結婚から長い年数が経過した人が増えていくデータを使っていることになる。(現代でもそうであるが) 新婚直後がいちばん夫婦仲がよく、時間がたつにつれて仲が悪くなったり疎遠になったりするので、性行動もそれにしたがって変化する。実際、データ元の Sheps (1965) の Table 2 (上記) やその前の Table 1 はあきらかにその傾向を示しており、Sheps 自身も論文中でそのことを指摘している。Bendel and Hua (1978) 推定の25歳以上の部分は、結婚からの年数経過による性行動の不活発化という要因の影響を受けているのであり、加齢による受胎確率の低下を過大に推定していることになる


実際どのような感じなのかについて、Sheps (1965) の Table 2 のデータを使ってグラフを描いてみた (データは末尾の Appendix 参照)。北米ハテライトの1950-60年代のデータで、女性の年齢別の婚姻内出生率 (Age-specific marital natality rates) を、結婚時年齢別に集計したものである。


  • 各系列の最初の年を除外。これは、最初の1年は出生率が低めに出るからである (x歳で結婚した夫婦の子供の大部分は x + 1 歳以降の出産になる)
  • 各系列3年目以降から46歳までについて、前後1年ずつの範囲 (つまり3年間) の移動平均を計算。これは、出生率の高い集団においては年齢別出生率に周期的な変動があるからである (多くの女性が妊娠中であった年の翌年は出生率が上がるが、その間は新たな妊娠が起こらないので、さらにその次の年は出生率が下がる)

また、25歳以降に結婚した女性は人数が少ない (したがって標本誤差が大きい) ことに注意 (Appendix の表画像の * マークを参照のこと)。

図1. 女性の結婚年齢別にみた年齢別婚姻内出生率 (3年間移動平均、100人あたり)




図2. 結婚からの時間の経過と婚姻内出生率 (3年間移動平均、100人あたり)

30歳以降に結婚した女性の出生率の一時的な落ち込み (前述) を除外すると、結婚後5年くらいの間は、どの結婚年齢の場合も60%前後と高い。結婚が遅いと出生率が低いといった傾向はない。


30歳以上で結婚した女性の出生率は、10年程度経過すると大きく下がっていく。15年程度経過したところで20代後半で結婚した女性の出生率が大きく下がり、20年程度経過したところで20代前半で結婚した女性の出生力が大きく下がる。実際の年齢に当てはめるとどのようになっているかを図1も併用して考えると、40歳すこし前くらいから、年齢による低下という要因が (結婚からの経過年数にかかわらず) おおきくはたらきはじめることになる。

3月31日の記事 でも論じたとおり、2015年の高校保健副教材で使用された「妊娠のしやすさ」グラフは、20代前半までに結婚した早婚女性のデータ (図1, 図2では点線の2本に相当) だけを抜き出して、それをもとに fecundability を推計した Bendel and Hua (1978) の論文 をもとにしている。それにさらに加工して22歳時のピークをつくったのが James Wood (1989)、それを不正確に写したのが O'Connor et al (1998)、20代のうちに急激に低下するように線を引きなおしたのが吉村泰典 (2013) であるが、このように一連の改変がおこなわれる以前に、すでに データが恣意的に選択されていた のであり、その時点で、20代中ごろから低下の始まるラインが出てくるのは必然であったことがわかる。

Appendix: Age-specific marital natality rates by age at marriage, per 100 married women

Source: M. C. Sheps (1965) "An analysis of reproductive patterns in an American isolate". Population studies. 19(1):65-80. http://dx.doi.org/10.1080/00324728.1965.10406005 Table 2 (page 68).

The area within red lines indicates the data used for the estimation of natural fecundability curve by Bendel and Hua (1978).


Maternal age at birth <20 20-24 25-29 30+ All
18 29 29
19 40 40
20 71 28 58
21 53 59 56
22 61 60 60
23 62 58 59
24 51 64 61
25 56 58 40 57
26 49 58 73 56
27 55 56 56 56
28 50 54 69 54
29 55 53 62 54
30 46 57 53 0 54
31 55 50 74 68 53
32 39 46 43 60 44
33 50 51 52 56 51
34 39 49 57 59 47
35 46 46 52 26 46
36 37 43 53 64 43
37 42 41 43 40 41
38 39 42 48 67 43
39 34 38 46 42 38
40 38 38 54 36 39
41 28 32 26 25 30
42 17 30 42 26 26
43 21 17 25 18 19
44 20 13 7 25 15
45 11 8 0 8 8
46 2 3 0 10 3
47 3 3 0 0 3

2016-07-11 高校保健副教材「妊娠しやすさ」グラフ問題から考える科学リテラシー



text by Tanaka Sigeto


二〇一五年、文部科学省が作成した 保健副教材『健康な生活を送るために(高校生用)』改訂版 は、妊娠・出産に関する医学的・科学的知識をはじめて盛り込んだ教材というふれこみで、各高校に配布されたものです。その四十ページには、女性の「妊娠のしやすさ」と年齢との関係を示すグラフが掲載されていました。このグラフの曲線は、二十二歳をピークとして急激に下降するように改変されていて、引用元の論文のグラフとはかけはなれた形状になっていることが指摘され、問題になりました。文部科学省はその後、グラフを訂正しています。(訂正後のグラフにも問題があります が、ここでは触れません。)

実は、このグラフは、今回の教材改訂用に新しくつくられたものではありません。特定の産婦人科医がウェブサイトや講演資料、政府の作成した広報用動画などで以前から使っていた ものでした。私は、この事件をきっかけに、産婦人科や生殖医学における広報・政治活動に興味を持ち、資料を集めてみました。すると、女性の妊孕力の年齢による低下を誇張したものや、妊娠に関する人々の知識レベルが低いことを強調したものなど、妥当性の疑わしいグラフが、ほかにも種々使われてきた ことがわかりました。





http://www.mext.go.jp/component/a_menu/education/detail/__icsFiles/afieldfile/2015/08/17/1360938_09.pdf (2015年8月25日確認)
文部科学省 (2015)『健康な生活を送るために(高校生用)』p. 40 (公表時) のグラフ

田中 重人 (たなか しげと)


2016-08-16 リンク情報を2か所修正し、4か所追加しました (文章には変化ありません)。
2016-08-29 英訳版を作成:http://d.hatena.ne.jp/remcat/20160711/en
2016-08-29 独立したページURL http://d.hatena.ne.jp/remcat/20160711/mori を設定しました。
2016-08-29 東北大学広報誌『学びの杜』へのリンクを追加しました: http://www.bureau.tohoku.ac.jp/manabi/

Scientific literacy in schools: Lessons from a scandal about the 2015 health education material in Japan

(Created: 2016-08-29) This is an English translation of a Japanese manuscript "高校保健副教材「妊娠しやすさ」グラフ問題から考える科学リテラシー", prepared for a Tohoku University's pamphlet, Manabi no Mori.

Falsified chart on women's likelihood of pregnancy

In August 2015, the Ministry of Education, Culture, Sports, Science and Technology of Japan (MEXT) prepared a revised version of the side-reader for health education in high schools, entitled "健康な生活を送るために" [To lead a healthy life]. MEXT announced it as the first education material including knowledge on pregnancy and childbirth. It was distributed to all high schools in Japan.

On page 40 of the side-reader is a chart that shows the relation between a woman's age and the likelihood of pregnancy. The curve of this chart was manipulated such that it peaks at the age of 22 years and then drops rapidly. The mass media reported that the shape of this chart differs greatly from that in the original paper. After this issue became publicly known, MEXT corrected the chart. (There are serious problems remaining even after the chart was corrected, but we will not mention them here.)

This chart was not newly created for this high school material. A certain influential gynecologist (YOSHIMURA Yasunori, a former Chairperson of the Executive Board of the Japan Society of Obstetrics and Gynecology (2007-2011) and the Japan Society for Reproductive Medicine (2010-2014) who currently serves as Special Advisor to the Secretariat of the Cabinet Office (2013-)) had used it on his website, as lecture materials, and in a movie for public information prepared by the government.

This scandal triggered my interest in public information and political activities expanding over the academic fields of obstetrics, gynecology, and reproductive medicine. I collected documents on the topic and found out that various charts of doubtful validity have been used. Some charts exaggerated decline of women's fecundity by age, while others fabricated Japan’s low level of awareness on pregnancy-related knowledge.

In Japan, these charts first appeared around 2012. It was the beginning of a period during which terms such as "妊活" [activities aiming at getting pregnant] and "卵子の老化" [the aging of the ovum] dominated the mass media. The charts have been used by academic associations such as the Japan Society for Reproductive Medicine (JSRM) and the Japan Association of Obstetricians and Gynecologist (JAOG) in their campaign and lobbying. The charts also served as decision-making grounds by the government. This had an effect on the Abe Cabinet's policy regarding low birthrate. It was part of this policy that the government decided to include knowledge on pregnancy and childbirth in school education.

The importance of investigating the information sources

The details regarding the use of these charts reveal that academics have not fulfilled their responsibilities. The doubtful charts contain data that differs from that used in the original studies, odd interpretations of the data, and data whose methods of measurement and calculation are unclear. Such data should have been rejected based on the principles of academic research to trace the original sources and to confirm the veracity of the data. However, academics did not so. On the contrary, they actively recommended the doubtful charts. It was easy to arouse public attention for a chart that had visual appeal such that "women are most fertile at the age of 22 years" with endorsement by academics. Once such a chart spreads as purported scientific knowledge, it is difficult to correct the errors later on.

This problem teaches us that "science" is actually an institution in society and is strongly influenced by political tactics and the trends of the times. To obtain valid knowledge, we need an adequate level of scientific literacy that will enable us to review literature by ourselves rather than accepting explanations of the government and experts. I hope that school education encourage such literacy.


Fig. 1. Age-specific marital fertility (or natality) rates (ASMFR) based on the 1950s-60s data of the Hutterites, who are Christians that do not use contraception or carry out abortion due to religious reasons. Three-year moving average starting from the second year of each column in Table 2 of M. C. Sheps, Population studies 19 (1965). ASFMR are at a high of at least 50% during the newlywed period and decrease as time passes from marriage, which is a common pattern.

Fig. 2. The falsified chart of women's age-fecundability profile in the high-school side-reader by MEXT (August 2015, p. 40). The original was Figure 1 of Bendel and Hua, Social biology 25 (1978): composited curve of estimates based on data of Hutterites women married young (correspondent with the two dotted lines in Fig. 1) and Taiwanese women aged 16-24. This chart is a product of unscientific manipulation for three times since then. The text on the right of the chart explains the decline in fecundability only with medical/biological terms, without mentioning socio-cultural factor such as age at marriage, sexual behavior pattern during marital life, and family lifecycle. No description about data sources and the meaning of the curve. No appropriate citation.


See also

Other documents are listed on http://tsigeto.info/misconduct/ (most of them are in Japanese).

Author of this article

Tanaka Sigeto (Associate professor, Tohoku University)

2016-05-28 高校保健副教材「健康な生活を送るために」国会質疑


5月25日(水) 参議院行政監視委員会で、高校保健副教材「健康な生活を送るために」(2015年版) についての質疑がありました。委員会の動画は http://www.webtv.sangiin.go.jp/webtv/detail.php?sid=3704&type=recorded でみられます (委員会開始後38分20秒あたりから)。質問者は神本美恵子委員(民進党)。副教材全体の改訂のいきさつのほか、38ページの「子供はどのような存在か」のグラフと、40ページの「女性の妊娠のしやすさの年齢による変化」のグラフを取り上げています。

38ページの「子供はどのような存在か」のグラフについては、まだちゃんとまとめていません。概要と問題点は https://twitter.com/twremcat/status/647607430730268672 前後のツイートをごらんください。



これまで、「女性の妊娠のしやすさの年齢による変化」グラフを提供したのが吉村泰典内閣官房参与 (慶應義塾大学名誉教授、元日本産科婦人科学会理事長) であったことは、有村内閣府特命担当大臣 (当時) 2015年10月2日の記者会見 などであきらかになっていました。しかし、誰がこのグラフをつくったのかは、政府側の見解としては示されていませんでした。今回の質疑では、内閣府からの回答として、当該グラフの作成者は吉村泰典氏であることを確認している、と明言されました。

グラフの元データは「正しい」ほうのグラフなのか、という質問に対しては、吉村氏がグラフをどのような経緯でどの時点でどのようにして作成したかは把握していないとの回答。質問者 (神本議員) からは、もし元のグラフを正確に写そうとして作ったグラフならこんなラインには絶対にならないだろう、という主旨のコメント。




副教材40ページの「妊娠のしやすさと年齢」グラフの訂正前とおなじものが厚生労働省の動画サイトで使われている問題 (現在は視聴不可。http://d.hatena.ne.jp/remcat/20160331/falsified 追記部分のほか、http://d.hatena.ne.jp/remcat/20160528/mhlw の書き起こしを参照) についても質問あり。厚生労働省からは、今後、閲覧者が必ず見る冒頭のページに「正しい」グラフを掲載して訂正の説明を加える、との回答。

なぜまだ訂正していないのかという重ねての質問に対しては、誤ったグラフが使用されていたことの把握に至っていなかったとの答弁 (おい)。質問者 (神本議員) から、誤ったグラフが政府の他のウェブサイトや広報資料で広く使われているのではないか、調査が必要との指摘。






厚生労働省 動画「妊娠と不妊について」書き起こし (一部)

5月25日の国会質疑 のせいか、Youtube 上の厚生労働省動画サイト MHLWChannel にあった「妊娠と不妊について」の動画が閲覧不能になっている。どんな内容だったのかを紹介するために、全体の構成と問題部分の書き起こしを掲載しておきたい。




  • 松本 亜樹子 (NPO法人 Fine 理事長)
  • 吉村 泰典 (慶応義塾大学 教授)




  • 妊娠のしくみ (0'34)
  • 不妊の原因 (1'18)
  • 不妊症の検査 (2'20)
  • 少子化の問題点 (4'10)
  • 高齢者の妊娠・出産の問題点 (5'30)
  • 妊娠の適齢期 (6'39)
  • 妊娠する能力の低下の原因 (7'19)
  • 不妊治療による妊娠の可能性 (8'36)
  • 不妊治療の助成制度の変更点 (9'44)


この動画では、22歳をピークとして、加齢とともに直線的に妊孕力が低下するよう改竄されたグラフ が登場する。このグラフの解釈にかかわる部分 (6分40秒から7分40秒くらい) について書き起こしたのが以下。


妊娠の適齢期 (6'39)


妊娠する能力の低下の原因 (7'19)