はてなアンケートの信頼性

真剣な悩みでも下らない思いつきでも、不特定多数の人にアンケートを取れるのは便利な機能です。
ただし、その中でどれだけの人が真面目にアンケートに答えてくれているのか?
○○○の人限定と条件をつけても、本当にそれに当てはまる人だけが回答してくれているのか?


今までのはてなアンケートを見ていて、実際のところ信頼性はかなり怪しいものだと思ってました。

  • 男性で妻の出産に立ち会った方
  • 海軍または自衛隊関係者の方
  • 家族3〜4人で一戸建て・マンションを購入予定の方
  • 狩猟をする方、または、事故でそのような体験をなされた方や、物好きで、山に入る方

過去に実際にあったアンケートですが、回答数が100以下ですと、短時間で終了しています。
そんなにすぐ集まるんかいなぁー!って突っ込みたくなる瞬間ですね。
おそらく、ある程度の経験があるはてなユーザーなら既知のことでしょうが、たまに初心者らしき人が質問立てて吃驚するんじゃないかと。


でも、アンケートに脊髄反射してちゃんと読まずに回答するユーザーばかりではないだろう。質問の仕方次第で、例えば会社員・既婚者・自動車を保有している人みたいな一般的な条件ならば参考になるアンケートになるのでは?と思っておりました。


ところで最近、見つけたアンケート。
このアンケートには答えないでください。

このアンケートには答えないでください。
このアンケートには答えないでください。 11
このアンケートには答えないでください。 2
このアンケートには答えないでください。 7
このアンケートには答えないでください。 4
このアンケートには答えないでください。 6
このアンケートには答えないでください。 8
このアンケートには答えないでください。 8
このアンケートには答えないでください。 6
このアンケートには答えないでください。 8
このアンケートには答えないでください。 6
このアンケートには答えないでください。 12
このアンケートには答えないでください。 22
ネタ・ジョークに分類されていたからって、30分で終了なんて・・・これはひどい
いや、コメントにもあったけれど所詮そんなものなのでしょうか。
人間には簡単なアンケートです。はてなのアンケートにどの程度botがいるのか気になったので実験してみます。
選択肢をよく読んで正しいものを選んでください。
たんはわげでにしんす 3
わしでにはたんんすげ 1
たんしすわんげはでに 2
わはでげにんんすした 1
んにたすわんげしでは0
げんわしでたんはにす 3
わたしはにんげんです 84
んんすげはたにしわで 1
はんげたしにですわん 1
げしわですはにたんん 1
たはんでげしんすわに0
んはたんにしげすわで 3
大変だ!人間じゃないのが16もいるらしいぞ!!
((((;゚Д゚))))ガクガクブルブル
これはきっとエイリアンの仕業(ぉぃ


そこで私もアンケート実施。
【はてなアンケートの回答意識】 「○○○の方、ご協力お願いします」 というアンケートがあって回答可能だが、あなたは○○○の条件に当てはまらない場合。 ○○○の例:既婚者、会社員、男性で妻の出産に立ち会ったことがある、クレジットカードを所有している、等

回答していますか?(ダミーやポイントゲット用の選択肢が無い場合)
ダミー 選択しないでください。(∩゚Д゚)アーアー聞こえない 6
いつも回答している 25
時々回答している 50
回答を遠慮している 115
アンケート回答経験無し(今回が初めて) 2
ダミー 選択しないでください。m9(^Д^)プギャーーーッ 2
回答していますか?(ダミーやポイントゲット用の選択肢がある場合)
ダミー 選択しないでください。(∩゚Д゚)アーアー聞こえない 5
いつもダミーやポイントゲット用の選択肢で回答している 42
いつも通常の選択肢で回答している 26
その時次第で、選択も回答自体も変わる 48
回答自体を遠慮している 73
アンケート回答経験無し(今回が初めて) 2
ダミー 選択しないでください。m9(^Д^)プギャーーーッ 4
Q1で「回答を遠慮する」というのが過半数あったのが意外でした。もっと少ないかとおもっていましたので(ちょっと悲観しすぎ?)。
そしてQ1とQ2でクロス集計してみた感想。*1
Q1で「いつも回答している」人の半数、及び「時々回答している」の3割が「ダミーやポイントゲット用の選択肢」を選んでいるので、ダミーを置くことの有用性は多少はあると言えるようです。*2
ただ、Q1で「回答を遠慮する」人が、Q2では「その時次第で、選択も回答自体も変わる」に2割弱いるのがよくわかりませんねぇ。ダミーがあると何か気分が変わるのでしょうか?


やっぱり、アンケートで条件指定は話半分でしか当てにならないということですね。
条件を絞らずに「〜についてどう思いますか?」みたいな意識調査に向いており、かつある程度の数にした方が信頼できるということでしょう。


余談ですが、アンケートの元々の機能で性別・年代・ユーザーの種別のほか、新しく地域を絞ることができるようになりました。
しかし性別やユーザー種別はともかく、年代・地域に関しては現実に偏りがあるのは明らかで、いまいち使いでがあるように思えません。
例えば関東の10代〜30代ならすぐ集まりそうですが、中国・四国とか年齢60代以上という条件ですと、1週間以内に100人も集まらないのでは・・・。

*1:まぁ当アンケートに正直に回答されているという前提に立っての感想なのですが

*2:もっとも今回は5%にも満たないので、質問次第なのでしょうが