シンプソンのパラドックス

AI技術開発部の宇都です。GO株式会社では過去に発信した記事や発表資料をテーマごとにまとめる取り組みを行っています。 今回はタクシーアプリ『GO』における『因果推論』をテーマとした記事をご紹介します。 因果推論の基礎 入門 統計的因果推論 | MoT Lab (GO Inc. Engineering Blog) AI技術開発部分析グループでは毎週勉強会を開催しており、ビジネスの意思決定をデータに基づいて支援するため、「統計的因果推論」についても取り扱いました。この記事では、オンラインコース「Introduction to Causal Inference」で学んだ内容をもとに、相関と因果の違い…

みなさんおなじみ、LW氏のブログのお題箱記事でとりあげられていたひろゆき氏のこのツイートについて。 「男性の方が女性より収入多い」と言われる昨今ですが、「同じ年収の男女を比較すると女性の方が勤務時間が短い」という2016年のデータがあるようなのですが、もっと新しいモノってどこにあるんすかね？「男性は女性より時給が低くされている」と言えてしまうような、、、 pic.twitter.com/KGdJ4yftNA — ひろゆき (@hirox246) 2024年9月6日 このツイートを見ながら、「このグラフから『男性よりも女性のほうが時給*1が高い傾向がある』と結論づけるのはかなり早まった推論ではな…

背景 有向非巡回グラフ（DAG） シミュレーション コード 諸々インポート 性別で労働時間が決まるパターン 性別で時給が決まるパターン 背景 「男性の方が女性より収入多い」と言われる昨今ですが、「同じ年収の男女を比較すると女性の方が勤務時間が短い」という2016年のデータがあるようなのですが、もっと新しいモノってどこにあるんすかね？「男性は女性より時給が低くされている」と言えてしまうような、、、 pic.twitter.com/KGdJ4yftNA— ひろゆき (@hirox246) 2024年9月6日 「結局このひろゆきが貼ったグラフから何が推論できるのか」が因果推論の練習問題としてちょっと…

皆さん、こんにちは。 今回は、多くの人がやってしまいがちな誤謬、「シンプソンのパラドックス」について紹介します。

※この記事は続き物となっています。先にこちらをお読みください。 data-shark.hatenablog.com 目次 プロジェクトの各フェーズで意識すべき50のチェック項目 ①立ち上げ ②課題定義 ③仮説立案 ④分析の準備（データ収集・加工・分析環境構築） ⑤データ探索 ⑥分析設計 ⑦実分析 ⑧業務展開 ⑨効果検証 参考文献 プロジェクトの各フェーズで意識すべき50のチェック項目 では、前段で定義した各プロセスで、これだけは外さないようにしたいというチェック項目を列挙してみる。 また参考までに、それぞれのチェックポイントを外すとどのような結末が待っているのか、筆者自身の経験も踏まえた失敗事…

改訂：5/31 社内失業の部分を追加しました。 改訂：6/1 労働分配率の部分を追加しました。 改訂：6/2 DXと共存する社会システムの部分を追加しました。 改訂：6/3 ７）経験重視か、数学かの部分を追加しました。 改訂：6/3 ６）に、注１を追加しました。 改訂：6/4 「８）２つの推論と2035年の日本」を追加しました。 改訂：6/６ 「９）功利主義と数学」を追加しました。 １）はじめに マイクロフォーサーズ（MFT）についての文章を整理してたら、パナソニックの不祥事についてのニュースがはいっていました。 このテーマには、次の特徴があります。 １：日本の技術力低下の問題 ２：ブランド価…

お題箱回161 1035.GPT-4oが発表され話題になってますが、LWさんはAIがプログラマーの仕事を食い潰すみたいな意見に対してどうお考えですか？ 他のクリエイティブ職と同じように精鋭化（高給化と少人数化）が進むと思います。 誰でも書けるコードはAIでよく、AIでは済まない部分のみを人間が巻き取るイメージです。それはAIと何を作るのか考える上流寄りの能力や、AIでは手に負えない誤りを検出・訂正する能力や、AIが知らない根本的に新しい機能を実装する能力や、AI自体のエンジニアリング能力だったりします。 それらはAIの発展に応じてパイが増えたり減ったりしつつも少なくとも当分は無くなることはない…

【ゆっくり解説】事実のデータに騙される－シンプソンのパラドックス－ 動画 YouTube https://www.youtube.com/watch?app=desktop&v=_ZaVOmwfL0w エーザイのアルツハイマー病新薬 シンプソンのパラドックスとは？ おもな事例とデータの読み間違いを防ぐ方法について 統計データを扱う際に注意するべき「シンプソンのパラドックス」について紹介します。シンプソンのパラドックスにより、同じデータでも分析の仕方によって異なる結論が導かれてしまう恐れも。本記事ではシンプソンのパラドックスの概要と、パラドックスを見抜いてデータの読み間違いを防ぐ方法について紹介…

Sinpson’s paradox （シンプソンのパラドックス）とは、統計学やデータ分析において、相反する結論を導く現象のことを指します。このパラドックスは、異なる部分集合における結果が全体における結果と比較すると逆転する場合に生じます。 例）ある病気の治療法の成功率について 仮に、ある病気に対する治療法として、治療法Aと治療法Bがあるとします。 それぞれの成功率が、 ・治療法A：100人中78人が治癒（成功率78%） ・治療法B：100人中72人が治癒（成功率72%） であったとき、治療法Aの成功率のほうが治療法Bの成功率よりも高いように見えます。 しかし、これを女性の集合と男性の集合に分け…

uxdesign.cc インサイトを確実に生み出す3つのステップ 多くの問題解決者（デザインリサーチャー、コンサルタント、特にキャリアの浅い人）は、インサイトを確実に生み出すことが難しいと感じています。それは、やり方を知らないからではありません。彼らが恐れているのは、信頼できるインサイトを得ることができないことなのです。 というのも、私たちはインサイトとは、ある問題について真剣に考えたときに魔法のように突然起こるものだと考えがちだからです。 洞察力を生み出す確実な方法があるのです。以下では、問題を空間的な次元で考えることで、インサイトがどこにあるかを簡単に思い浮かべることができることを説明しま…