因果探索

こんにちは、技術開発ユニットの三浦です。 最近出張で久しぶりに飛行機に乗りました。搭乗時間の間は、座先に備え付けられているディスプレイで色々なコンテンツを見て過ごしました。映画やアニメ、ドキュメンタリーに加えてYouTube系のコンテンツも用意されていて、見られるコンテンツも以前と比べてだいぶバラエティに富んでいるんだな、と感じました。 今回は最近調べている因果探索および因果推論の話について、まとめてみたいと思います。 因果関係を考える必要性 2つの変数が「因果関係にある」とは、どちらかが原因で、どちらかがそれによって生じている場合に言います。 因果関係を考えなければならない理由を簡単な例で見…

はじめに 当ブログのサブタイトルは，「JTCのデータサイエンス中間管理職の学び」である。というわけで，9月の学習記録を振り返ってみた。 目次 はじめに 目次 インプット編 「因果推論 基礎から機械学習・時系列解析・因果探索を用いた意思決定のアプローチ」 「深層学習の原理に迫る 数学の挑戦」 「AI・データ分析プロジェクトのすべて」 「大規模言語モデル入門」 アウトプット編 振り返りと今後の抱負 インプットを増やしたい。 インプットの種類も増やしたい。 小まめにアウトプットしていきたい。 インプット編 2024年9月は，4冊の本を読んだ。 「因果推論 基礎から機械学習・時系列解析・因果探索を用い…

はじめに ちょっと仕事で、クラスタリングを扱う機会があり、混合ガウスモデルに関して、詳しく理解する必要があったため、なんとなくであった、混合ガウスモデルの再学習も兼ねて、今回記事を書きます。 クラスタリングといえば、k-meansやt-SNEとk-meansの組み合わせなどぐらいしか、まともに扱ったことが無く、混合ガウスモデルを実務で扱うことが無かったです。なので、ふわっとした理解の人間が、勉強し直したまとめが、この記事だと思ってください 混合ガウスモデル 他のクラスタリング手法と比べて 混合ガウスモデルの最大の特徴は、データの生成過程を確率モデルとして表現する点にあります。具体的には、複数の…

今年もXP祭り2024には、出版者様から数多くの見本誌を提供いただいています。 ここにそのリストとリンクを掲示させていただきます。 まさに今が旬。世界を拡げてくれる本たちに違いないですね。 翔泳社さま テスト自動化実践ガイド 継続的にWebアプリケーションを改善するための知識と技法 作者:末村 拓也 翔泳社 Amazon アジャイルチームによる目標づくりガイドブック OKRを機能させ成果に繋げるためのアプローチ 作者:小田中 育生 翔泳社 Amazon AI時代の質問力 プロンプトリテラシー 「問い」と「指示」が生成AIの可能性を最大限に引き出す 作者:岡 瑞起,橋本 康弘 翔泳社 Amazo…

最近，統計的因果推論を勉強し始めた。 関連記事： 「はじめての統計的因果推論」 #書籍紹介 - jiku log 統計的因果推論の各手法に関するサンプルコードなども触ってみたいと考え，金本 拓 著「因果推論」を読み始めた。 www.ohmsha.co.jp 本書の目次 本書の目次は，以下のような構成になっている。 第1章 因果の探求から社会実装 第2章 因果推論の基礎 第3章 基本的な因果推論手法 第4章 因果推論高度化のための機械学習 第5章 因果推論と機械学習の融合 第6章 感度分析 第7章 因果推論のための時系列解析 第8章 因果構造をデータから推定する因果探索 サンプルコードのページも…

８月１５日発売の本 ８月１６日発売の本 ８月１７日発売の本 ８月１８日発売の本 ８月１９日発売の本 ８月２０日発売の本 ８月２１日発売の本 ８月１５日発売の本 ダンジョンのある世界で賢く健やかに生きる方法（コミック） ： 5 (モンスターコミックス)作者:甘味みつ,子供の子双葉社Amazon 異世界で 上前はねて 生きていく～再生魔法使いのゆるふわ人材派遣生活～（コミック） ： 9 (モンスターコミックス)作者:こばみそ,岸若まみず双葉社Amazon 白衣の英雄（コミック） ： 8 (モンスターコミックス)作者:とよはたつばさ,九重十造双葉社Amazon 溺れるほど愛されて、幸せになってみせま…

注：これは、ジューディア・パール、ダナ・マッケンジー「因果推論の科学―「なぜ？」の問いにどう答えるか」のコメントです。 （５４）科学の方法を研究する １）科学の方法 科学の仮説の正しさは、その内容ではなく、方法論の正しさによって、保証されています。 この研究は、２つの視点で行なわれます。 １－１）科学者の視点 科学者が用いる方法は、仮説と検証です。 1934年にポパーは「科学的発見の論理」を出版し、それまでの伝統的な観察主義的帰納主義的科学的手法を否定した。 「伝統的な観察主義的帰納主義的科学的手法」が使えないことは自明でしたが、RCTを使うことは、事実上不可能であったため、「伝統的な観察主義…

記事の内容 今回まとめたいテーマは、科学哲学です。 科学と哲学、その両方を学べるとても楽しい領域ですよね。 科学とは何か、科学哲学とは何かを学ための本を紹介します。 それでは、目次をご覧ください。 記事の内容 このブログ全体のガイドラインはこちらへ 本紹介 科学哲学への招待 科学哲学の冒険 「科学的思考」のレッスン 科学的とはどういう意味か はじめての科学哲学 表現と介入 科学を語るとはどういうことか 科学者はなぜ神を信じるのか もうダマされないための「科学」講義 ルポ 人は科学が苦手 科学と非科学 統計学を哲学する 現代哲学のキーコンセプト 確率 物事のなぜ 原因を探る道に正解はあるか 科学…

2024年5・6月消費コンテンツ 6月からデータサイエンティスト勤務なので今後読むデータサイエンス系の書籍は仕事用でもある。 2024年5・6月消費コンテンツ メディア別リスト 漫画（19冊） 映画（2本） 書籍（3冊） ゲーム（1本） 良かった順リスト 人生に残るコンテンツ 消費して良かったコンテンツ 消費して損はなかったコンテンツ たまに思い出すかもしれないくらいのコンテンツ 以降の人生でもう一度関わるかどうか怪しいコンテンツ ピックアップ ドラッグオンドラグーン 公式設定資料集 The Materials ゼルダの伝説 ティアーズ オブ ザ キングダム ウェブ最適化ではじめる機械学習 因…

目端が効く人間ならば何年も前から気づいていることだが、今回の都知事選挙で世界が変容していることに気づいた方も多いだろう。まあ、未だに気づいてない残念な方々も大量にいる。彼らが時代に取り残されて破滅していくのは確定事項だろう。彼らが理解することは今後もないと思うが、変容したことに気づけた幸運な人のためにこの記事を書いている。 我々の世界はデジタルとリアルが限りなく融合した世界に到達している。 かつて現実社会（リアル）はテレビや新聞社が情報の流通を支配していたが、2024年にテレビや新聞社が情報の流通を支配していると頷くものはいないだろう。もはや動画メディアも文字媒体も何なら漫画雑誌ですら誰でも参…

最初に 追記：事前に念押ししておきますが、この手法はロジスティック回帰で関係性の強さを測り、AICやBICで関係の方向性を決めるというやり方で、関係性の強さと方向の示唆を得るものだと思ってください。厳密には因果関係を探っているのではなく、関係の強さと方向を探っているということです。その時に交絡因子などを考慮して変数間の関係の強さを出すために、条件付きロジスティック回帰を使ったりしてる感じです。なので最後の方にも書いてありますが、初手の因果探索的な使い方として、大まかな関係性の強さや方向性の示唆を得るのには有効かなぐらいにとらえてください。ロジスティック回帰ではもちろん因果関係はわかりません。何…

自社でデータ分析に取り組むも成果を出せている企業は少ない 「データサイエンス」「AI」「ビッグデータ」といったキーワードは一過性のバズワードではなくなり、多くの日本企業ではデータサイエンティストを採用し、社内のデータを活用して業務改善やトップライン向上を目指すプロジェクトが行われるようになっている。 しかし、一部の先進企業を除き、ビジネス的な成果を刈り取れている企業は少ないというのが実情だ。*1また、一部の取り組みが功を奏し、PoCまで進んだとしても全社的な業務展開には至らないケースも多いと聞く。 そこで、今回は一人のデータサイエンティストとして普段意識している、①データ分析プロジェクトの王道…