次元の呪い

統計的因果推論の基本的な話題である傾向スコアについて，次の2冊を読みながら学習を進めている。www.ohmsha.co.jpwww.iwanami.co.jp 傾向スコアの目的 正しく因果効果を推定する際には，共変量をそろえた状態で，処置群()と対象群()を比較する必要がある。共変量の次元が大きい場合，共変量をそろえることが難しくなる(次元の呪い)。そのため，共変量を説明変数，処置を目的変数として，「共変量により処置が割り付けられる確率」 を求めて，この値が近いものでグループ化したうえで，処置群()と対象群()を比較すればよい。 こののことを傾向スコアと表現する。 傾向スコアの計算手順 「因果…

「はじめての統計的因果推論」の紹介 統計的因果推論の入門書である「はじめての統計的因果推論」を読んだ。数式少なめ・図多め・解説が具体的で，読み進めやすかった。統計的因果推論の入り口に立てた感じがしたので，紹介したい。 www.iwanami.co.jp 本書を読もうとした理由 私は製造業に勤めており，これまで扱ってきたデータ分析の手法は，時系列予測や自然言語処理などがが多かった。ただ最近，またイベントや社内展開しているツールのアンケートを取るために，Microsoft Formsが手軽に取れるようになったので，施策効果の検討などに使えるのではないかと考えて読み始めることにした。 本書の構成 本…

はじめに 最近因果推論の分野が注目され始め、因果推論関連の書籍が続々と出版されているここ最近です。どう考えてもデータサイエンス界隈では、因果推論が盛り上がってきているということですよね？ということで今回は、CATEを推定する手法として、決定木系の方ではない、Meta-learnersの方を扱っていきたいと思います。私の観測している限りでは、CATEを推定したいみたいなモチベーションを実務で感じることはまだないのですが、この先その波はきそうだということで、記事を書くついでに勉強も兼ねていこうといった感じです。 Meta-learnersの概要 Meta-learnersは、因果推論の分野において…

注：これは、ジューディア・パール、ダナ・マッケンジー「因果推論の科学―「なぜ？」の問いにどう答えるか」のコメントです。 （４３）日本語の小部屋 1）バージョンアップの課題 RAW現像にdarktableを使っています。 darktableの開発バージョン（darktable nightly build）は、毎週更新されます。 開発すると新機能が使えるようになりますが、バグも増えます。 バグをよく取るためには、いったん、新機能の追加を止める必要があります。 一般ユーザーからバグの報告があり、パッチをあてる場合でも、対応するバージョンが多数になると収拾がつかなくなります。 そこで、darktabl…

はじめに 前回、決定木の記事を投稿したので、次はランダムフォレストの記事を書こうと思います。決定木自体の理論は、前回行ったので、今回登場する数式はとても少なくなると思います。 ランダムフォレスト自体は、決定木さえ分かってしまえば、理論的にはすごく簡単で、理解しやすいモデルです。なぜそんな簡単なモデルが現在も使用され続けているかというと、ランダムフォレストは説明変数がとても多いデータに対して、ロバストという点が挙げられます。説明変数が非常に多くても、線形回帰で言う正則化の様に、重要でない変数は全く分岐条件に登場することが無く、線形回帰で言うところの回帰係数が0に近づくのような、動作になる。要は変…

これは、なにをしたくて書いたもの？ 前にApache Luceneでベクトル検索（kNN検索）を試してみました。 Apache Luceneでベクトル検索（kNN検索）を試す - CLOVER🍀 この後でANNに関係するHNSWのパッケージやクラスがあるのを見つけたので、今回はこちらを扱ってみたいなと思いまして。 kNN検索、ANNとHNSW 前回使ったのはkNN検索でした。これはQdrantの時にも扱いました。 Qdrantのチュートリアルから、「検索品質を測定する（Measure retrieval quality）」を試す - CLOVER🍀 あらためて内容を書いておきます。 k近傍法（…

4Gamer ■［CEDEC 2023］コーエーテクモ襟川陽一氏へのインタビュー。創業からおよそ半世紀を経て，世界一になる設計図が見えてきた ■［CEDEC 2023］「テストエンジニアが伝える テストを実施する前に考えるべきテストの話」聴講レポート。開発が参加し，欠陥を未然に防止するテストの大切さ ■［CEDEC 2023］AIが「感情を読み取る」ことは可能なのか。自然言語処理と音声解析によるアプローチが解説されたCygamesのセッション ■［CEDEC 2023］没入感を高める4つのアプローチ。“圧倒的な没入体験を目指して。VRアドベンチャー「ディスクロニア: CA」の体験設計”レポート…

tanuki- 2024-05-13 halfkp_1024x2-8-128 実験内容 halfkp_1024x2-8-128 ネットワークを学習させ、レーティングを測定する。 ランダムパラメーターからの学習には、 Hao を用いて生成した学習データを用いる。 Fine-tuning に Fine-tuning Suisho10Mn_psv を学習データとして用いる。 棋譜生成 ランダムパラメーターから学習させる際の学習データ 生成ルーチン tanuki-棋譜生成ルーチン 評価関数 Hao (tanuki-.halfkp_256x2-32-32.2023-05-08) 1手あたりの思考 深さ最…

自サイト（HTML版）からの転載です。 座標変換 平面ベクトルの場合 3次元ベクトルの場合 落とし穴：極角と方位角をランダムに選ぶと… 棄却サンプリング・正規化 平面ベクトルの場合 3次元ベクトルの場合 落とし穴：棄却を省略すると… 落とし穴：次元が高くなると… 正規乱数ベクトルを正規化 3次元ベクトルの場合 方法の選択基準 平面または3次元 4次元以上 ランダムな方向のベクトルを生成する方法とコード例です。 以下のページの情報を参考に作成しました。 "n-sphere § Probability distributions". Wikipedia. "Sphere Point Picking…

これは、なにをしたくて書いたもの？ Qdrantのチュートリアルから、「検索品質を測定する（Measure retrieval quality）」を試してみたいと思います。 Measure retrieval quality - Qdrant 今回のチュートリアルの狙い 今回扱うチュートリアルは、こちらの「検索品質を測定する（Measure retrieval quality）」です。 Measure retrieval quality - Qdrant どういうことをするのか？というのは、まずはこのページを読み進めて見てみようと思います。 まずは冒頭を読むと、このチュートリアルでは「セマンテ…