clustering
複数のデータを、その類似度に基いて分類すること、またそのための統計学的手法。
本記事は、全5回に分けてFIBAバスケットボールワールドカップ2023の全92試合を分析してみたシリーズ第5回目です。 相関分析・可視化分析｜勝敗と相関が高いスタッツの項目は何か？勝利したチームと敗北したチームのスタッツの差はどう違うのか？ 決定木分析｜勝利するチームのスタッツの条件は？（その1） LightGBM+SHAP分析｜勝利するチームのスタッツの条件は？（その2） 次元削減分析（主成分分析・t-SNE・UMAP）｜スタッツから見る大会参加チームの特徴は？（その1） 因子分析｜スタッツから見る大会参加チームの特徴は？（その2） 前回は、主成分分析・t-SNE・UMAP等の手法から次元削…
k-means法とは k-meansは、教師なし学習の一つで、データをk個のクラスタに分けるアルゴリズムです。データの「重心」や「代表点」を用いて、データ間の類似性に基づいてグループ化します。 機械学習の中での位置付け k-meansは教師なし学習の一部として位置づけられます。教師なし学習は、データにラベルが付与されていない場合に使用される手法で、データの構造やパターンを見つけ出すことを目的としています。 メリット・デメリット メリット シンプルで理解しやすい。 大量のデータにも適用可能。 デメリット クラスタの数kを事前に決定する必要がある。 初期の代表点の選び方が精度に影響する。 クラスタ…
こんにちは！ nakamura（@naka957）です。 今回はクラスタリングをご説明します。クラスタリングは教師なし学習に代表される手法の1つで、正解情報なしでデータ間の類似性を推定し、グループ化する手法です。DATA Campusでは、これまでに教師なし学習の概要とその手法の1つの主成分分析について解説しています。そちらも是非参考にしてみてください。 ■機械学習における教師なし学習の理解を深める ■教師なし学習の実践 主成分分析で高次元データを可視化する 本記事では、最初にクラスタリングの概念と主要な手法であるk-means法について説明します。次に、実装例の紹介に加え、同じ教師なし学習で…
記事の内容 Macnaughton Smith et al. （1965）が提案した分割型クラスタリングをPythonで実装しました。本記事では、そのスクリプトを公開します。 分割型クラスタリングとは 分割型クラスタリングの定義を例によってカステラ本から引きます。 分割型クラスタリング法では、全データが属する一つのクラスタから開始し、トップダウンに、一つの既存クラスタを二つの子クラスタに再帰的に各反復で分割していく。 つまり、一つの大きなクラスタを複数のクラスタに分割していく手法が分割型クラスタリングです（図１）。デンドログラムを上から作っていくイメージのクラスタリングです。 図１：分割型と凝…
クラスタリング結果を評価する方法を、過去２回の記事に残してきた。 また、近接性を評価する指標については、過去文献から欲しいものを見つけることができなかったので、自分自身で考えてみた。 今回の記事では、考案した指標で実際のクラスタリング結果を評価してみようと思う。 過去の記事はこちら。 aisinkakura-datascientist.hatenablog.com aisinkakura-datascientist.hatenablog.com ４種類の凝集型クラスタリングとその実装 ここでは、評価対象のクラスタリング手法について説明する。 凝集型クラスタリングとは、カステラ本によると 凝集型…
前回の記事に引き続き、クラスタリングを評価する指標について考察していきます。 ↓前回の記事 aisinkakura-datascientist.hatenablog.com 今回はクラスタリングにおける「近接性」の概念について深堀し、近接性を評価する指標を提案します。 近接性の概念 前回記事で近接性について簡単に説明しましたが、あらためてカステラ本を引用しようと思います。 （前略）「近接」性に反するクラスタを生成することがある. つまり、あるクラスタに割り当てられた観測が, 同じクラスタの観測よりも, 他のクラスタの観測に近くなることがある。 （ちなみにカステラ本とは↓の本のことです） 統計的…
こんにちは！nakamura（@naka957）です。今回は、教師なし学習をご説明します。 機械学習では、学習データに正解情報が含まれている教師あり学習への注目が多いかもしれません。一方で、学習データに正解情報を含まない教師なし学習も存在します。教師なし学習は学習データに正解情報なしで、データ自身のパターンを推測する手法です。 皆さんの手元にあるデータも、正解情報がなくとも、教師なし学習の活用で新しいパターンが見えてくるかもしれません。 本記事では、教師なし学習とその主要な手法の概要を理解することを目指します。 では、早速始めましょう。 教師なし学習とは 教師あり学習との違い 教師なし学習の手…
いくつかの手法を用いてデータをクラスタリングをした際に、各手法を比較したいときがある。 データサイエンティストとして働いていると、事業のオペレーションや解釈のしやすさで手法を選ぶことも多い。それはそれで非常に有用で重要な観点ではあるのだが、何か数学的に定義できる指標はないか調査してみた。 調査していくと、カステラ本の中で、クラスタリング結果を評価する言葉として「郡内分散」「コンパクト性」「近接性」が紹介されていた。郡内分散については、数式での記述が記載されており、下記の通りである。 ただし、は観測間の非類似度を表す。 また、コンパクトなクラスタとは最大半径が小さいクラスタを指す。したがって、ク…
・先日KNIMEでk-meansクラスタリングなどを実施してみた。k-meansクラスタリングの特徴は、プロットした空間中で中心から距離をベースに考えるところで、要は2次元グラフ上なら丸く分布していないと綺麗に分けることができない。 ・歪んだ分布の場合、Spectral Clusteringなどの少々ヒネた手法を使う必要がある。 ・KNIMEでこれをどう試せば良いのか分からなかったので、Pythonノードで実施した。 ・まず、scikit-learnで三日月型のデータを作った（下図）。 ・Python Scriptノードの中身 import numpy as npimport pandas a…
・データ間の距離情報のみを得た場合に、階層型クラスタリグを適用したい。 ・そこで、距離情報を読み込んで階層型クラスタリングに適用してみたい。 ・サンプルデータとして、10個のポイントの相互距離を用いた（下図）。 ・これを三角行列風の表に加工し、csvファイルとして出力した後、Distance Matrix Readerで読み込む。 ・三角行列風の表に加工して書き出すところまでは、以下のような感じ。 ・個人的なポイントは、Rule Engineノードを何も設定せずに回すとNull列を挿入できること。 ・書き出し直前の表は以下のような感じ。 ・Dsitance Matrix Readerノードでの…
データ分析基盤室の otobe（𝕏@UC_DBengineer） です。 事業規模が拡大し、大規模なデータの管理が必要になるにつれて、SnowFlake や BigQuery のようなハイパワーな DWH サービスでデータを加工するケースは多いです。 その際、想定外な高額請求が起こる原因のひとつに、クエリが最適化されておらずスキャン量が増大しているケースがあります。 そのため、クエリのスキャン量を監視・管理することが課金額を減らすうえで有効な手段となることがあります。 本記事では、前半で BigQuery で課金されるスキャン量を監視・管理するまでのプロセスを振り返り、 後半で BigQuer…
機械学習とは 機械学習とは、人間が知識を教えるのではなく、コンピュータにたくさんのデータを与えてコンピュータ自身が学習する方法です。 コンピュータが学習する方法は、３つあります。 ①教師あり学習 「問題」と「答え」のペアを大量に与えて、特徴を学習させる方法 コンピュータが問題と答えのデータ（教師データ）のペアを大量に見て、特徴を学習することで、「どのような問題は、どのような答えか」を把握できるようになる。 そのため、新しいデータを与えた時、その特徴からそれが何なのかを答えることができる。 文字認識・音声認識・翻訳 などで使われる。 教師データ・・・問題に対する答えのデータのこと。（教師代わりの…
はじめに 株式会社LegalOn Technologies でデータアナリストをしている高木 要です。LegalOn Technologiesではデータ分析業務に積極的に取り組んでおり、我々データアナリストチームは各部門のステークホルダーとともに製品やビジネスの価値をデータから評価できるようにデータ分析を行なっています。分析内容は多岐に渡り、製品利用状況や営業データなどを用いて、プロダクト開発やビジネスにおける意思決定精度の向上に努めています。 今回は「ネットワーク分析を用いたお客様の法律文書ナレッジマネジメント状況の可視化」についてご紹介いたします。
「データエンジニアリングの基礎」を読んだので、感想・各章の内容についてまとめます www.oreilly.co.jp 全体を通しての感想 原本は Fundamentals of Data Engineering で本書は日本語訳となります。 筆者のJoe Reis氏とMatt Housley氏はデータエンジニアリングのコンサルタントを行っていて、業界経験が長いお二人です。 データエンジニア界隈は急速に変化する業界と本文中で書かれています。 業界変化の中で「変わらないもの」を選択し、今後数年間役に立つコンセプトをまとめたものと本書を説明しています。 上記の狙い通り、本書はツールや特定技術ソリュー…
私たちがメタファー（比喩）をするのはわかり易いからだ。何かにたとえることによって、もっと深く表現できるからだ。和歌などはこのメタファーを多用している。 だから物事を理解する時にもメタファーを使うと理解が進む。そしてこのメタファーを突きつめたものがモデル。理論はモデル化できて応用ができる。 著作権の問題があるけど、この図が一つのモデル。そして、このモデルはＡＩのしくみを使った脳のモデル化となっている。 この脳のはたらきは、全て数式にできている。「教師なし学習」はヘッブ則によって定式化できる。ヘッブ則とは「同時に発火したニューロン間のシナプス結合は強められる」という現象⇨【教師なし学習とは？種類・…
Clinical features and classification of neuronal Intranuclear inclusion disease.Tai, Hongfei, et al.Neurology: Genetics 9.2 (2023): e200057. こういう病気にも興味を持って診療したいからサ。 1. 背景神経核内封入体病 (neuronal intranuclear inclusion disease, NIID) は、中枢および末梢神経系と複数の内臓に病理学的に好酸性ヒアリン核内封入体を認めることによって特徴付けられる進行性の神経変性疾患である。診断のために…
今回は、OSSのOptunaを、Google Colaboratoryで使う手順の詳細説明と、実際の実行結果を記載します。 プログラムは、書籍「Optunaによるブラックボックス最適化」の2章のサンプルコードを使用します。 また、トライアル（学習）の再現性を確保（同じ学習結果を再現する）し、Optunaのスタディも再現させる方法についても説明します。 この内容が参考になれば幸いです。
こんにちは。D&S研プライバシーCPJの安部と花田です。今回は2024年1月5～8日に開催された国際会議であるICCE2024に参加し、インダストリアルセッション、口頭発表を行ったので報告します。
G-gen の堂原です。本記事は Google Cloud Next '24 in Las Vegas の 2 日目に行われた Breakout Session「Optimize your machine learning applications using BigQuery DataFrames」のレポートです。 他の Google Cloud Next '24 の関連記事は Google Cloud Next '24 カテゴリの記事一覧からご覧いただけます。 セッションの概要 背景 BigQuery DataFrames デモ ユースケース 関連記事 セッションの概要 本セッションでは、…
第16回サイゼミ 2024年4月8日に埼玉県の行田でブロッコリーマンが経営するカフェのスペースを借りて第16回サイゼミを催した（参加13人）。都内から埼玉の北端まで2時間くらいかかるのでだいぶ小旅行感があり、ついでに現地の蕎麦やフライを楽しんでいる人が多かった。 テーマは最近出版された東浩紀『訂正可能性の哲学』について。2年半前くらいに第11回サイゼミでやった『観光客の哲学』の続編でもある。書籍の内容は要約しない前提で主に俺が思ったことについて書く。 saize-lw.hatenablog.com また、俺は『訂正可能性の哲学』だけでなく実践編と位置付けられている『訂正する力』と東がデータサイ…
このブログの記事の一番最初に戻ると分かることなのだけど、2018年に私はpythonを使ってk-meansクラスタリングと格闘していた。 １，２万の貧弱なノートPCと大学のlinuxを往復して貧弱な研究をし、精神を病み、ドロップアウト卒業したので結局まともな研究はしなかった。 むべなるかな 因縁じみたものがあるのか、社会人４年目にして再度pythonと向き合うことになり先月G検定を受験して、なんとか合格したのだった… 未だに大学時代のトラウマは脳にこびりついているけど、最終的に克服して楽しくpython触れるエンジニアになりたいなぁと思います。 今はまだ、苦痛を感じながらpythonをやってい…
公開データベースに寄託される微生物ゲノムの数が増加しているため、多数のゲノムをゲノム距離という観点から比較することは、ますます困難になってきている。現在では、数百万から数十億のゲノム間のペアワイズ距離を推定する必要がある。このような比較を効率的に実行できるソフトウェアはほとんどない。 本論文では、1兆スケールでの超高速かつ高精度なゲノム検索と比較を実現するために、いくつかの新しいMinHashアルゴリズムと計算最適化（Simple Instruction Multiple Data, SIMDなど）を実装し、マルチスレッドソフトウェアBinDashを更新した。すなわち、SIMDによる最適化・高…
eh-career.com
tech.nitoyon.com
mixiengineer.hatenablog.com
www.kamishima.net
www.slideshare.net
xtech.nikkei.com
tech.nitoyon.com
xtech.nikkei.com
kaiseh.hatenadiary.org
