クラスタリング

皆様お初にお目にかかります。楽楽勤怠開発課のy_konnoと申します。2020年7月に入社したあまりフレッシュではない新入りです。 入社してからMQに関して取り扱う機会が多いのですが、ラクスでMQというとRabbitMQがスタンダードになりつつあります。つい先日（1月22日）、RabbitMQ 3.8.11がリリースされ、なんともタイミングが良いので触れてみようと思います。 ちなみに3.8.9が2020年9月28日のリリースなので、約4ヶ月ぶりのバージョンアップになります。今回は文献のあまり多くないうえにアップデートのあったQuorum Queueについて触れてみます。

ここでは教師なし学習の一例としてクラスタリング（分類）を自動でしてくれるプログラムをPythonを使って書いていきます！ 【使用するメソッド】 sklearn.cluster KMeans n個の観測値をk個のクラスターに分類します。 make_blobs 好きな数のサンプル（blobs）を生成できます。 【コード】 0001-1Clustering まずは1~3行目で今回使うメソッドをインポートしています。 5行目でサンプルデータの生成、8～11行目が実際に学習を行っている部分です。 13、14行目で結果を表示しました。 実行するとどうなるでしょう？？ 0001-Clustering サンプ…

紺色らいおんさんによる写真ACからの写真 一昔前までは実際に足を運んで自分の目で見ないと真実が見えないものが多かったですが、情報化社会の現代は、様々な情報であふれています。もちろん誤った情報も数多くありますが、正確な情報を探しやすい世の中です。家に居ながらでもインターネットを通じ外の世界が色々と分かります。単に知識を得るだけなら大変効率的です。 ただ、実際にその場に行って目で見て体験した情報というものはなかなか記憶から消えないものです。単なる知識としてだけではなく、成功・失敗経験など様々な実体験も記憶に残るので、他のことにも応用しやすいといえます。いわゆる人生経験の差となりやすい部分ではないで…

昨日は社内でAI勉強会（by 大澤さん）を実施しました。 今回は教師なし学習のクラスタリングがテーマでした。コンテンツ・シナリオ・説明の仕方、どれもとても分かりやすく、終始惹きつけられました。「試しにやってみよう！」のコーナーは商品色分類という身近なものを題材にしていてとても興味深いものでした。発表後のディスカッションタイムは今までにないくらい白熱していましたね！ 来年は外部向けのAIセミナーも開催する予定です。 ビジネス分野での活用例 クラスタリングは、マーケティングの戦略立案・顧客の特性分け・商品のポジショニング分析などに利用されています。 例えば、購買履歴データを分析してお客様のグループ…

今回は、答えのないデータから、データの構造を見えるようにするクラスタリングについて述べていきます。クラスタリングとは、データが似ているものを一つのクラスタにまとめて情報を集約することによって、見通しを良くするものです。例えば、人の特徴を一人一人見るよりは、性別や世代にまとめて比較した方がわかりやすいです。 クラスタリングでよく使われるのはk-meansであり、k-meansに関する詳しいことは様々なところで述べられています。なので、このエントリではk-meansではなく、k-medoidsという手法に焦点を当てます。k-medoidsを一言で言えば外れ値に強いです。詳しいことは後ほど見ていきま…

遺伝子オントロジーエンリッチメント解析は、複雑な生物学的データセットから意味のある情報を抽出する効果的な方法を提供する。遺伝子セットの中で有意に過剰発現している語彙を特定することで、研究者は遺伝子が共有する生物学的特徴を明らかにすることができる。濃縮された語彙を抽出することに加えて、結果を生物学的解釈に資する方法で可視化することも重要である。 ここでは、エンリッチメント解析を実行し、可視化するための新しいウェブサーバーであるFunSetを紹介する。このウェブサーバーは、バックグラウンドセットと比較してターゲットセットに統計的に過剰に存在する遺伝子オントロジーの語彙を特定する。エンリッチメントさ…

こんにちは！EMです^^ 今日からは教師なし学習について解説していきたいと思います！ 機械学習に興味がある方なら、一度は聞いたことのある単語ではないでしょうか。 さっそく教師なし学習とはなにか、どうやって使うのかを見ていきましょう！ 教師なし学習-KMeans すべての統計と機械学習モデリングは、独立変数（観測値または特徴のセット）と従属変数（結果）を持つデータに基づいています。 独立変数が従属変数を生じさせるある程度の出てきた効果を私たちはゴールとして言い換えることができますがこの効果をどのようにモデル化して理解していくのでしょうか？ これまで、従属変数がどのように見えるか、それが取ることが…

Classic Computer Science Problems in Java作者:Kopec, David発売日: 2021/01/19メディア: ペーパーバック 正月にManningが全品半額セールをやっていたのでなんとなく購入しておいたものですが、読んでみたら思いの外面白かったです。 シンプルな検索アルゴリズムから後半はクラスタリングやニューラルネットワークなどまで、JシンプルなJavaプログラムで解説されています。まずはジェネリックなフレームワークを作成し、そのフレームワークを使用して具体的な問題を解く、という流れになっており、サンプルコードのシンプルさや、各章の最後にあるエクササ…

2月19日のはんなりPythonで久しぶりにハンズオンを行いました。 内容は家計調査の支出のcsvを取得、前処理、可視化、機械学習（クラスタリング）というものでした。statsmodelsを利用して季節調整という内容も一応作っていたのですが、時間が足らずにできませんでした。残念。 やることと利用パッケージの関係は次の通り。 データの取得 Requests / pandas 前処理 pandas 可視化 Plotly / Dash 機械学習 sklearn 季節調整 statsmodels リポジトリとコラボはリンク先にあります。 github.com colab.research.google…

はじめに 自分で集めた画像でCNNするために、TwitterAPIの検索機能を使って画像を集めています。 集めている画像は特定の作品のキャラクターだったりするわけですが、CNNで分類モデルを作る上で画像にラベルを付けなくてはなりません。 このラベル付けは言うまでもなく面倒で、時間がかかります。そこである程度自動化できないかと思ったわけです。 したがって、今回はタイトルにある通り、pca（主成分分析）とkmeans（クラスタリング）を用いて画像のグルーピングを行いたいと思います。 データ キャラクターの画像は顔画像だけにあらかじめトリミングしてあるものを用います。 その手法を知りたい方は以下を参…

こんにちは． Sansan DSOC 研究開発部の黒木裕鷹です． 2回目の緊急事態が宣言され，昇降デスクを買ったりモニターや服を買い足したりしていました． お財布は寂しいですが，在宅戦闘力が高まりなんだか良い気分です． さて，この連載では，自分の勉強・復習も兼ねて，ネットワークデータにまつわる統計解析を気の向くままに紹介しています． 前回の記事では，DeepWalkやnode2vecをはじめとするnode embeddingの手法を浅く広く紹介しました． 今回は，ネットワークデータに対する深層学習 (Graph Neural Network; GNN) を俯瞰していきます． 数式は可能な限り使…

手っ取り早いのは Haar-like OpenCV に分類器が同梱されていてすぐに使えるので、試してみるのはとっても簡単です。 これらの記事が詳しいです。 OpenCVを使った顔認識（Haar-like特徴分類器） Python+OpenCV で顔検出 - OpenCV に付属の評価器を試す 上の記事ではそれぞれの分類器ファイルの説明が書いてあってとてもありがたいのですが、 『haarcascade_profileface.xml ： 顔（証明写真）』のとこだけ、 Profile face は「横顔」の意味が正解ですので、そこだけ注意です。 実際に試してみるとこんな感じ。 Haar-like …

発展を続ける「自然言語処理」技術。その中でも幅広く使用される深層学習モデルTransformerは、自然言語処理以外の音楽生成や物体検出などの領域でも適用できます。本ブログでは、 Transformerを時系列データに適用する方法をご紹介します。 こんにちは、AIソリューションサービス部の井出と申します。 この記事では、特に自然言語処理分野で幅広く使用される深層学習モデルTransformerを時系列データへ適用する方法に関してご紹介します。 以前の記事では、Transformerの構造や特徴などについて、自然言語処理分野の機械翻訳を例としてご紹介しております。はじめに、こちらの記事をご一読し…

前回は、オーバーサンプリングの手法「SMOTE」のバリエーション「SMOTENC」について学びました。 pimientito-handson-ml.hatenablog.com 今回も引き続き「SMOTE」のバリエーションについて学びます。 【今回の目標到達点】 SMOTEのバリエーションの特徴を理解する（その２） 【目次】 今回のテーマ 概要 今回の学習 「Borderline-SMOTE」の特徴 Borderline-SMOTEアルゴリズム ステップ１ ステップ２ ステップ３ ステップ４ Borderline-SMOTE２の概要 サンプルデータセットの作成 今回の可視化 imbalance…

International Journal of Housing Markets and Analysis13(4).(2020) ①Housing attributes affecting buyers in India: Analysis of perceptions in the context of EWS/LIG consumers view Pavan Namdeo Ghumare, Krupesh A. Chauhan, Sanjay Kumar M. Yadav Purpose The purpose of this paper is to provide affordable…

クラスタリングは、何らかの尺度に従って類似したデータポイントをグループ化することにより、大規模データセットの構造を発見するための最も強力で広く利用されている分析手法の一つである。R(R Core Team, 2015)やPython(Pedregosa et al., 2011)のようないくつかのプログラミング言語は、カスタムデータをクラスタリングし、静的プロットを生成するためのライブラリまたはパッケージを提供している。しかし、ユーザがより深いレベルでデータを理解するのを助けるインタラクティブな可視化は、追加のライブラリや外部ソフトウェアを必要とする。ClustVis（Metsalu et a…