異常検知

お久しぶりです、R&Dの加藤です。最近は「A列車で行こう~はじまる観光計画~」をコツコツ進めていますが楽しいですね。Steamでも公開されるそうなのでNintendo Switchを持っていなくてもプレイできますよ。 さて、今回はDeep Learningによる異常検知デモを作成したので説明します。 デモ動画 解説 撮影環境とアノテーション Deep Learningによる異常検知の速度と精度の話 速度改善する方法 Deep Learningとチャンネル モノクロ画像とカラー画像 カラー画像（3ch）を超えた、4chの画像も存在する Deep Learningにおける畳込みとチャンネル 最後に…

はじめに 以前（といってもかなり前）、オートエンコーダによる時系列データの教師なし異常検知に関して記事を書きました。 今回はその続きで、同じ心電図データを用いて、LSTMによる異常検知をしたいと思います。 noleff.hatenablog.com プログラム import numpy as np import pandas as pd import matplotlib.pyplot as plt from sklearn.preprocessing import MinMaxScaler from tensorflow.keras.models import Sequential from…

こんにちは、機械学習エンジニアの福成です。 前回は連載の第一回目ということで、時系列異常検知の基本的な考え方や、タスクの種類についてお話ししました。 techblog.exawizards.com 前回のポイントを再掲します。 異常検知では、明示的な正解ラベルを学習に用いない教師なし学習が主流である。 時系列中に2つの区間を設け、その中でモデル化を行いつつ区間をスライドさせるのが基本的な考え方である。 区間の長さにより、大きくは外れ値検知・変化点検知に分けられる。 両者ともに、時系列依存の有無の観点で分けることも可能である。 今回は外れ値検知・変化点検知について、より具体的なアプローチについて…

続いては、「機能の実装」 についてまとめていきます。 目次 実施したいこと(再掲) 機能の実装に向けて 1. 異常検知の実装 1.1 人物検知について 1.2 動体検知について 1.3 異常検知について 1.4 おまけ機能について 2. 通知機能の実装 2.1 Amazon Echoで音声通知 2.2 LINEで状況の画像と位置情報を通知 2.3 SORACOM Lagoonダッシュボードで状況の画像と位置情報を表示 2.3.1 ダッシュボードの設定 2.3.2 SORACOM Harbest Data/Harvest Filesにファイルやデータを送る おわりに 実施したいこと(再掲) 作業…

はじめに 深層学習を用いた異常検知手法では有名なオートエンコーダを使ってプログラミングしたことをまとめます。オートエンコーダによる再構成誤差とLSTMによる予測誤差などとも比較予定です。 追記 LSTMの異常検知記事、書きました 対象データ 今回もこちらの心電図のデータを使わせていただきました。 心電図のデータですので比較的周期性のあるデータですね。では実装していきます。 なお、データに関しては以前異常検知に関するブログでまとめてあるのでご参照ください。 noleff.hatenablog.com プログラム 環境 OS: macOS Catalina numpy: 1.18.5 pandas…

はじめに こんにちは。MLエンジニアの福成毅です。 私は、ある自社プロダクトの要素技術として時系列異常検知モデルの開発に携わってきました(2019/10 〜 2020/03)。 異常検知には今まで取り組んだことがなかったですが、時間をかけて様々なアプローチがあることを学びました。 異常検知は、機械の故障やシステム障害などにおいて発生する異常データを見つけ出す手法であり、様々な産業での応用が期待されています。 一方で教師データ（特に異常データ）の不足や時系列特有の制約など、どうしても難易度が高くなりがちなタスクでもあります。 今回の投稿では、異常検知の基本的な考え方を述べ、時系列異常検知における…

はじめに 研究で時系列データの異常検知に関する研究を行っています。そのため、機械学習による異常検知のアルゴリズムについて普段から文献調査などしているわけですが、機械学習を使わずとも異常検知できるという記事を見つけました。 https://cpp-learning.com/hampel-filter/ https://qiita.com/hoto17296/items/d337fe0215907432d754 大変興味深かったので、記事の内容に少しだけアレンジを加えて実装してみたいと思います。 対象データ 自分で異常検知用のデータを作成しても良いのですが、それだとどうしても作業的になってしまい、…

今年に入ってからずっと強化学習の勉強をやっていたのだが，会社より異常検知を完全に理解しろという命令が来たのでやっていくことにする． まずはホテリングの法と和解を行う．ホテリングの法は古典的な異常検知手法である． データが正規分布に従っていると仮定して，データの異常度を以下のように定義する． ここで及びはそれぞれ標本平均と標本分散である． 異常度は平均値からの距離（の二乗）を表していることが分かる． 平均値から離れるほど異常度が大きくなっていくということだ．分散で割っているのはバラつきの大小を考慮するのが目的だろう．ポンチ絵を描くと下みたいな感じ． データは正規分布に従っているので，を中心にした…

進化を続ける自動ドアの歴史 よほど古い建物や歴史的建造物でない限り、商業施設や公的施設、法人事務所の入り口には自動ドアが設置されていると思います。 実は自動ドアの歴史は古く、古代ギリシアにまでさかのぼります。何気に利用している自動ドアですが、「扉が自動で開いてほしい」という人間の欲求は古く深いものがあったのです。

掲題の通り、SmartBank, Inc に入社しました。 From: Quipper, Inc. To: SmartBank, Inc. smartbank.co.jp 2021 in review - valid,invalidに書いたとおり転職は2020年の出来事で、入社日は 2020-08-01。2021 の間違いではなく 2020 である。入社してから半年程度はステルスでプロダクト開発を行っていたため書くきっかけを見失ってしまい、以降ずっと執筆をサボっていた。 当記事は入社後 1 年半の振り返りではなく2020年のオファー受諾時や入社時に何を考えていたかを主に記述する。（が、結果とし…

はじめに 初めまして！イノベーションセンターでノーコードAI開発ツール「Node-AI」のプロダクトオーナーやXAI・因果分析の研究をしております、切通恵介（@kirikei）です。 Node-AIは2021年10月11日にリリースされたNTT Communicationsの内製開発サービスで、その名の通りブラウザ上からノーコードでAIモデルを開発できるサービスで、製造業のお客様を中心に異常検知やプラント運転支援などの様々な領域で活用されています。（ニュースリリースはこちらやこちらやこちら） いつもはサービスの営業的な紹介をすることが多いのですが、今回はEngineer's Blogでの執筆と…

予測モデルを扱う際に、applicability domain (AD) を考慮することは重要です。AD を算出する方法としては k 最近傍法や one-class SVM、アンサンブル法などが代表的です。 決定木と言えば Light GBM や XGBoost、ランダムフォレストなどでお馴染みですが、異常検知手法として用いられる決定木ベースの手法も存在します。 それが isolation forest であり、scikit-learn で扱うことが可能です。 import numpy as np import pandas as pd from sklearn.ensemble import…

この年末は、ブログ記事をしたためながら、大阪の新オフィスで受領したM1 MacBook Proをセットアップしながら過ごしている。京都では寒波が厳しく、底冷えするような寒さがあり、天気予報で予報されている気温よりも寒く感じる。大晦日に実家に帰り、年始に祖父の家に顔を出す。 研究 ソフトウェアエンジニアから研究者に転向して3年目が終わろうとしている。2020年は論文の構成スキルが向上したことを実感したし、国内ではあるけど、いくつかの賞を受賞した。その一方で、2021年は1年目で立ち上げた研究を完成度を高めるフェーズになった。顕著な出来事はないが、地道な積み重ねをやっている堅実な年だったように思う…

こんばんは！ 2021年は毎月ブログを書こう書こうと思っていたのですが、気がつけば今年も最終日になってしまいました。来年はもっと更新できるように頑張りたいです笑 今年は大きく三つのことができた年でした！ 🔷一つ目は研究。 就職前最後の研究ができる期間なので後悔しないように研究に打ち込みました。前半は研究のやり方自体を勉強し直すために修士一年生に混じって研究とは？から徹底的に叩き込み、後半は分析がうまくいかずに苦しみましたがどうにか年内にほぼ書き上げることができてよかったです。あとはジャーナルに通せるように最後の一踏ん張りします！ シンガポール大での論文も査読ありの国際ジャーナル（IF:5程度で…

はじめに 12/28(火)に仕事納めしました。 あとは、だらだらとLT資料作ったり、プログラム作ったり、とあるスタートアップのお手伝いしたり、Axross寄稿原稿書いたりするだけの予定なので、 2021年の振り返りをしたいと思います。 思ったより作りたいものあるな、、、😇 GitHub、Kindle、Twitterはそれぞれ別投稿でまとめてます👀 kazuhito00.hatenablog.com kazuhito00.hatenablog.com kazuhito00.hatenablog.com 目標達成状況 半分くらいは「コロナが収まったらやりたいなー」と思ってたやつですが、、、 勉強会…

以前も同様のタイトルの記事を書きましたが、年末の休みの際に改めて色々考えたので、アップデート版を書こうと思います。 40代以降の生き方 自分自身40代になって、この先10年、20年、ひょっとすると定年が延長されて30年先以降、どうしていくかを最近悩んでいます。 以前参加したオンラインセミナーで、ある登壇者の方は「10年以上も先のキャリアのことを考えてもその時世の中どうなっているかわからないし、せいぜい考えるとしても3年後や5年後にどうなっていたいかでしょう」とおっしゃっていました。 この意見は確かにその通りだと思います。 先のことはわからない、今のコロナ禍のような状況が起こるなんて誰もわからな…

はじめに 本記事は統計検定準1級の時系列解析分野の一歩目を高校数学レベルから丁寧に解説してみようという趣旨です。対象は統計検定2級を取ったくらいの方から準1級の入り口で悩んでる方くらいが主な想定です。 さて、前回は、時系列分野の基本的な統計量について勉強しました。今回は趣向を変えて統計モデリングって何？ってところから時系列分野における主要な統計モデルについて触れていきます。前回までの記事はこちらです。 syleir.hatenablog.com syleir.hatenablog.com 目次 はじめに 目次 1. 時系列データの統計モデリング 1.1 そもそも統計モデリングってなんだっけ？ …

(BlackSky (@BlackSky_Inc) | Twitter)ブラックスカイは，地理空間インテリジェンス・画像・データ分析のリーディングカンパニーです． グローバルモニタリングサービスでは，衛星・センサーネットワーク・人工知能などを活用することで生活パターンの異常検知が可能です．例えば，羽田空港の利用状況検出へのアプリケーションが紹介されています．この例では，頻繁に利用される駐車場と，ほとんど利用されない駐車場を検知しています． TradingView提供のBKSYチャート new TradingView.widget( { "autosize": true, "symbol": "…

映像解析AIを活用し、事故や事件の拡大を防止 施設向けAI警備システム「アジラ」を提供する当社は、阪急阪神不動産株式会社（本社：大阪市北区、代表取締役：諸冨隆一（※1））が運営する大型ショッピングセンター「阪急西宮ガーデンズ」（所在：兵庫県西宮市）において昨年より複数台のカメラで性能試験を進めてまいりましたが、この度、将来の導入を視野に、カメラ台数を増やし、実際の運用を想定した実証段階へ進めることとなりました。 ■背景社会インフラや大型商業施設、オフィスビルなどでは、近年防犯対策として多数のカメラが設置されています。人々の安全・安心に対する意識が高まる一方で、増大するカメラ映像に対して映像を監…