anomaly detection

こんにちは、AnyTechの木村と申します。 AnyTechにて、機械学習エンジニアやAIエンジニアといった役割にて、R&Dに日々従事しております。 この記事は、昨今流行しているImageNetモデルを応用した異常検知手法について、リサーチをする機会がありましたので、小職の備忘も兼ねまして、その解説をさせて頂くものです。 目次 目次 シリーズ はじめに 先ずはザックリ、アルゴリズム概要 次にじっくり、アルゴリズム詳細 おわりに シリーズ 第1回：導入と転移学習 第2回：DN2（Deep Nearest Neighbor Anomaly Detection） 第3回：SPADE（Sub-Imag…

こんにちは、AnyTechの木村と申します。 AnyTechにて、機械学習エンジニアやAIエンジニアといった役割にて、R&Dに日々従事しております。 この記事は、昨今流行しているImageNetモデルを応用した異常検知手法について、リサーチをする機会がありましたので、小職の備忘も兼ねまして、その解説をさせて頂くものです。 目次 目次 シリーズ はじめに 先ずはザックリ、アルゴリズム概要 次にじっくり、アルゴリズム詳細 おわりに シリーズ 第1回：導入と転移学習 第2回：DN2（Deep Nearest Neighbor Anomaly Detection） 第3回：SPADE（Sub-Imag…

こんにちは、AnyTechの木村と申します。 AnyTechにて、機械学習エンジニアやAIエンジニアといった役割にて、R&Dに日々従事しております。 この記事は、近年流行しているImageNetモデルを応用した異常検知手法について、リサーチをする機会がありましたので、小職の備忘も兼ねまして、その解説をさせて頂くものです。 目次 目次 シリーズ はじめに 先ずはザックリ、アルゴリズム概要 次にじっくり、アルゴリズム詳細 おわりに シリーズ 第1回：導入と転移学習 第2回：DN2（Deep Nearest Neighbor Anomaly Detection） 第3回：SPADE（Sub-Imag…

こんにちは、AnyTechの木村と申します。 AnyTechにて、機械学習エンジニアやAIエンジニアといった役割にて、R&Dに日々従事しております。 この記事は、近年流行しているImageNetモデルを応用した異常検知手法について、リサーチをする機会がありましたので、小職の備忘も兼ねまして、その解説をさせて頂くものです。 目次 目次 シリーズ はじめに 先ずはザックリ、アルゴリズム概要 次にじっくり、アルゴリズム詳細 おわりに シリーズ 第1回：導入と転移学習 第2回：DN2（Deep Nearest Neighbor Anomaly Detection） ◀ 今回ここ 第3回：SPADE（S…

テーブルデータの異常検知モデルとしてdeviation networkというのがある。 paper: https://arxiv.org/abs/1911.08623 repo: https://github.com/GuansongPang/deviation-network それまでの精度が高めなdeep learningを活用した異常検知モデルは2ステップによるアプローチが多く、以下のような2段構成になっていた。 入力データから教師なし学習によって特徴量を抽出 抽出された特徴量から異常度合いを表すスコアを算出 異常スコアを計算とそのための特徴抽出を別々に行うために異常を検出するための適切…

こんにちは，株式会社Ridge-iの竹本です．本記事では画像を用いた教師なし異常検知タスクとその手法を紹介します． TL;DR 教師なし異常検知タスクとは データセット 手法の紹介 Deep Nearest Neighbor Anomaly Detection SPADE: Semantic Pyramid Anomaly Detection PaDiM: a Patch Distribution Modeling Framework for Anomaly Detection and Localization PatchCore: Towards Total Recall in Indust…

こんにちは。ソーシャル経済メディア NewsPicksのSREチームで仕事をしている安藤です。 NewsPicks Advent Calendar 2023 の1日目ということで、日常の業務風景から軽いコスト最適化TIPSをご紹介します。 qiita.com AWSコストを最適化したいよぉ〜 NewsPicksはおかげさまでサービス10周年を迎え、ユーザー数も事業も伸びておりますが、 事業の成長やエンジニア組織の拡大に比例してAWSコストが増え、円安でさらに日本円での負担が増え、となると事業の利益率にも少なからず影響がでます。 私が所属するSREチームでは、「売上に対するAWSコストの割合は、…

231104教師なし・教師あり学習 1. 教師あり学習（Supervised Learning）: 教師あり学習は、機械学習の一種で、ラベル付きデータを使用してモデルを訓練する手法です。ラベル付きデータとは、入力データに対する正しい出力（またはターゲット）が既知のデータのことです。モデルは、これらのデータを使用して、新しい入力データに対して予測を行います。典型的な例は、画像認識やテキスト分類です。モデルは、正しい答えにできるだけ近づけるように訓練されます。 2. 教師なし学習（Unsupervised Learning）: 教師なし学習は、ラベルなしデータを使用してパターンを発見するための機械…

イノベーションセンターの三島と深川です。 普段の業務では、Segment Routing を始めとする経路制御技術や、IPFIX や Streaming Telemetry などの監視技術の検証・運用、高速ソフトウェアルーター「Kamuee」の開発をしています。 今回、我々は 2023/07/22-28 に行われた、IETF 117 に参加しました。 この記事では、IETF 117 の参加を通じて得た経験や現地の様子、各 WG の動向などをご紹介します。 IETF (Internet Engineering Task Force) とは IETF は、インターネット技術の標準化を推進する団体で…

はじめに Cloud Operator Days Tokyo 2023（以下、CODT2023）に、登壇とクロージングイベントへ現地参加してきました。 いくつかのセッションと現地参加の感想を記載しています。 Cloud Operator Days Tokyo - Cloud Operator Days Tokyo 2023 はじめに セッション動画の資料感想 内製開発のすゝめ〜NTT 東日本が取り組んだクラウド内製化開発の歩みと、社外展開の壁、持続可能な開発体制〜 全面的に動的閾値監視(Anomaly Detection)を採用して分かったメリットデメリットについて 業界初Generative…

最近Mackerelの通知チャンネルをいろいろ見ることがあったのだけど、SlackやTeamsといった対応済みのもの以外への通知はWebhookを使う、というのが基本スタンスとなっている。 MackerelのWebhook通知として提供されるのは、サンプル（Mackerelの「テスト」で送出されるもの）、アラート通知、アラートグループ通知、ホストステータス変更、ホスト登録、ホスト退役、監視ルールの操作（追加・変更・削除）。 困ったことに、ドキュメントのWebhookにアラートを通知するでは「通知されるJSONは以下のような内容を含んでいます。」というかなり曖昧なものしかなく、アラート通知のこと…

本書の概要 第一印象 コスト最適化戦略の全体像について コスト削減のための具体的なアプローチ コストの予測そしてFinOpsへ まとめ こんにちは、クラウドセキュリティアーキテクトの大島悠司です。 夏の自身への課題図書として「AWSコスト最適化ガイドブック」という書籍を読みました。 AWSのコストについてお悩みの方も多いと思いますので、概要をお伝えするために私の感想を書かせていただきます。 本書の概要 現役でご活躍されているAWSの中の人たちによって執筆された書籍です。 AWSに関する利用費用の削減から体制整備・運用プロセスの構築を1冊にまとめた内容です。 構成は以下の通りです。 第１章 AW…

マネージドサービス部 佐竹です。 2023年7月末に発表された AWS における Public IPv4 アドレスの有料化が話題ですが、事前にこの利用料金への影響度合いを調査する方法についてお知らせします。 はじめに AWS 公式ブログ 新着情報 – パブリック IPv4 アドレスの利用に対する新しい料金体系を発表 / Amazon VPC IP Address Manager が Public IP Insights の提供を開始 AWS におけるパブリック IPv4 アドレスの使用状況の特定と最適化 影響の確認方法について 利用料金への影響を確認する AWS 利用料確認ページから明細を確認…

読んだ論文の備忘録です。毎週月曜日に更新される予定ですが、そうでない場合もあります。

はじめに こんにちは、インフラチームの植松です。 エムオーテックスで開発、運用しているLANSCOPE エンドポイントマネージャー クラウド版はAWS(Amazon Web Services)上で構築しているサービスです。 サービスの機能やユーザー数の拡大に伴い、AWSコストも数十万ドル単位と非常に大きくなっています。 そのようなAWSコストをモニタリングし、 ・不必要なAWSコスト(コスト異常)が発生していないか？ ・非効率なサービスの使い方をしていて、コストの無駄が発生していないか？ を把握し、「妥当なAWSコストの使用状況だ」という状態を維持することが重要だと考えています。 今回は、イン…

こんにちは！バクラク事業部 Platform Engineering 部 DevOps チームの多田(@tada_infra)です。7月はLayerX エンジニアブログを活発にする期間でして、ぜひ左記のリンクを辿って気になる記事を見ていただけるとありがたいです！先週の金曜日は Natsuo さんのLayerX のエンジニアインターンって実際どうなん？に答えていくでした。この記事では DevOps チームで行った AWS コスト管理の課題にまつわるお話になります。 AWS コストに関して持っていた課題感 1. サービスのコスト高騰の検知が遅いこと 2. コストの可視化ができていなかったこと 課題…

請求明細書を見てお嘆きの皆様へ。 前回の記事では、すぐにコスト削減の成果を出したい人向けに比較的簡単な方法を解説しました。 この記事では、時間がかかっても良いので根本的に原価をなんとかしたい人を対象としています。 請求明細書(Billing)やCost Explorerの参照権限を広く付ける 開発者がコストを意識するところから、すべては始まります。 意識しようにも、そもそもいくらかかっているかわからないことがあります。見ようとしても現場レベルで直接参照する権限がないことがあります。情報対称性の意味でも、初期設定で権限を付与しておきましょう。デフォルトAllow、やむを得ない事情があればDeny…

こんにちは。crowdworks.jp SREチームの田中（kangaechu）です。先日RubyKaigi2023に参加するため、松本に行きました。街を歩いていると目線の先に山が見えたり、温泉が近くにあったりなど松本の自然が近くにある感じがとてもよかったです。ちょっと住みたくなって不動産屋さんで家賃を眺めたりしておりました。 今回は小ネタとして、AWSのCloudWatchの料金が高くなったことで見つけたCloudTrailの設定についてです。