Monitoring

積読記事を紹介していたら「Azure Monitor Edge pipeline」なる仕組みを見つけました。 techcommunity.microsoft.com Azure Monitor へ取り込む際の ETL 的な処理を行うことができる仕組みで、Edge pipeline はエッジロケーション側でその ETL 処理のパイプラインを動作させることができる、というものです。 注意点は、上図の通り「Azure Arc-enabled Kubernetes」が必要ということで、最低でも AKS が動作するサーバ (VM) は必要になる点ですね。 エッジロケーションに大量のサーバがある場合は、エ…

はじめに enechainのデータプラットフォームデスクでエンジニアをしているakizhouです。 我々データプラットフォームデスクは業務の一部として、enechainが提供するeCompassと呼ばれる「エネルギー関連データ提供SaaS」で使用されるデータ収集および集計を行うデータパイプラインを開発運用しています。 以前の記事でも触れたように、このデータパイプラインは複数の課題を抱えており、現在はアーキテクチャから根本的再設計と移行を進めています。 今回は実際に決定したアーキテクチャとそれが解決する課題に関して、まだ移行途中ではありますが実行の基盤部分について紹介します。 そもそも何を移行し…

顔の濃さが唯一のアイデンティティのインフラエンジニア、m_yamaです。15カ月ぶり2度目の登場です。 去年、ラクスで先行技術検証を行っている「技術推進プロジェクト」で取り組んだ「スケーラブルな監視システム」について、1年たっぷり寝かせた熟成リリースとなります。お目汚し失礼いたします。 VictoriaMetricsとは？ VictoriaMetricsのメリット・デメリット VictoriaMetricsのメリット VictoriaMetricsのデメリット VictoriaMetricsの導入方法 1. VictoriaMetricsの構築 2. 監視対象にexporterをインストール …

こんにちは、基盤チームでエンジニアをやっている桑原です。 エムスリー Advent Calendar 2022 の22日目の記事です。 今日はモニタリング環境を整えた結果エラー解決できたケースをご紹介します。 概要 前提環境 データベースの分離プロジェクト サービスのモニタリング環境 問題発生 DBコネクションとAPIリクエスト数の調査 特定のインスタンスの調査 モニタリング環境整備 taskId単位のモニタリング方法 再発から原因究明 みんなで原因調査していたときの会話 結果 まとめと今後 We are Hiring

Monitoring. モニタリング

ENECHANGE の CTO 室でインフラエンジニアを務めている岩本です。 今回の記事では、Provisioned Concurrency（プロビジョニングされた同時実行数）を設定した AWS Lambda 関数について、実行時間をどのように監視すべきか考えてみます。 Duration メトリクスを監視すればよいのでは、と思われる方もいらっしゃるかもしれませんが、本当にそれでよいのでしょうか。見ていきましょう。

はじめに：外形監視してますか？ こんにちは、mkurokiです 突然ですが、WebサイトやWebサービスの外形監視、してますか？ （参考：外形監視とは） www.manageengine.jp サービスが動いている環境の外側から包括的な監視ができるという点や、サービスが動いているクラウド側での大規模障害の際の検知など、外形監視を入れておくとなにかと便利なこともありますよね。 今回は、Grafana の SaaS である Grafana Cloud の Freeプランを活用して、無料で外形監視ができるよという話を聞いたので、個人サイトに導入してお手軽に試してみました。 ちなみに、Freeプランで…