CloudWatch

概要 SQSのメッセージ数を監視する際にApproximateNumberOfMessagesVisibleというメトリクスを使用していたのですが、SQSにメッセージをプッシュしたにも拘らず値が増えないケースがあったため調査してみました。

AWS CLI v2で、CloudWatch Logs の以下操作をするコマンドを記載しています。 ロググループの作成とタグ設定 ログ保持期間の設定 後からタグだけを追加する ロググループの削除 大量のロググループを一気に作成する時のコマンド例 目次 目次 検証環境 注意事項 1. CloudWatch Logs ロググループ 1.1. ロググループの作成とタグ設定 1.2. ログ保持期間の設定 1.3. 設定の確認 1.4. 後からタグだけを追加する 1.5. ロググループの削除 2. 大量のロググループを一気に作成する時のコマンド例 検証環境 検証日: 2022/04/18 PC環境: W…

AWS CloudWatch について理解を深めようと思い調べたことをまとめてみました。 CloudWatch とは CloudWatch は、AWS で提供されているモニタリングサービスを指します。 アプリケーションの監視(環境内における異常動作の検知、アラームの設定)や、リソース使用率の最適化などに利用するデータの収集などに期待されている機能のようです。 費用について CloudWatch には無料枠と有料枠の２種類があります。 無料枠 ほとんどの AWSのサービスは、無料で自動的にメトリクスを CloudWatch に送信します。何かしらデータを収集して、そのデータに対して計算や分析を加…

CloudWatchの複合アラームで、ELB（ALB）の5XXエラーの監視（検知・通知）を、「うまい感じ（重複しないように）」にやろうとしたら、うまくいきませんでした。 ついでなので、複合アラームの作り方なども記載してみました。

概要 Route53にはDNSクエリログというのがあり、それをCloudWatch Logsに保存する仕組みをCloudFormationで作成するのは実は大変でした。 それが少し簡単になったため、今回CloudFormationで作成する方法を書いてみました。

概要 RDSイベントやECSイベント、最初からCloudWatch Logsに流してくれると楽なんだけどなあと思いつつ、そのままではCloudWatch Logsに流れてくれません。 そのための仕組みをCloudFormationで作成する方法を書いてみました。

概要 タイトルの通りなのですが、ついにCloudWatch LogsのリソースポリシーがCloudFormationで公式に作成できるようになりました・・・！(数ヶ月前)

Fluent Bit では以下のようにHTTP_Serverを有効にすることで内部のメトリックをHTTP経由で /api/v1/metrics というパスからJSON形式で取得できるようになります。*1 [SERVICE] HTTP_Server On HTTP_Listen 127.0.0.1 HTTP_PORT 2020 これで各プラグインで今までに処理したレコード数やバイト数が取得できるわけですが、実はこのJSONはmackerel-plugin-jsonでそのまま扱える形式になっています。 下はoutputのcloudwatch_logsプラグインに対してのメトリックを送信する例です。…

はじめに こんにちは！ 株式会社ＢＦＴ名古屋支店・インフラ女子（？）のやまぐちです。 みなさん、社内でＡＷＳの環境を運営していますか？ 誰が作ったかわからないリソース・いわゆる野良リソースに困った経験はないでしょうか。 インフラがなくてもちゃちゃっと簡単にできちゃうのがクラウドのメリット。 しかしその反面消してもいいのか判断がつかない野良リソースが乱立し、運用期間が長くなるほど使いづらくなってしまいます。 というわけで、この状況を解消すべく以前から考えていた「特定タグがなかったら通知」という機能を入れることにしました。 ちなみに費用想定は月額１０００円程度です。 特定タグがなければメール通知す…

本記事ではAmazon CloudWatch アラームのアクションを一時的に無効化する方法をご紹介します。 マネージメントコンソールでは無効化出来ない API または AWS CLI で実施可能です 有効化の方法 参考 マネージメントコンソールでは無効化出来ない 2022-05-16 現在、マネージメントコンソールではアクションを無効化することはできません。 できそうで、できない API または AWS CLI で実施可能です DisableAlarmActions API アクション、または AWS CLI の disable-alarm-actions コマンドを使用します。 AWS CL…

■ はじめに Amazon EMR の 自動スケーリングについて、不勉強なので 調べてまとめた 目次 【０】EMRの スケーリング方法 １）使用上の注意 ２）比較 ３）使い分け 【１】EMR-managed scaling １）使用上の注意 【２】Custom automatic scaling policy １）使用上の注意 ２）使用するメトリクス ３）設定手順 【３】自動スケーリングポリシーのイベント １）PENDING（待ち状態） ２）ATTACHED（スケーリングしている） ３）DETACHED（スケーリング解除） ４）FAILED（失敗） 【４】GUIでの確認について １）設定の確認…

●要件 ・LINEで気温に応じた適切な服装を通知。 ・朝7:30にLINE通知を飛ばす。 ●技術選定 LINE Messaging API + EventBridge + Lambda(Python 3.9) Lambdaのスケジュール実行はCloudWatch Eventsでやると思ったが、AWSがEventBridgeを推奨しているため選択 ※イベントを管理するには、Amazon EventBridge が好ましい方法です。 CloudWatch Events と EventBridge は同じ基盤となるサービスと API ですが、 EventBridge はより多くの機能を提供します。 …

CloudWatch Logsのログ自体は、保持期間を指定できるのでデータは消えてくれるけど、データの入れ物であるlogstreamだけは空のものが延々と残り続けるので削除する。 コード こういう時はさくっとできるserverless frameworkで。 service: lambda-delete-empty-logstream frameworkVersion: '3' provider: name: aws runtime: nodejs14.x stage: dev region: ap-northeast-1 iam: role: statements: - Effect: "A…

最近 Envoy の拡張手段の１つである Wasm filter に興味をもったので Proxy-Wasm の spec 読んだり、関連ドキュメントを読んでました。ただ折角やるなら学ぶだけでなく学んだことの確認もかねて何か作りたいなと思って1つ Wasm module を作成したので、この記事ではそれを紹介します。また作成した Wasm module を Istio 上で動かすところも書くのですが、それは次回書きます。 ※ もし内容が間違っていたら @hatappi で教えていただけると嬉しいです！ 作ったもの 何かを作ると決めたもののあまり良いネタが思いつかず悩んだ末に今回はリクエスト・レス…

この記事では、監視などの分野で出てくる StatsD についてまとめておく。 StatsD とは、様々なメトリクス(数値データ)を送信するためのプロトコルとサーバアプリケーションのことを指す。言い換えると、障害やパフォーマンスの監視などを目的として、マシンの様々なメトリクス(CPU 使用率、メモリ使用率など)を集めるためのものである。基本的な構成としては以下のようになる。 クライアント | (随時データ送信) | v サーバ (StatsD など) | (蓄積し、定期的にデータ送信*) | v モニタリング用のサーバ (グラフなどを表示する) *定期的にデータを送信したり、データをクリアするこ…

AWS認定資格の内、「AWS認定 データベース - 専門知識」に無事合格しました！実は取得したのは数か月前になるのですが、ブログにまとめるタイミングを逸してしまっていました。勉強していた当時を振り返りながら、私の勉強法と学んだことを書き出していきます。システムを構築・運用するなら必ず使用するデータベースに関する資格です。実務に活かせる知識も多いと思うので是非ご参照ください。

ツイート 西田和史(k.bigwheel) 開発基盤EM @ Speee ⌨️🖊️ @k_bigwheel ロリータファッションで東京から浜松まで歩いた4日間｜きょ #note #振り返りnote https://note.com/welcometojungle/n/naf108cbfc2bf 10:45 西田和史(k.bigwheel) 開発基盤EM @ Speee ⌨️🖊️ @k_bigwheel cloudwatch-fluentd、incubatorリポジトリの廃止に従い参照もできなくなっている・・・。 09:18 西田和史(k.bigwheel) 開発基盤EM @ Speee ⌨️🖊…

こんにちは、ロジカル・アーツ株式会社の高橋です。 AWSでサーバレスなシステムを構築する上で、Amazon API Gatewayを介した通信はよくある手法です。 ただし、そのままAPI GatewayをデプロイしてしまうとAPIは全世界に向けて公開されることとなります。 社内限定で扱うような業務用アプリケーションの場合「特定のIPアドレスからのみ通信を許可したい」ということはよくあることだと思います。 今回はAWS Chaliceで作成したAPI Gatewayに対して「API Gatewayで特定のIPアドレスからのみ通信を許可する」という設定を行おうと思います。 AWS Chaliceに…

0. 簡単なまとめ 1. やりたいこと 2. 実現方法 3. 仕様と実装 4. 使い方 5. 参考 0. 簡単なまとめ 図書館に自分が読みたい新刊が入荷された時に通知するシステムをAWSに実装。 コードは下記のリンク参照。AWSのCDKを使ったのでコードを動かすだけで簡単に同じ環境を準備できるはず。 github.com 1. やりたいこと 図書館に自分が読みたい新刊が入荷されたことをいち早く知り予約することで、待たずに新刊を読めるようになりたい。 定期的に自動で入荷状況を調べる必要がある。金を使わないために図書館を使っているので、当然このシステムを稼働させるのに金を使いたくない。 2. 実現…