CloudWatch

はじめに CloudWatch Logs に出力した Apache アクセスログ情報を、CloudWatch Logs Insight で解析する方法をまとめてみました。 parse コマンドの使い方も簡単に解説しているのでご参照ください! まだ、Apache アクセスログを CloudWatch Logs に出力していないという方は以下をご参照ください 【AmazonLinux2】【amazon-cloudwatch-agent】最速で Apache のアクセスログを CloudWatch Logs にログ出力してみる 記事目安...10分 はじめに Apache アクセスログのログ形式につ…

はじめに Apache のアクセスログを CloudWatch Logs に出力する手順をまとめてみました。 awslogs でなく、amazon-cloudwatch-agent の方です。 記事目安...10分 はじめに 前提条件 セットアップ EC2 インスタンスのセットアップ EC2 インスタンスのデプロイ (Condtional)SG へのインバウンドルール追加 CloudWatch Logs へのログ出力権限の追加 Apache のセットアップ amazon-cloudwatch-agent のセットアップ ログの出力確認 Tips 後片付け まとめ 参考 前提条件 〇実行環境 K…

CloudWatch Logs Insightsは2018年11月に利用可能となったサービスで、Amazon CloudWatch Logsのログデータをインタラクティブに検索して分析できる優れものである。 通常のCloudWatch Logs画面では、単純な検索しかできないが、CloudWatch Logs Insightsでは関数を利用して複雑なクエリを実行することができる。 docs.aws.amazon.com [ロググループが選択しづらい] [CloudWatch LogsからInsightsを開く] [CloudWatch Logs Insightsの注意点] ▼検索対象ロググルー…

こんにちは! SRE を担当している多田です(@tada_infra). CloudWatch Agent は EC2 から CPU,メモリなどのメトリクスをとったり,CloudWatch Logs にログを出力できますし,AWS Compute Optimizer を有効活用するためにも役立てることができます.今回は,procstat プラグインを使って Nginx のプロセス監視できるように CloudWatch メトリクスに送る検証をしました.多くの方が CloudWatch Agent でのプロセス監視設定を記事にされているのですが,自分も試してみたため記事にします. CloudWat…

タダです. CloudWatch Agent は EC2 から CPU,メモリなどのメトリクスをとったり,CloudWatch Logs にログを出力できますし,AWS Compute Optimizer を有効活用するためにも役立てることができます.今回は,procstat プラグインを使って Nginx のプロセス監視できるように CloudWatch メトリクスに送る検証をしました.多くの方が CloudWatch Agent でのプロセス監視設定を記事にされているのですが,自分も試してみたため記事にします. CloudWatch Agent の導入 プロセス数を設定ファイルを編集する …

これはなに？ S3の特定のパス配下にファイルが配置されたことを検知して、Amazon EventBridge(CloudwatchEvents)を実行するための設定方法。 Amazon EventBridgeからLambdaやCodePipelineを呼べるので、様々の処理のトリガーとして使えます。 Amazon EventBridgeの一般的な設定方法は割愛するので以下参照。 Amazon S3 ソースの CloudWatch イベント ルールを作成する (コンソール) - AWS CodePipeline

こんにちは。 以前カスタムメトリクスを使ってLinuxのプロセス監視を行うブログを書いたのですが、今回Windowsで同様のことをやってみたいと思います。

アクティビティ (今までの走行 (歩行) 距離) ジョギング 読書 レアジョブ 夕飯 父とリモート飲み会 CloudWatch Logs Insights アクティビティ (今までの走行 (歩行) 距離) Fitibit Charge2 のアクティビティから走行 (歩行) 距離を Fitbit Web API で取得して Pixela で草生やしている。色が濃くなれば濃くなる程強度が高い (歩行、走行距離が長い) ということで。実装の詳細はこちら。 ジョギング yamap.com いつもの補強。昨日はランオフでエアロバイクだけだったので、思ったよりも体は動いたかも。 読書 今日も本を読む時間が…

問題6 ある会社が、Amazon EC2インスタンスのサーバーをホストすることを決定しました。このサーバーの主な要件は、大容量のログを処理することです。 次のAmazon EBSボリュームタイプのどれがこの実装に適したものとなりますか？ Amazon EBSのプロビジョンド IOPS(io1) Amazon EBS Cold HDD ボリューム(sc1) Amazon EBS 汎用 SSD(gp2) Amazon EBS スループット最適化 HDD ボリューム(st1) A 4.Amazon EBS スループット最適化 HDD ボリューム(st1) 問題7 Amazon EC2インスタンスの自…

こんにちは、技術5課の長崎です。 Amazon Elasticsearch Service(以下、ES)で、WEBサイト内の各リンクに対してどれくらいアクセス数があるのかを分析して、最終的にkibanaで可視化したいなーと思ったのでやってみます。 ESとは AWSのマネージドサービスとして、オープンソースソフトウェアであるElasticsearchを利用する事ができます。 Elasticsearchは、投入されたデータの分析及びkibanaを使った可視化を実現できます。 構成 前提 WEBサーバ用のEC2インスタンスへCloudWatch Agentをインストールし、CloudWatch lo…

問題1 以下のAWSサービスの内、疎結合アーキテクチャの実装が容易なものはどれですか？(2つ選択してください) AWS CloudFormation Amazon Simple Queue Service AWS CloudTrail Elastic Load Balancing Amazon EMR A 2.Amazon Simple Queue Service 問題2 提供するウェブサービスのパフォーマンスSLAでは、リクエストの90％について5秒未満で対応することが規定されています。通常のオペレーションでも高負荷なオペレーションでも、リクエストを4つのインスタンスに分散することでパフォー…

gihyo.jp 1月号を読み終わって10日くらいでしょうか。2月号を読み終わったので今の自分にとって特に面白かった内容について感想を書きます。 感想 「何からやるか，どこからやるか」がわかるシステム監視の始め方・続け方 監視に興味はありつつ一歩踏み出せなかった私にとってちょうど良い入門・指南の特集でした。 興味があったのは、モニタリングって「正常に稼働しているか」というチェックだけでなく、使われ方（いつも何時頃がピークだねとか）を把握したり、「優先的にここのパフォーマンスをよくしよう」と改善の戦略を立てたりと活用できると思っているからです。 DatadogやCloudWatchのダッシュボー…

ポリシーがよくわからないのでちょっと勉強します。 IAMのポリシーを作成する IAMのロールを作成する Lambda関数を作る API Gatewayを作成する HTTP APIで作成する ポリシーがよくわからないのでちょっと勉強します。 Amazon RDS アイデンティティベースのポリシーの例 StopDBInstance IAM JSON ポリシーの要素: Sid IAM JSON ポリシーエレメントのリファレンス 板橋区赤塚の岩乃湯 IAMのポリシーを作成する AWSマネジメントコンソールにある[IAM] > サイドメニューの[ポリシー] [ポリシーの作成]ボタンで作成画面を開きます。…

Day1対応 AWS登録後に対応すること MFAの有効化 rootユーザーのMFA パスワードポリシーの変更 管理者用のIAMユーザー作成 アクセスレポート IAMユーザーのアクセス情報を解析する AdministratorAccessポリシーを付与した管理者IAMユーザーを作成 AdministratorAccessポリシーを持つグループを作成 ユーザーに権限がなくても、グループに所属していれば権限を持つ ユーザー => 認証情報 => コンソールサインインリンク（各IAMユーザーごとのサインインページURL） タグ ユーザーの部署・部門など、分類分けをしたいときに使用する AWS Clou…

「CloudWatch Logs ロググループを tail -f する5つの方法」というタイトルで企業ブログに投稿しました ✍ blog.mmmcorp.co.jp 以下のソフトウェアについて比較しています。 AWS CLI V2 awslogs cw utern AWS Toolkit for JetBrains よろしければ、ご欄になってください！ 🙋‍♂️

はじめに fluentd(EC2→CloudWatchLogs) + Kinesis Data Firehose(EC2→CloudWatchLogs → S3) でログの収集 logrotateでログのローテ・改廃（EC2） fluentdでログの収集 fluentdの仕組み 1つのメッセージは、[tag, time, record]で構成される 流れ Inputプラグイン: 各種データソースからのログにタグを付けて収集する Filterプラグイン: フィルタ（データの加工）を行う Outputプラグイン: 各種データ保存先へ出力する ディレクトリ構成 /etc/td-agent/td-ag…

ツイート Ken Ide @k1dee 金曜夜に #AWS障害 とか素敵やん。 04:38 Ken Ide @k1dee 「冷却システムへの電力供給が正しく行われず」って10年前のオマージュかな。/ AWS障害、5時間でほぼ復旧 気象庁Webサイトなどに影響か https://www.itmedia.co.jp/news/articles/2102/20/news021.html 11:16 Ken Ide @k1dee #DevelopersIO CloudWatchでクロスアカウント、クロスリージョンダッシュボードを作れるようになったのでやってみた https://dev.classmet…

前にも似たようなこと書いたなと思ったけどもう一年半も前のことになるのか t-cyrill.hatenablog.jp ご存知の通り昨日 2021/02/19 23:20頃 AWSにて東京リージョンの一つ apne-az1 にて大規模な障害が発生。多くのAWSを利用していたサービスで影響があった。 そんな私はいつものように アラストリリィ アサルトリリィ ラストバレット というゲームを呑気にプレイしていたのだけど、23:25 から緊急メンテに入ってしまった。 どうしたんだろうと思っていたら、社内SlackにてAWSを利用しているサービスがたまに応答しなくなる、Elasticacheが切り替わった…