DataDog

はじめに 私のチームではマイクロサービスの監視にDatadogを使っています。先日、ある機能をiOSユーザー向けにリリースしたことでサービスへの負荷が増加し、レイテンシーよくスパイクするようになりました。その結果、モニタリングの結果をポストするチャンネルがノイジーなアラートで溢れかえっています 😢。スパイクの原因はDB周り、ポッドのリソース調整などがあります。しかし、今は年末年始休業ということで大きな変更を伴うリリースができません。そのため、その場しのぎとして、Datadogモニターの設定を変更してノイジーな値を減らそうというわけです。 普段からDatadogを業務で触っていますが、細かい設定…

どこでもかんたんVR「スペースリー」のインフラを担当しています佐藤です. スペースリーではメインのRailsアプリのアプリケーションログをdatadogで管理していますが， 新たにAWS ECS Fargate上でアプリを実行・運用するときでも， アプリケーションログはdatadogに集約して監視・運用したいという要件があります． これを実現する方法として AWS Firelensを導入したのでその詳細についてまとめました. 1. 前提 Firelens とは Firelens はAWSが提供するログ転送エージェントです． 従来AWSにおけるログ転送手段としては，AWS CloudWatch …

一般的なDBのテーブルのことをMongoDBではコレクションと呼びます。 下のグラフはコレクションごとのキャッシュメモリの利用状況（１週間分）です。毎日同じ時間に特定のコレクションのメモリ使用率が増えていることがわかります。キャッシュメモリの上限は一定なので、どこかで使う量が増えればほかのコレクションが使える量が減ります。

CoffeeScript で書かれた hubot が ECS + Fargate 上で稼働中なのですが、これに Datadog の監視を入れてみます ChatWork 経由で hubot に命令しているのですが、ChatWork のメンテナンス等があるとメンテナンス後も hubot がエラーで落ちたままになったことがあったので、hubot を監視して異常があれば、Slack に通知する機能作ります コンテナーのメトリクスを取得 Datadog Agent をインストール まずは、Datadog 管理画面の Integrations から Amazon Fargate をインストール 次はホスト…

morishitaです。 先日、いこーよを Kubernetes に移行した件を紹介しました。 tech.actindi.net いこーよは Web だけで動いているわけではなく、裏で定期的に実行されるバッチ処理も行っています。 本エントリではそのバッチ処理の実行環境を Fargate ECS に移行した件について書きます。 移行前はどうなってた？ いこーよは Rails で開発しています。 バッチ処理というと、DB を集計したり、一斉に DB の値を書き換えたりするものがほとんどです。 そこで ActiveRecord のモデルを利用したいので、バッチ処理も Rails で実装しています。 …

1. Datadog Integration設定 1-1. Datadog Integration設定 Datadogの対象OrgからIntegrationタブを押下する。 AWSのアイコンを選択し、「Add Another Acount」ボタンを押下 以下のように情報を入力する画面が出る（AWS External IDは最初から表示されている。ロール作成時にこのIDを使用するので控えておく。） per namesの部分に使用するAWSサービスを追加する（今回はEC2とCLB） 以下の情報を入力する（AWSロール以外） ・AWS Account ID: AWSのアカウントIDを設定 ・AWS …

Datadogの監視設定として、DatadogAgentを導入したEC2に対して設定を施します。 今回はCentOS6にDDAgent7をインストールした状態で、プロセス監視設定を実装する手順を以下に記載しました。 作業手順 1. プロセス監視用の設定ファイルを作成 対象の設定ファイルの場所に移動し、サンプルファイルをコピー [root@ ~]# cd /etc/datadog-agent/conf.d/process.d [root@ process.d]# ls -la 合計 16 drwxr-xr-x 2 dd-agent dd-agent 4096 4月 23 12:10 2020 .…

元々、前任者が5系のAgentだけ入れておざなりになっていたEC2に対して7系にバージョンアップして、新しく監視項目を作り直すということをやりました。 備忘録として一連の手順を記載します。 前提 ▼OSバージョン [root@ conf.d]# cat /etc/redhat-release Red Hat Enterprise Linux Server release 6.8 (Santiago) ▼Datadog情報 [root@ dd-agent]# /etc/init.d/datadog-agent info =================== Collector (v 5.9.1…

gihyo.jp 1月号を読み終わって10日くらいでしょうか。2月号を読み終わったので今の自分にとって特に面白かった内容について感想を書きます。 感想 「何からやるか，どこからやるか」がわかるシステム監視の始め方・続け方 監視に興味はありつつ一歩踏み出せなかった私にとってちょうど良い入門・指南の特集でした。 興味があったのは、モニタリングって「正常に稼働しているか」というチェックだけでなく、使われ方（いつも何時頃がピークだねとか）を把握したり、「優先的にここのパフォーマンスをよくしよう」と改善の戦略を立てたりと活用できると思っているからです。 DatadogやCloudWatchのダッシュボー…

「けしからんことを放置してはいけない」と僕の心の登大遊氏に叫ばれた。 logmi.jp

これはなにか 現職の社内でこのテーマで書いたが、そちらは社内プロダクトの情報も混じっているので、同じテーマでブログ向けにいちから書き直してみる。 ちょっと長いが、ウェブサービスを運用するならきちんと抑えておきたい。 課題 SPA + HTTP API（概ねREST APIと言っていい）の構成において、エラーハンドリングを正しく行うのは意外と面倒だ。 しかし、特に運用中のプロダクトにおいては、障害・バグの早期検出、ユーザエクスペリエンス向上の観点から、これをきちんとするのが望ましい。 広告 (adsbygoogle = window.adsbygoogle || []).push({}); 前提…

調査テーマ Ciliumとは？ / 登場背景 / 解決すること Ciliumとは？ 登場背景 Ciliumが解決すること eBPF(extend Berkeley Packet Filter)とは？ XDP(eXpress DataPath)とは？ Ciliumができること/他との違い Nodeを跨ぐ通信の実現(CNI) ロードバランシング 帯域のコントロール マルチクラスタ通信 モニタリングとトラブルシュート Hubbleとは？ Ciliumが使われているケース(あれば) Ciliumのアーキテクチャ 通信について Cilium利用の前提条件 kube-proxyを使わずにCiliumを使う…

作った。 github.com シリーズものです。Prometheus Exporter としては7作目。 経緯 CircleCI の Insight API に想いを馳せている。https://t.co/xYcVo8IO5F CI の時間を分析する場合、うちの場合は差分検知をやってる関係で、差分がない場合 CI が立ち上がるがすぐ halt するみたいなことをやってるせいで正しい統計情報が取得できないため、別 workflow を nightly で全部ぶんまわし、— Takeshi Kondo (@chaspy_) February 7, 2021 その分析結果を Insight API …

セキュリティ 情報セキュリティ文化賞 慶大学部長の土屋氏ら受賞: 日本経済新聞 文化賞を受賞したのは土屋大洋慶大総合政策学部長、塗師敏男横浜市総務局しごと改革室ICT担当部長、丸山満彦PwCコンサルティングパートナー、宮下清日本情報システム・ユーザー協会参与、盛合志帆情報通信研究機構サイバーセキュリティ研究所上席研究員の5人。 COCOA iPhone版のリセット不具合 Xamarinの基礎的欠陥が発見される - Togetter 【やじうまPC Watch】ロシアの大手検索プロバイダ社員、5千人弱の顧客のメールを覗き見 - PC Watch Yandex suffers data breac…

現職ではプロダクト拡充のため、ソフトウェアエンジニアの採用を行っております。 転職をお考えの方、または興味のある方は、@blog_devgru までDMください。 現職のWantedlyのページとかんたんな紹介をお送りします1。 業務分野 国内医療系スタートアップ 雇用形態 正社員 業務委託 会社規模 正社員100人超 資本金 ポジション バックエンドエンジニア フロントエンドエンジニア SRE テクノロジースタック バックエンド Python/Django Python/Serverless Framework/AWS Lambda フロントエンド Angular React 共通: AWS…

作った。 github.com AWS の Prometheus Exporter では4作目、Prometheus Exporter としては6作目。 blog.chaspy.me blog.chaspy.me blog.chaspy.me blog.chaspy.me blog.chaspy.me なぜ作ったか もともとのきっかけは AWS IAM で 2FA が有効になっていないユーザがいて、たまたま気づいたが定期的に検知、通知ができてないことから。 AWS Config と SeucrityHub は有効化していたので、mfa の rule は有効になっていた。 ちょっとまだこの違反時…

定期的にリリースされている https://openlegacy.atlassian.net/wiki/spaces/OJD/pages/1241514411/-+4.6#2021-%E5%B9%B4-2-%E6%9C%88-9-%E6%97%A5-(v4.6.9) よいことで、 とはいえ、ちょっとしたところが、ひともみしたくなります oneOfとか、MQヘッダーとか もみもみ APIは、AWS EKS にデプロイし、ログ、運用はDataDogに連携するなども、いい感じです ノーコード、レスコードも楽しみで API Callerも、おしかどうか、悩ましいです バックエンドが同じでと行くか、バッ…

作った。 github.com これは何か RDS の設定値、max_connections は PostgreSQL、MySQL ともにある。接続数がこの数値を超えるとエラーとなるため、この数値を超えないように監視できることが望ましい。 しかしこの max_connections、RDS の parameter group の value の1つであり、cloudwatch metrc に存在しない。そのため Datadog Integration でも取ることができない。 というわけでそれを取って Prometheus 形式で Export することにした。 なお、現在の接続数 datab…

ソーシャルPLUS の開発チーム でインフラエンジニア をしている id:mayuki123 です。 ソーシャルPLUS のインフラ環境は基本的に Terraform を利用して管理をしています。今回は、Terraform の terraform-provider-datadog で terraform init を実行時の Warning を解消するのに頭を悩ませたので書き残しておきます。 発生していた事象 Datadog Provider を利用している所で terraform init を実行すると、下記のWarning が表示されるようになりました。 Warning: Addition…