DataDog

こんにちは。弁護士ドットコム クラウドサイン事業本部 Product Engineering 部の須山と申します。CloudSign はサービスを開始してから約 7 年が経過しています。その間数多くの機能追加・拡張を続けている中で技術的な負債を残していくことは、どの企業でもよくある話ではないでしょうか。そんな中 CloudSign では技術的負債を解消することを主な目的としたチームを 2 年程前から結成して、日々改善活動を進めています（それ以外にも、新機能の技術検証や基盤開発も担当しています） 今回はチーム発足時から活動しているモノリシックアプリケーションの分割に関してやってきたことをまとめま…

こんにちは、かたいなかです。 みなさんが関わっているシステムでなぜか遅くて悩まされている処理はないでしょうか？ 最近、遅いAPIをDatadog Continuous Profilerを使用して調べました。どのように問題解決までつなげたかを記事にまとめます。 www.datadoghq.com TL;DR 特定のAPIが遅い問題が発覚 Continous Profiler導入 Continuous Profilerで計測してみると・・・ 問題修正 実際のところ まとめ 参考 TL;DR 遅い処理を改善しようと思ったらまずは計測してみること。 計測することで実は単純な問題であったことに気付けるケ…

はじめに JCB デジタルソリューション開発部 SRE チームの小柳津です。 本記事では Selenide を使った画面の自動テストのご紹介と、 JCB Digital Enablement Platform (JDEP) でシステム監視に使用している Datadog に Synthetics tests としてブラウザテストの機能が提供されているため、同じテストを作成し比較してみます。 UI テストで何をしたいか 本記事では Web ページ上の検索ボックスに指定の文字列を入力させ、ページの遷移後に正しく検索結果が表示されていることをテストします。 下図のように表示されることを期待します。 対…

背景 こんにちは、キュービックでSREをやっているYuhta28です。キュービック内のテック技術について発信します。 Datadogに移行してから数ヶ月が経ちました。メディアサーバーへのエージェント導入や外形監視設定など一通り完了し今の所運用できていますが、しばらくして課題が出てきました。 ログストレージコスト増加 Datadogのログ料金はログの保持期間、量によって変わる従量課金制1です。弊社は15日間の保持期間で契約していて、それより古いログはAmazon S3にアーカイブされる運用にしています。 アーキテクチャ図 アーキテクチャ図 以前の記事でも書いたとおりDatadogへのログ転送はO…

タダです. Datadog の AWS インテグレーションでメトリクスを収集することをやっていたのですが,SageMaker のエンドポイントを収集できない課題があり,カスタムメトリクスを使っていました.ただ,CloudWatch の GetMetricData API のコストが高くなっているため CloudWatch Metrics Stream を検証してみることにしました.その内容をこの記事でまとめます. CloudWatch Metric Streams について CloudWatch Metric Streams に変更によるメリット CloudWatch Metric Sream…

概要 こんにちは、キュービックでSREをやっているYuhta28です。キュービック内のテック技術について発信します。 前回の記事で弊社のモニタリング運用をDatadogに集約したことを紹介しました。OpenSearch時代に活用していた集約サーバーのFluentdの設定ファイルをDatadogに向き先を変えて、さらにDatadogエージェントをインストールして、集約サーバーから弊社メディアへの外形監視とDBのパフォーマンスモニタリングを実施しています。 アーキテクチャ図 アーキテクチャ図 課題 ただ単なる集約サーバーだったものにDatadogエージェントを導入して、外形監視も担うとなるとサーバ…

こんにちは！フロントエンド開発部の澁谷(@shibe23)です。 この記事は Chatwork Advent Calendar 2022 22日目の記事です ChatworkはDAUが101.7万人 (2022年3Q中の中央値)、かつユーザーの滞在時間も非常に長いサービスとなっています。 そのため、クライアントサイドの不具合によって過剰にAPIリクエストが行われた場合、通信負荷(とインフラ費用)が膨大になってしまいます。 APIのリクエストが過剰に行われていることを検知したいのですが、以下のような要件から、クライアント側でエラーを検知できるようにしたいと考えました。 どのリリースで問題が起きた…

TL;DR Cloud Runでサイドカー機能が23/05/16にプレビューが発表されました サイドカーコンテナとしてdatpadog agentを並走させ、APMのトレースを取得を試しました About Cloud Runにサイドカーがプレビューとしてリリースされました。 モニタリングやプロキシなど、Cloud Runで対応が難しかったケースへの大きな選択肢になります。 今回はCloud Runのサイドカーとして、datadog agentを立てAPMのトレースを取得を行います。 いままでのトレースの取得方法 Cloud Run(やコンテナ実行環境)でdatadogのAPMは パブリックベー…

Software Design 2023年6月号を読んで、ちょこっとずつ感想を書いてます。 gihyo.jp いつも参加しているSoftware Design輪読会に向けての予習でもあります。 softwaredesign.connpass.com 第1特集 正しく理解したい クリーンアーキテクチャとは何か？ 開発に活かせる設計のエッセンスを探る 第1章：クリーンアーキテクチャの背景 ブログ記事、書籍、時代背景から用語の意味を押さえる ......田中 ひさてる 有名な円の絵ですが…わかるようなわからないような…でした。 依存関係をユースケースから外側へ…というのが主張らしいです。 MVC、そ…

backcheck開発チームはアプリ開発チームとインフラチームに分かれています。 元々アプリとインフラの境界がない一つのチームで開発、運用をしていたのですが、インフラチームを発足し、専任性を持たせたことによってインフラの運用がうまく回るようになってきました。本記事ではインフラチームの取り組みについて紹介させていただきます。 主要な業務 AWSリソースの構築、運用 backcheckのインフラはAWS上で構築されています。 アプリケーション開発チームには機能開発に集中してもらい、インフラチームがリソースの構築、運用を全て行います。 構築はTerraformを使用しているのですが、最近Terraf…

（本記事は2023/5/26時点の情報にアップデートしております） こんにちは、技術広報のyayawowoです。 突然ですが、株式会社ラクスと聞いて何を思い浮かべますでしょうか？ 弊社ラクスでは、様々なプロダクトを展開していますが正直認知度は低いと思っております。 そこで今回、弊社についてもっともっと知っていただくため・・・ ラクスが展開している全10プロダクト 全10プロダクトの技術スタック インフラ/SRE/デザイナーの技術スタック について、ご紹介させていただきます！ SaaS開発に携わる方、弊社に少しでも興味を持っている方の一助となれば幸いです！

こんにちは, 基盤開発チームで業務委託として働いている奥山です. 弊社で開発しているカラリアというサービスでは, モニタリングに Datadog を利用しており, Rails や Nginx などのログは Datadog に集約しています. 基本的には Datadog の UI でログを閲覧・集計すれば十分なのですが, たまに Datadog のログ保存期間よりも古いログを閲覧したい ログを他のデータと join して SQL で分析したい ことがないでしょうか？ カラリアでも最近, Datadog に保存したログを BigQuery でクエリできるようにしたので, 検討した点を話したいと思い…

こんにちは、コドモンプロダクトチームの中野です！ コドモンでは、2020年から既存プロダクトの機能リプレイスを進めています。今回は第二弾機能リプレイスでの負荷テストについて書きます！ 目次 目次 リプレイスの背景 今回のリプレイスの概要 負荷テストの概要 k6の紹介と選定理由 テスト設計・実施までのプロセス テストシナリオ作成 テストシナリオA テストシナリオB テストシナリオC テストの目的 検証観点 WEB/APPサーバー DBサーバー 検証環境 実行 結果・考察 結果 考察 今回のテストをふりかえって まとめ リプレイスの背景 既存のプロダクトはこれまで成長を続けてきましたが、一方でコー…

導入 こんにちは、Product Team SREのkterui9019です。 今回はGCPのCloudNATについての調査結果を共有したいと思います。CloudNATを利用している中で気づかないうちに実はパケットロスが発生していたので、詳細をご紹介します。 問題の発覚 私たちはお客様からの問い合わせを受けて、GKEにデプロイされている特定のマイクロサービスの「遅いエンドポイント」について調査を行っていました。 Datadogのトレースを追っていく中で、GCPのVPC外へのAPIアクセスがタイムアウトしていることが判明しました。しかし、VPC外のAPI自体は数ミリ秒でレスポンスを返していたので…

概要 ライトニングトーク Debugging Kubernetes E2E Tests with Delve GreenCourier Power Aware Scheduling in Kubernetes キーノート 一般セッション Node Resource Management, the Big Picture Nurturing Security Permaculture On the Hunt for etcd data inconsistencies Setting up Etcd with Kubernetes to Host Clusters with Thousands o…

背景 具体的な設定 コントローラーに設定を生やす workflowを監視するためのカスタムメトリクスを定義する 各workflowに同様のカスタムメトリクスを定義する デバッグ方法 所感 背景 前職に引き続き、現職でもArgo Workflowsを使ってデータエンジニアリング系のバッチ処理を行なっている 以前にCloud Workflowsを調査したことがあったが、まだちょっと厳しい感があった 前職ではCloud Monitoringで監視していたが、現職ではDatadogで監視しているので、全社の体制に合わせてDatadogで監視していきたい Argo WorkflowsはPrometheu…

僕のRubyKaigiを終わらせるために、参加者としての日記を書きます。 一日目 新宿駅からあずさで松本へ向かいました。 研鑽Rubyを読んだり、車窓を楽しんだりしました。 私も研鑽します pic.twitter.com/NLdrgWloic— ぎゃばん@手洗い (@ledsun) 2023年5月10日 山梨県には葡萄畑がたくさんある pic.twitter.com/2zQgImCS2z— ぎゃばん@手洗い (@ledsun) 2023年5月10日 天気がよく、山がかっこいい pic.twitter.com/OZJNsNGdFI— ぎゃばん@手洗い (@ledsun) 2023年5月10日 松…

api-change:wafv2: AWSサービス(プレースホルダー)で、IPアドレス以外の集約キーに基づいてウェブリクエストをレート制限できるようになりました。また、キーの組み合わせを使って集約したり、特定のステートメントに一致する全てのリクエストをレート制限することもできます。 api-change:rds: ModifyDBSnapshotのEngineVersionパラメータに関するRDSのドキュメンテーションが更新されました。 api-change:kafka: ListClientVpcConnectionsとRejectClientVpcConnection APIでcluste…

アプリチームの松田です。 アプリチームではバックエンド専門の人やチームはおらず、Android/iOSを開発しながらバックエンドサーバーも開発、運用しています。そんなAndroid/iOSアプリ専用のAPIサーバーはAWS Elastic Beanstalk(以下EB)で運用されていました。古くはEBが社内で主に使用されていましたが、Amazon Elastic Container Service(以下ECS)を使用するという流れになっています。社内の他プロダクトと技術、知識を揃えるために、ECSへの移行を行いました。 移行作業はインフラチームと協力して行いますが、この記事ではRettyのアプ…