DataDog

概要 こんにちは、キュービックでSREをやっているYuhta28です。キュービック内のテック技術について発信します。 前回の記事で弊社のモニタリング運用をDatadogに集約したことを紹介しました。OpenSearch時代に活用していた集約サーバーのFluentdの設定ファイルをDatadogに向き先を変えて、さらにDatadogエージェントをインストールして、集約サーバーから弊社メディアへの外形監視とDBのパフォーマンスモニタリングを実施しています。 アーキテクチャ図 アーキテクチャ図 課題 ただ単なる集約サーバーだったものにDatadogエージェントを導入して、外形監視も担うとなるとサーバ…

こんにちは！フロントエンド開発部の澁谷(@shibe23)です。 この記事は Chatwork Advent Calendar 2022 22日目の記事です ChatworkはDAUが101.7万人 (2022年3Q中の中央値)、かつユーザーの滞在時間も非常に長いサービスとなっています。 そのため、クライアントサイドの不具合によって過剰にAPIリクエストが行われた場合、通信負荷(とインフラ費用)が膨大になってしまいます。 APIのリクエストが過剰に行われていることを検知したいのですが、以下のような要件から、クライアント側でエラーを検知できるようにしたいと考えました。 どのリリースで問題が起きた…

これは Livesense Advent Calendar 2022 DAY 20 の記事です。 はじめに 株式会社リブセンスの転職会議事業部Webエンジニアの @ishitan-liv です。 今回は、過去に転職会議でも導入しようとして挫折してきたE2Eテストについて書きます。 E2Eテストを自作するか、SaaSを使うのかで比較した結果と、Datadog Synthetics Testsの使い方を軽く紹介したいと思います。 なお、この導入については完全に個人プロジェクトとしてやっております。 リブセンスではエンジニアの権利として毎月10%の技術投資枠確保というものがあり、Googleの20%…

概要 こんにちは、キュービックでSREをやっているYuhta28です。キュービック内のテック技術について発信します。 キュービックでは監視をMackerel、ログ集約をOpenSearchを活用して運用していました。 ※OpenSearchを使ったログ集約はこちらの記事を御覧ください。 cuebic.hatenablog.com 今後更にRUMやSLOなどサービス運用改善に向けて攻めの監視を行い、モニタリングからオブザーバビリティにシフトしたいと考えDatadogを導入しモニタリング運用を集約化しました。 オブザーバビリティとは 日本語では可観測性と訳されることが多いです。従来のモニタリング(…

こんにちは @jedipunkz 🚀 です。 READYFOR では AWS ECS を用いてサービスを提供しています。非常に安定して運用出来ているのですが、ここ数年でプログレッシブデリバリーというデプロイ方式が登場して気になっていました。そしてこれを ECS でも実践出来ないか検討している中で PipeCD を見つけました。CNCF にジョインしているプロジェクトで AWS ECS 以外にも Kubernetes を用いることが出来る OSS になっていて、Prometheus や Datadog のメトリクスを利用することでプログレッシブデリバリーを実現しています。 PipeCD の情報は…

タダです. Datadog の APM を試したいと思いやったことをこの記事に備忘録としてまとめます. ローカルで APM を試す トレースのためのコードを埋める まとめ ローカルで APM を試す ローカルから APM を試すことでトレーシングできるかを確認したいと思い,docker のイメージ( gcr.io/datadoghq/agent )で提供されているエージェントを使います.以下のコマンドで起動でき,ローカルのアプリケーションを動かしてトレースできるかを確認する準備ができました. docker run -d --cgroupns host \ -v /var/run/docker.…

アジャイルやDevOpsなど迅速なシステムの改善～リリースが求められる開発で、懸念されることはデグレードを起こしてしまうことかと思います。 今回はそういったミスを軽減させるためのブラウザテストの自動化に関して書いていこうと思います。自動テストのサービスとしてDatadogのSynthetic Testのブラウザテストを使用します。 ブラウザテストのテストシナリオとしては複雑な条件を使用しないことが大事です、テストデータが必要、単体試験で検知されるべきレベルのシナリオをここで作成することはメンテナンスの限界が発生して、余計に時間を掛けてしまうことになります。 今回は下記のシナリオをテストします。…

こんにちは。島村です。 今年の年明けくらいからジムに通い始めました。 プロテインが早速無くなりそうです。なくなる前に注文したました。今回はバナナ味です。 前回はチョコミントだったので、今回注文したバナナと混ぜてチョコミントバナナで楽しめます。最高です。 今回はAmazon Managed Grafana(AMG)へSAMLログインを行なってみるところまでを解説できればと思います。 Amazon Managed Grafana長いので、以下AMGと記載します。メルセデスではありません。 前提 OneLoginは開発者向けのアカウントを取得することで無料で使用することができます。 www.onel…

1: 以下、5ちゃんねるからVIPがお送りします 2022/03/08(火) 23:14:25.005 id:z9Obu6OS0 なんでもきいてよ

1: 転載禁止 2022/10/18(火) 17:40:25.63 ID:5MBSAB0Dd 同期との会話も噛み合わんくなってきたわ 出来の悪い韓国人はテスターやけど

サマリ Linuxにおいて使用メモリの情報はだいたい/proc/meminfoの情報から計算されるが、計算式にゆらぎがあって異なるツールやSaaSエージェントを使うと結果が異なることがあるので故あって調べた ダッシュボードの表示とfree(1)の結果が異なるなど 2023現在使用メモリはだいたいMemTotal-MemAvailableということでOK free(1)などprocps依存なコマンドもMemTotal-MemAvailableをUsedとして扱うようになる 稀に計算式が異なるケースもあるのでおかしいな、と思うことがあれば一応まだ気にしたほうがよいことがあるかもしれない ツールをま…

こんにちは あるいは こんばんはQA（品質保証）担当のおくやまです。 今回は製品開発のQA（品質保証）が日々どのような活動しているのかを書いていこうと思います。 ①ecbeing／マイクロサービスのQualityGate試験（QG試験） ②部内向けに品質に関する勉強会を開催 ③品質の見える化／可視化 ④品質に関するモダンな技術を学び取り入れる まとめ

2022年は保守色の強い1年でした。年度はじめからフルリモート勤務(1on1等で月1,2出勤)となり勤務スタイルが大きく変わりました。前から温めていたDB(Aurora)のバージョンアップという重要度と期限がある重大タスクをPJリーダーとして計画通り年末に無事完遂したので、上々の出来だったと思います。アプリケーション的には新規開発を抑えてDBアップグレードをやったんですが、自分はインフラ寄りなので結局新しいことやっててなおかつインフラ的には結構いい経験を積めました。 扱ってるのは引き続きGo、AWS、Terraform、ansibleな感じですが、自分含め生み出してしまった過去の遺物をある程度…

前回のエントリー では動かし方のみ説明し、GrafanaスタックやMicrometerがどのように動いているのかについて触れていなかったので、これから何度かに分けて説明していきます。 第1回目はGrafana + Prometheusです。 Grafanaスタックの各プロダクトについて 説明に入る前に、Grafanaスタックになじみがない方（1ヶ月前の僕とか）も多いと思いますので、まずは簡単に各プロダクトのことを説明しておきます。 Grafana https://grafana.com/oss/grafana/ GrafanaはGrafana Labsが開発している監視用のダッシュボードやアラ…

『［試して理解］Linuxのしくみ』を読んだ。 過去に第1版を読んだことがあり、Linux OSの知識が業務で役立つ機会に何度も遭遇したため、第2版も楽しみつつ読めた。 ［試して理解］Linuxのしくみ ―実験と図解で学ぶOS、仮想マシン、コンテナの基礎知識【増補改訂版】作者:武内 覚技術評論社Amazon これまで 感想 バックエンドエンジニアにとって活かせる点が多い 手を動かしながらOSの挙動を理解できる (参考)Ubuntuの動作環境 今後 これまで 低レイヤーの技術は定期的に学習し、これまでにいくつか書籍を読んだことがあるため、メモリやCPU、プロセス、スレッドについてはなんとなくわか…

気がついたらもう2022年もおわり2023年。簡単に去年を振り返って今年の目標を決めていきたいと思う（改めて見てみると2022年の目標記事を上げてなかったので今年はちゃんと書いておく） 2022年時系列概要 1月 運動不足解消のためスポーツジムに入会。週二回定期的に通うようになる 会社が解散するとの告知があり、2月末から無職になることが決定する 呼応するかのようにMacBookProが死亡。新しいものを注文するも届くのにそこそこの時間がかかることが判明する 転職活動するのにPCがなくなるという絶望 ただ今の円安を考えるとちょうどいいタイミングだったのかもしれない 2月 月末をもって退職 〜そし…