障害対応

プロダクトエンジニアリング部の吉田と申します。 普段はRubyやTypeScriptといった言語を使ったサーバサイドエンジニアをしています。 今回、サイトの閲覧障害をきっかけに行ったポストモーテム会が個人的にとても有意義だと感じたので紹介させてください。

こんにちは。プラットフォーム開発部 EMのchikaです。 今回は、誰もが避けたい話題、障害対応について書こうと思います。 はじめに 参考書籍 障害対応はなぜ難しいのか 経験することでしか身につかない 突然デビュー戦を迎える （おまけ）障害は空気を読んでくれない？ すぐ筋肉が落ちる、感覚が鈍る 障害対応の体制づくりの鉄則 一人でやらない インシデントコマンダーを決めて作業と窓口を切り離す インシデントコマンダーになるのは誰？ （補足）インシデントコマンダーとインシデントコマンドシステム（ICS）について 障害対応で覚えておきたいこと7つ 1. 初動は本当に重要 一報までの時間 初動を早めるため…

渋谷ヒカリエで開催されている「平間至展 写真のうた」（2023年7月8日～8月23日の開催）を観てきました。写真家の平間至は、タワーレコードの「NO MUSIC, NO LIFE.」をはじめとした、ポピュラー音楽に携わるアーティストの写真を多く撮影しています。時間をかけて、いちまいいちまいのアーティストの写真をじっくり見ました。もちろん、被写体はミュージシャンなのでかっこいいです。しかしかっこいいだけではありません。平間至の写真を見ると、静止画なのにそこから音楽が飛び出しそうなライブ会場にいる臨場感を覚えました。そして、アーティストがその瞬間で表現したい想いを正確に伝えていると感じました。入場…

先日、某プロジェクトの某障害対応において、デグレ発生していました。 よくよく聞いてみると、今回の障害対応をしている中で、全く関係のない部分に設計書と異なるコードがあったため、設計書に合わせて修正したが、その設計に設計バグがあったので発生してしまったと。 良かれと思ってしたことでしょうけど、かなりまずいです。ちょみっとしかいじってないから大丈夫とか思ったんでしょうけど、だめよ。 テストしたモジュールとは別物になっているので、本来は全体再テストですよ。ちょっとだけだからバグるわけない、と思ったのでしょうが、事実バグってるし。 昔こんな事がありました。 後輩の作ったソース（C言語）をレビューしている…

これはWHITEPLUS Advent Calendar 2022の23日目の記事です。 はじめに こんにちは、WHITEPLUS エンジニアリング部 CX開発Gのhirasushiです。 本日は、ホワイトプラスでのエンジニアによる障害対応体制について紹介いたします。 導入経緯 今までも現在でも、ホワイトプラスでは障害対応専任の部署というものはなく、開発・運用を行っているエンジニアが障害対応も行っています。 ただし以前のホワイトプラスでは、障害発生時の標準的な対応方法が決められていない状態でした。 アラートなどで障害を検知した後、それに気づいたエンジニアが集まり、それぞれの裁量で対応をした後、…

この記事は Qiita x 日本CTO協会共催！あなたの自己変革について語ろう！ Advent Calendar 2022 の13日目です。 今期シナジーマーケティングでは Synergy! 運用保守体制の再構築に取り組みました。運用保守は当たり前にやらなければいけない業務ですが、レベルを定め、体制を再定義することは、当たり前にはできないことでした。シナジーマーケティングの１年間の活動を「Give First」*1でご紹介します！ 馬場 彩子（ババ アヤコ）2001年入社のシナジーマーケティング最古のエンジニア（ほんとは２番目）。最高技術責任者。2005年ローンチのクラウド型CRM、Syner…

はじめに こんにちわ。cappy_potterです。 MailDealer と ChatDeaeler という弊社サービスのインフラ運用チームのリーダを担当しています。 前回、こちらの記事で、『チームとして障害対応時間削減に向けて取り組んだこと』について 紹介させていただきました。 tech-blog.rakus.co.jp その際、記事の中で、取り組み実施後に同様の障害が発生したことについて触れ、取り組み実施前に比べて 関係者への情報共有の時間をおよそ半分にできたと記載しました。 （以前は同様の障害で「42分」かかっていたものが、「22分」に短縮できた。） あれからさらに半年が経過したところ…