ロードアベレージ

TL;DR 正しく設計するとキャパシティは常にカツカツになる これはpyspaアドベントカレンダーの8日目の記事です。前日はShibukawaさんです。 世はクラウド時代、ソフトウェアはひとたび作られたら何億回実行されても摩耗するものではないので、どんな間抜けなロジックであろうと動く以上は別のどこかで瑕疵が出てくるまで使い倒されるのは日常茶飯事である。 サービスを負荷の前提の上に定義する クラウドより前の時代においてサービスを支えるマシンは「ロードアベレージが1.0を超えてなければとりあえずOK、超えたらマシンを増やして負荷を分散する」というノリのベストプラクティスがよく言われていたがそれはサ…

年齢が上がってくると仕事の負荷が増えてくるのに対して家庭に費やす時間は増える一方です。自分のスキルや体力を向上させる時間がだんだん少なくなってきています。ブログを書くアウトプットする時間も週末になんとか捻出しています。今、子どもの面倒を見ながらこの記事を書いています。20代なら仕事が間に合わないときはほぼ徹夜や土日をつかって挽回することも容易でしたが、今は体力と時間で難しくなってきました。 やらなければならないことが増えていく一方で費やす時間が取れなくなってくると気持ちの余裕がなくなってきます。平常時なら軽く流せる嫌なことも心に突き刺さったりイライラしてよくない反応をしてしまうこともしばしばあ…

■サービスの監視 ・URL応答監視：応答コード、応答文字列、応答時間 ・画面遷移監視：画面遷移（シナリオ）の正常性、応答時間■インフラの監視 （１）リソース監視 ・メモリー：メモリー利用情報(実メモリ使用量、スワップ使用量など) ・ネットワークトラフィック：送受信byte/sec ・CPU関連：ロードアベレージ、CPU使用率 （I/Oウエイト、システムCPU使用率、ユーザCPU使用率など) ・ディスク：ディスク空き容量、ディスク使用率、ディスク使用量、ディスク容量 （２）プロセス監視 ・プロセス所在：syslog, crond, ntpd, xinetd, sshd, httpd, mysql…

www.koikikukan.com つまりこういうことだった。 $((hoge)) -gt $((fuga)) みたいにしたりしてもだめだし、じゃあ片側数字ならええんか？ と思ってたけど、単純にダメなやつであった。 ATAI="0.40" <200b> LOAD_NOW=`uptime | grep "load average" | sed -e 's/^.*load\saverage:\s//g' | awk '{print $2}' | sed -e 's/,//g'` MESSAGE="${INSTANCE} が重いかもしれん、ロードアベレージは ${LOAD_NOW} だ……" <2…

GoにハマってるのでGoで色々小さいツールを書いていたので一気に紹介してみる エラーバジェットをMackerelで見るやつ github.com 指定したSLOの違反件数とエラーバジェットをいい感じに見れる。shimesabaというツールを参考に作ってみた。違いとしてはyamlなしでCLIのオプションから実行する形にしてある。 techblog.kayac.com Mackerelからメトリクスを取得してリソースの使用率をいい感じに出すやつ github.com ホストごとのCPU使用率やロードアベレージの数値を指定された期間でmax, min, avg, med, p90と出してくれるやつ。…

はじめに EXNOA プラットフォームインフラ部の角です。 私たちのチームではEKSを2年ほど前から運用しており、モニタリングやセキュリティ対策の強化を継続して行っています。最近では2022年の4月初旬に、EKSの1.22へのアップグレードが提供されるようになり、われわれも1.22へのアップグレードを完了させました。 今回の投稿では、EKSを運用して得た知見として 運用していて大変だったこと 運用で工夫していること セキュリティ対策 を紹介したいと思います。 なお、対象のシステムの構成やモニタリングの取り組みについては過去の記事で紹介していますので、合わせてご覧ください。 inside.dmm…

みなさま、こんにちは。ユーザ・リレーションズ・チーム（以下UR）の木村です。 先日よりお客様向け Web サイト fusion_place マネジメントコンソール（以下FMC） のクラウド稼働状況確認機能のご紹介をしております。 過去のご紹介ブログはこちら ・FMC のクラウド稼働状況確認機能のご紹介①～全般～ ・FMC のクラウド稼働状況確認機能のご紹介②～サービスステータス～ ・FMC のクラウド稼働状況確認機能のご紹介③～ログ～ 今回は、FMC の機能の中から、メトリクスについて詳細をご紹介いたします。 fusion_place cloud はお客様（ご契約）ごとにシングルテナントでご提…

みなさま、こんにちは。ユーザ・リレーションズ・チーム（以下UR）の出口です。 お客様向け Web サイト fusion_place マネジメントコンソール（以下FMC）の新機能を 2022/6/30(木)にリリースいたしました！ 過去の関連記事はこちら → 開発中の機能のご紹介(2022/6) fusion_place cloud はお客様（ご契約）ごとにシングルテナントでご提供しておりますので、お客様のご利用状況やご要望にあわせてリソースを拡張することができます。 新機能として、fusion_place cloud の稼働状況を現在・過去含め確認できる各種画面をご用意しております。快適なご利…

問題１１１ ロードアベレージの調査

今回はサーバー監視について書いていこうと思う。 先輩から教わった基本的なリソースの監視項目はCPU, memory使用率、IOPS、ロードアベレージをとのこと。 CPU使用率 文字通り、CPUがどれだけ使用されているかを監視している。 基本的にtopコマンドで確認ができる。 us + syを合わせたものがCPU使用率になる。 cloudwotchだとよしなに、値を取得してくれている。 現場ではCPUが80%とかでアラート設定している。ただし、CPUが80%だからといってすぐに対応しないといけない訳ではない。実際にはアラート踏んでオートスケール発火しそうだけど。 というのも、この状態にサイトに影…

grafana+prometheus でロードアベレージを監視してもいいんだけど ちょっとログを集めたいのに、あまりにもヘビィだと思うの。 sysstat / sar を使う 古のパッケージ sar コマンドで、CPU利用率を集計する sar / sysstat で cpu 利用率を詳しく調査する インストール apt でインストールが可能 sudo apt install sysstat 楽ちん 起動 と設定とタイマー マニュアル起動（ログ書いて終了する） sudo systemctl start sysstat-collect.service タイマー開始 sudo systemctl s…