ECS Fargate

はじめに あるプロジェクトでECS on Fargateで以下のFirelensによるログ管理サイドカーを行う必要性が出てきたので、CDKによる実装れいを記載する。 ログ管理サイドカー前々からやりたいと思ってたので、CDKでやってみるhttps://t.co/4xvdnIwHKe— mazyu36 (@mazyu36) 2022年11月13日 ※Firelensの詳細は以下を参照 aws.amazon.com

はじめに ECSタスクのスケールイン保護をpython(boto3)で検証したので、その時のメモを残す。

この記事は、みらい翻訳のカレンダー | Advent Calendar 2022 - Qiita の13日目です。 こんにちは。プラットフォーム開発部でリードエンジニアをしているchanceです。 今回は コンテナ（AWS ECS on Fargate）上での Java(JVM) のメモリのお話をします。 概要 先日、商用環境の ECS で試運転させていた Java アプリのコンテナが度々再起動してしまう事象がありました。 幸い、まだリリース前だったためサービス影響はありませんでしたが、原因特定のためさっそく調査を開始しました。 コンテナの停止理由は OutOfMemory だったのですが、J…

こんにちは! スケールアーキテクトチームの@shgx です。 今回はAWSのSQS（Simple Queue Service）を使って処理をキューイングするシステムを構築してみた話になります。 そもそもキューイングって何なのか？とか言うところもあるかもしれないと思うので、それも含めて最初に軽く説明したいと思います。 キューイングと長所・短所について 「キューイング」は「待ち行列」という意味で、一個一個処理を貯めていってそれらを任意のタイミング(非同期)で順次処理する、という形を実現してくれるシステムです。 こんな感じで、1,2,3,4という順番で箱に詰めていって1,2,3,4と取り出すような処…

概要 コンテナイメージの脆弱性検査・セキュリティ診断ツール「Dockle」で出会ったエラーを何点かご紹介します。 ※タイトルでエラー集と書いておりますが、遭遇したエラーを何点か書いているだけであって、決してエラーを網羅しているわけではございません。（すみません。。。）

はじめに サービスを開発していると、n秒ごとに何らかの処理を定期実行したい要件が見つかることがあります。 例えば、10秒ごとにあるAPIエンドポイントにアクセスして結果を保存したいなどです。この記事ではこのような機能の実装方法について考えます。 EventBridge + Lambda の限界 n > 60、つまり1分間以上の間隔の場合は、EventBridge + Lambdaによる処理が最適解となる場合が多いでしょう。 しかしながら、EventBridgeのスケジュール式の最低分解能は1分なので、それよりも短い間隔で呼び出すには適しません。 docs.aws.amazon.com 1分未満…

こんにちは。 エキサイト株式会社の三浦です。 前回、ECS FargateとGraceful Shutdownに関する記事を書きました。 tech.excite.co.jp 今回はこの調査をしている時に直面した、Docker Composeで実行したコンテナの終了時、Graceful Shutdownが完了する前に強制停止されてしまう場合がある件について説明していきます。 Docker ComposeとGraceful Shutdown 上記の記事で書いたとおり、コンテナで動いているアプリケーションを安全に終了させるためにはGraceful Shutdownをすることが必要です。 すなわち、例…

CTO室の岩本 (iwamot) です。 この記事では、Dockerイメージの軽量化事例をご紹介します。 ざっくりまとめると、下記の手順で軽量化を進めました。 diveを使ってレイヤを分析した ベースイメージをpythonからpython:slimに変えた 無駄なファイルを除外した まず、背景から説明します。

タダです. 前回記事で RDS ログを S3 にアップロードする Python スクリプトを Docker で動作するようにしました.今回は GitHub Actions でコンテナイメージを ECR に格納し,EventBridge Scheduler で ECS Runtask を実行するようにしてきます. sadayoshi-tada.hatenablog.com コンテナイメージを ECR に格納する ECS クラスターと ECS タスク定義を作成する EventBridge Scheduler で ECS Runtask を実行する 関連記事 まとめ 関連記事 コンテナイメージを E…

【デジカルチーム ブログリレー2日目】 デジカルチームの瀬越です。エムスリーデジカルという医療SaaS（クラウド電子カルテ）を日々開発しています。 突然ですが、AWSのApplication Auto Scaling、便利ですよね。一方で以下のような課題もあり、どのように本番環境に適用するかは悩ましいところです。 どの指標を使ってAuto scalingしたらよいのか分からない ユーザーに影響を与えず安全にAuto scalingを適用したい 今回は、サービスの特性に合わせてApplication Auto Scalingを段階的に適用した話をします！

はじめに hacomono VP of Platform Engineering のやじ(@srv)です。 年末年始は SteamDeck 届いたので、PS Vita での発売以来ずっとやりたいと思っていたAKIBA’S TRIP 2で時間を溶かしました。 前回は「マルチテナントへの道 序章」と題して hacomono のアプリケーションアーキテクチャの刷新について触れさせていただきました。 今回は前回の中で詳しく書けなかったアーキテクチャの技術要素について深堀りさせて頂ければと思います。 TL;DR 新旧２つのアーキテクチャが同時稼働するハイブリッド環境 透過的に取り扱うための API Ga…

AWSで実現するモダンアプリケーション入門 〜サーバーレス、コンテナ、マイクロサービスで何ができるのか 2023年1月に出たばかりの新刊です。著者の落水 恭介さん(@otty246)は現AWSのコンテナソリューションアーキテクト。もう一人の吉田 慶章(@kakakakakku)さんは同じくテクニカルトレーナー。カカカカックじゃなくてカックさんといえばめっさ毎週更新されててよく話題に上がる【kakakakakku blog】の方としてブログ界隈ではお馴染みでしょう。 開発戦略として注目されているモダンアプリケーションについて、最初はRailsのバックエンド主体で作られている設定の架空のアプリをモ…

概要 少し過去の出来事にはなりますが、弊社サービスである「ピクトリンク」について、サービス運用を止めずにバックエンドストレージであるMogileFSをAmazon S3に移行しました。 その当時の移行作業について、情報をまとめました。 技術的な詳細というよりは、どのような方向性・考え方で移行作業を行っていったのかという記録になっています。 背景や現状 ピクトリンクサービスは、各種データ（全国のプリントシール機にてユーザーが撮影したプリ画像を含む）を自サーバー群で大量保管している。 このうち、画像バイナリーデータを保存している社内MogileFSについて、日々のシステム負荷が高いこと、管理コスト…

エクストーンの豊田です。エクストーンではWebアプリケーションの開発とともにインフラの構築や運用等も行っています。どのような構成でサービスを実現するかはサービスの種類や機能、規模等によって異なるのですが、今日はシンプルなウェブサイトをホスティングする際にエクストーンでどのようにインフラ構築を行っているかをお話ししたいと思います。 インフラ構築で主に利用しているサービス・技術スタック ほぼ前回の記事のおさらいになりますが、改めて記載しておきます。 API Server, 定時処理ワーカー AWS EC2, ECS Fargate (Ruby on Rails, express) Lambda (…

前書いてたブログは一昨年の頭くらいから書かなくなってしまったけどやっぱりなにか書きたくなったから書く。でも投稿頻度は下げて月イチ程度の想定。 もう2月も半ばやけど今回は去年の総括てきなものを書く 仕事 自分の会社やってる。 売上の大部分は請負の受託開発。取引先のみなさんに喜んでもらえるようがんばってWebのシステムをこしらえたりメンテナンスしている。 やや手が空いているタイミングでSES的な感じの準委任でよその開発会社さんにお手伝いしにも行ってる。自分以外の人が技術選定したプロジェクトに入るのは不慣れな技術を学ぶ機会になって良い。 あと専門学校の非常勤講師も引き続きやってる。 仕事(技術) 2…

はじめに こんにちは。 SRE部の原口です。 普段はITインフラ本部のSRE部でクラウドインフラやアプリケーションの改善活動などをしています。 本記事では、AWSのサービスであるAmazon GuardDutyのMalware Protectionを実際に導入した際の注意点を紹介します。 目次 はじめに 目次 GuardDutyのMalware Protectionを導入してみた Malware Protection とは Malware Protectionのサービス仕様 Malware Protectionの仕組み 利用料金 検出対象 EBSの暗号化方法によるスキャンの可否 ECS 実行環…

エクストーンの豊田です。エクストーンでも技術ブログを始めることになりました。最初なのでエクストーンでの普段の業務と採用している技術等についてお話ししたいと思います。 エクストーンでは主にウェブサイトならびにiOS、Android向けのアプリの開発を行っています。受注開発が中心ですが、エンジニアも含めてよりよいアプリケーションを作成するためにはどうすればいいかを様々な観点で提案・実装をさせていただいています。その中でどのような技術スタックを利用してサービスを構築するか等も含め、エクストーンで決めることがほとんどです。どのような案件かによって採用する技術スタックは変わってきますが、よく採用している…

インフラチームの小川です。 密かにシリーズ化を企んでいるやらかし記事です。各々のもやもやを供養するとともに、改めて再発防止に努めたいという想いを込めて記事化します。 techblog.openwork.co.jp 今年はインフラにまつわるお話を 3 本ご紹介します。 開発環境のテストによって本番バッチが一部起動できなくなった 事象 開発環境での負荷テストによってバッチ処理が 1000 件ほど同時に行われた。これにより、本番環境のバッチが一部起動できなくなった。 原因 まず、以下のような前提がある。 各バッチは独立した Fargate タスクとして動く タスクの起動に必要な秘匿情報を、 SSM …

みなさん、こんにちは！ユーザープラットフォーム開発部の吉川です。 現在、JMDCが保有している医療ビッグデータを活用して生活者や医療に新しい価値を提供する新規プロダクト開発チームのバックエンドを担当しております。今回は新規プロダクト開発のバックエンドで採用している技術や設計について紹介させていただきます。 Go ユーザープラットフォーム開発部の新規プロダクト開発チームは Go を採用しています。採用した理由は色々ありますが、主に以下の点から新規プロダクト開発でもGoを採用することにしました。 静的型付け言語である APIを作りやすい シンプルなコードを書ける メンバーのGoでの開発に対するモチ…