ECS Exec

こんにちは。マッハバイトを運営するアルバイト事業部エンジニアの mnmandahalf です。 みなさんは本番DBへのSQLの手動実行等の作業をどんな環境で行なっていますか？ 通常はDBにアクセスする用の踏み台サーバにSSHログインして作業を行うケースが多いと思います。 マッハバイトでも最近まで（現在もDBによっては）踏み台を使用していたのですが、最近新・本番作業環境を導入したのでその背景とつまづきポイント等についてご紹介します。 これまでのマッハバイトにおける本番作業 これからのマッハバイトにおける本番作業 TerraformでのECS Execの設定方法 ECSタスクロールにアタッチするポ…

Photo by Kari Shea on Unsplash engineer.ashita-team.com (この記事はあしたのクラウド のインフラ移行に関する連載記事です) こんにちは。最近、副業を始めたこともあり ( 弊社は副業OKです ) 何かと忙しくなりブログ更新が滞ってましたが、改めてアウトプットを継続していく気持ちの @snaka です。 ECS 上で動作しているアプリケーションの調査を行う際に ECS Exec は何かと便利ですよね。このブログの別の記事でも紹介しました。 engineer.ashita-team.com 今回はその ECS Exec をより便利に使うためのス…

みなさんどうもこんにちは。 エンジニアのゆい（@fyui_001）です。 前回に引き続きEB(Elastic Beanstalk)からECSに移行したプロジェクトでの取り組みを紹介します。 今回はECSのコンテナにアクセスするためのECS ExecというAWSのサービスを使ってECS上で動いているコンテナに入る方法についてお話しようと思います。 前回の記事はこちら！ Laravel on ECSで動かすQueueとScheduleワーカー 背景 弊社ではデプロイ時にデータ投入のための一度限りのバッチ実行をEBにSSHで入り行っていたのですが、ECSに移行し、どうやってサービスの実行環境に入りリ…

tl;dr Fargate ではホストが隠蔽されていて、EC2 のように SSH でコンソールに入って検証することができない ECS Exec は十分に SSH の代用となる ECS Exec の導入に必要なことはこのセクションを参照 DELISH KITCHEN on ECS 弊社では DELISH KITCHEN というサービスを運用しており、主なアプリケーションサーバは ECS の上に構築しています。 ECS には EC2 によるものと、Fargate によるものの2つの環境が存在しますが、現時点ではほぼ全てのアプリケーションサーバが EC2 の環境です。 ECS は、十分な機能を備えな…

はじめに こんにちは！スタイル・エッジ・グループのKYTです。 現在私はAmazon ECS(以下ECS)のAWS Fargate(以下Fargate)にて、 弊社のシステムを運用できないか試行錯誤中です。 今回はそんな中で学んだECS Execについて書きたいと思います。 ECS Execとは ECS Execは、ECSで実行中のコンテナにログインするための機能です。 この機能の画期的なところは、Fargateではできなかった各コンテナへのログインを可能にした点です。 ECS Execの登場以前、Fargateで起動したコンテナは原則ECSコンソールを駆使して状態を確認することしかできません…

こんにちは、開発エンジニアの熊田です。入社してから早くも2か月が経ちました。 今回は、AWSに触れる機会の少なかった私が、ある案件のアプリ基盤のリプレイス作業を担当した経験を振り返りながら、運用保守を外部委託するまでの話を書いていきます。 目次 AWSアカウントの分離 背景 - これまで社内共通AWSアカウントで運用していた 新規AWSアカウントを作成 アプリ基盤のリプレイス 課題 - ストレージ不足とデプロイ作業の属人化 対応 - Fargateの導入とドキュメント整備 運用保守の外部委託 ユーザ管理と最小権限 役割の明確化 振り返り ECSではなくLambdaの方がベストだった IaCと自…

ISID X（クロス）イノベーション本部 の三浦です。 筆者の関わっている案件では、コンテナ利用、AWS Fargate利用を進めております。 AWS Fargateのお手軽さは非常に重宝しております。 しかし、そこで問題になってくるのが、管理作業（例：SQL実行、EFSへのファイル配置）をどうするかです。 アプリケーション本体をせっかくAWS Fargateでやっているので、管理作業もできるだけサーバーレスでやりたいですよね？ で、以前の記事では、『業務用の端末⇒AWS_Fargate（ポートフォワード）⇒RDS』といった内容を書きました。 AWS FargateからSSMでRDSに接続 し…

ポイント FIPS-140: 米国およびカナダ政府による、暗号モジュールのセキュリティ要件を定めた標準。データの暗号化に用いる。 Fargate で FIPS-140 準拠を有効化: Fargate で FIPS-140 準拠のワークロードを実行可能。 注意事項 FIPS-140 準拠は AWS GovCloud (US) リージョンのみで利用可能。 デフォルトでは無効化されており、手動で有効化する必要がある。 FIPS-140 準拠に必要な設定: operatingSystemFamily: LINUX cpuArchitecture: X86_64 Fargate platform ver…

こんにちは。 技術課の山本です。 以下記事では、ECR のパブリックリポジトリにある AWS 公式の Fluent Bit のコンテナイメージを、ECSタスクで直接利用する方法があると分かりました。 利用者側では、Fluent Bit の設定ファイルを、S3 バケット上に配置するのみで良い方法です。 blog.serverworks.co.jp 本記事では、上の記事でデプロイした Fluent Bit コンテナを再デプロイせずに、設定ファイルの書き換えを行う方法がないか、確認しました。 結果 設定ファイルの書き換えを行うには、再デプロイ（新しいタスクの起動）が必要です。 FireLens を使…

監査上の理由からFargateがreadonlyRootFilesystemで動いてほしかったので、nginxコンテナを使った検証のメモ。 基本方針 nginxイメージそのままでは動かないのでカスタムイメージを作る /var をタスクストレージにマウントする /tmp は /var/tmp へのsymlink 二つ以上のタスクストレージをマウントできなかったため（二つ目以降のmountPointは無視された） Dockerfile FROM --platform=linux/amd64 nginx VOLUME /var # `VOLUME` を指定しておかないと # 元々のイメージにあるファ…

ソフトウェアエンジニアの小野寺です。 先日、自社サービスのリニューアルで新たにコンテナ環境でサービスを稼働するタスクを担当させていただきました。 その際につまづいたこと、ハマったことを書こうと思います。 インフラ環境はアプリケーションはECS on Fargate、データベースはRDS（エンジン:Aurora MySQL、以下MySQLと表記）です。

はじめに 以下の記事でAWS CDKにおけるチーム開発のフローやテストについて記載した。 mazyu36.hatenablog.com mazyu36.hatenablog.com 今回は実装内容についてチーム内で意識合わせしておいた方が良いと思った点をまとめておく。

タイトルがすべてシリーズ rails db:create を実行するためだけに null_resource (aws_ecs_task_definition.initialize_db という target) を採用しているんだけど、偶然こんなエラーに遭遇した。 ╷ │ Error: failed creating ECS Task Definition (example-task-definition-initialize-db-backend): ClientException: Too many concurrent attempts to create a new revision o…

パフォーマンスチューニングの値があと一歩伸び悩んでいるので、ふと思い立って jemalloc を導入してみた。 # runtime stage: LD_PRELOAD で jemalloc を指定 FROM ruby:3.1.0-slim-bullseye as app ENV APP=/app \ LANG=C.UTF-8 \ RUNTIME_PACKAGES="tzdata libmariadb3 libjemalloc2" \ LD_PRELOAD=/usr/lib/x86_64-linux-gnu/libjemalloc.so.2 ビルドしているのでまだどうなるかわからないけど、初めて…

aws ssm start-session ... --document-name AWS-StartPortForwardingSessionToRemoteHost ... などして、 ECS exec 経由で fargate コンテナを踏み台に RDS 接続などしていると、作業によってはタイムアウトによって中断されることがままある。 めっちゃ辛い。 どうする まずそういう作業をするな、という指摘はご尤もだけども。 いわゆる結合テストや検証などで、データベースの SQL ダンプを持ち込んだり運び出したり Rake タスクを実行したい時に ECS exec を実行したい！ みたいな潜在要望は…

タイトルがすべてシリーズ。 とりあえず 僕の用途では、aws_iam_role_policy_attachment に全部そろえよう、となった。