Elitegroup Computer Systemsの略称。
E-Commerce Serviceの略。
例えばAmazon ECSなど。
タダです. 前回の記事で RDS ログを S3 にアップロードする処理を ECS で定期実行するように運用し始めました.運用し始めて遭遇した気づきがあり,そのことについて本記事で書いていきます. sadayoshi-tada.hatenablog.com 運用し始めて発生した事象 原因調査 原因への対策 関連情報 まとめ 関連記事 運用し始めて発生した事象 定期実行を始めて下記のエラーが頻繁に出るようになりました.DownloadCompleteLogFile のリクエストを発行してそのレスポンスでステータスコードをチェックする機構を設けていたのですが,そのログに記録された 400 のエラーで…
CDKでECSのタスク定義を作成すると、必ず遭遇する（と思う）コンテナのイメージタグがCDKと実態でズレる問題への対応についてです。 以下のスライドでまさに言及されているものです。 AWS CDKでECS on FargateのCI/CDを実現する際の理想と現実 / ideal-and-reality-when-implementing-cicd-for-ecs-on-fargate-with-aws-cdk - Speaker Deck 過去試行錯誤したので、自分なりに整理してみます。
ECSの運用で発生した悩み リポジトリ分割と採用ツール 採用したツール モノレポ管理 jsonnetの利用イメージ パイプラインの実装 差分検出 反映の高速化 crontabのJST表記対応 ecspresso verifyによるチェック OPAによるポリシーチェック さいごに こんにちは、インフラエンジニアの和田です。 弊社は、WEBアプリケーションおよびバッチ処理の実行基盤として Amazon Elastic Container Service（以下「ECS」と呼ぶ） を採用しています。現在では複数チームの開発者が 100 を超えるタスク定義を運用する規模にまで拡大しています。この記事では…
初めまして！エージェンシー事業でアプリケーションエンジニアをしている22年新卒入社の内原です。 今回は、私が所属するチームのシステム(AWS ECS/Fargate)にWorkload Identityを導入してGCPのさまざまなサービスへサービスアカウントキーを利用せずにアクセスする方法について紹介と思います。 背景 課題 基礎編: Workload Identityの導入方法 1. IAMロールの作成 2. Workload Identity PoolとProviderの作成 3. Workload Identityとサービスアカウントの連携 4. 認証構成ファイルの取得 5. 認証構成フ…
概要 こんにちは、キュービックでSREをやっているYuhta28です。キュービック内のテック技術について発信します。 前回の記事で弊社のモニタリング運用をDatadogに集約したことを紹介しました。OpenSearch時代に活用していた集約サーバーのFluentdの設定ファイルをDatadogに向き先を変えて、さらにDatadogエージェントをインストールして、集約サーバーから弊社メディアへの外形監視とDBのパフォーマンスモニタリングを実施しています。 アーキテクチャ図 アーキテクチャ図 課題 ただ単なる集約サーバーだったものにDatadogエージェントを導入して、外形監視も担うとなるとサーバ…
FlaskアプリをAWS ACMでSSL化しながらFargateで公開する全ステップの後編です。Flaskアプリ公開まで一気に行きましょう。 アーキテクチャ（再掲） 実装手順（グレーアウト部分は前編で実施済み） Step 項目 対象サービス 1 ドメイン発行Route 53 2 証明書発行ACM、Route53 3 VPC作成VPC 4 セキュリティグループ作成セキュリティグループ 5 VPCエンドポイント作成VPCエンドポイント 6 ALB作成ALB 7 コンテナイメージ作成 ローカルマシンなど 8 レポジトリ作成とイメージアップロード ECR 9 コンテナ作成 ECS/Fargate 10…
Flaskで開発したWebアプリをFargateに乗せ、かつAWS ACMでSSL対応する記事に巡り会えなかったので、趣味で開発したアプリを公開する傍らで記事にしてみました。 アーキテクチャ よくあるWEBアプリのベストプラクティスのようなアーキテクチャです。 実装手順 Step 項目 対象サービス 1 ドメイン発行 Route 53 2 証明書発行 ACM、Route53 3 VPC作成 VPC 4 セキュリティグループ作成 セキュリティグループ 5 VPCエンドポイント作成 VPCエンドポイント 6 ALB作成 ALB 7 コンテナイメージ作成 ローカルマシンなど 8 レポジトリ作成とイメ…
今日の積み上げ AWS学習 社内ハンズオンイベント資料を作成した AWS Hands-on for Beginners「Amazon Elastic Container Service 入門 コンテナイメージを作って動かしてみよう」を視聴した AWS公式デジタルトレーニング「Architecting Serverless Solutions on AWS (Japanese) 日本語吹き替え版」の前提条件の復習までやった 英語学習 新教材（File06）の６日目をやった（タニケイ式シャドーイング） AWS学習 今日は丸一日AWS漬けで、結構集中して学習できた。 来年１月に２日間の日程で社内ハン…
こんにちは、リンクアンドモチベーション SREグループの久原です。今回はSREチーム内で取り組んでいるAmazon ECS on Amazon EC2(以下 ECS on EC2)構成からAmazon ECS on AWS Fargate(以下ECS on Fargate)構成への移行プロジェクトについて、特にEC2とFargateの差分を中心にお話しできればと思います。 背景 サーバーレスへの移行に関するメリットについてはここでは詳しくは触れませんが、一般的に言われているように サーバー管理等の運用コスト削減 が主な移行の背景となります。 弊社ではこちらの記事に記載のある通り、4Keys M…
はじめに お久しぶりです。 本ブログは 「AWS App Runner Advent Calendar 2022 17日目の投稿」となります。 このアドベントカレンダーでは、2022年のAWS App Runnerアップデート振り返りやAWS App Runner好きのエンジニアによる「動かしてみた」系の内容がたくさん投稿されており、筆者としても楽しく読ませてもらっています。 僕もAWS App Runner好きの一員として折角エントリーしてみたので、敢えて少し毛色の違ったトピックをご紹介します。 そのテーマはズバリ、「AWS App Runnerの正体を探る」です。 ちょっと何言っているのか…
こんにちは、22卒エンジニアの 川本 です。 先日「AWS JumpStart 2023 設計編」という研修に参加してきました。 2日間と短い時間でしたが、とても内容が濃くて勉強になったので、本記事では研修の内容や参加した感想を綴っていきたいと思います。 AWS JumpStartとは？ AWS公式HPでは以下のように書かれております。 「AWS JumpStart 2023 設計編」はAWS 初学者のエンジニアの方々を対象とした、実践的な研修プログラムです 将来的にAWS 活用をリードする人材になるための第一歩をスムーズに踏み出せるようなプログラムをご提供します 単なるAWS サービスの学習…
gihyo.jp WEB+DBのmasayoshiさんSRE記事が完結したけど、SDでキャディ社のSRE記事が始まった。 「平林万能IT技術研究所」 グリコ森永事件の中の1つの話題であった、21面相/玉三郎の無線交信から、電波伝達の話。面白い。 「結城浩の再発見の発想法」 今回はIDの話。唯一性・有効範囲・変更可能性。次回で終了かー。 「一度は学んでおきたいCPUのしくみ」 uchanさんらによる記事。ISA、論理演算、レジスタ、アセンブラ、MA、パイプライン、キャッシュ、並列処理、SIMD。わかる内容多めだけど、クラウド時代でこれからこのあたりに興味持つ人はさらに減っていくのかな…。 「新人…
3月26日(日)に名古屋国際会議場で開催される、名古屋コミティア62にサークル参加します！
先週初めてCodePipeLineを使ってみました その時のメモを残しておきます。 前提 CodeCommitにコミットができる状態であること CodeBuildで手動ビルドができる状態であること CodePipeLineとは？ CodePipeLineはAWSのCI／CDサービスです。 各フェーズごとにステージを作成することができ、 さらにステージ内で行う行動をアクションで定義することができます。 例えば、コミットステージにCodeCommitのプッシュをトリガーとして初め、そこの成果物を元にビルドステージでアクションとしてCodeBuildのビルドやテストを行う、と言ったことを直感的に作れ…
AWSのログ管理についてはいくつか考えるポイントがあると思います。 どのログを保存するか。 CloudWatch Logs（以下CW Logsと記載）とS3のどちらに保存するか、もしくは両方に保存するか などなど。 システムの特性によるところも多いかと思いますが、自分の中でのログ管理のベースラインが定まりつつあるので、頭の整理がてらまとめます。 自分の中での大まかな方針としては以下です。 S3に保存できるものは基本S3に保存する。 以下の場合は、CW Logsに保存する。必要に応じてS3に転送する。 アラームを出したい場合 さっとCW Logs Insightでログを確認したい場合 CW Lo…
Litestream を Dockerfile に同梱して node のなんか動かすやつです。ここでは Next.js & Prisma 構成のサーバー動かします。 主な必要なファイル Dockerfile litestream.yml entrypoint.sh 1. Dockerfile FROM node:18-alpine as builder ADD . /app WORKDIR /app ADD https://github.com/benbjohnson/litestream/releases/download/v0.3.9/litestream-v0.3.9-linux-amd…
サーバレス サーバーレスコンピューティングを実行するAWSリソースはどれ？ AWS Fargate: Amazon Elastic Container Service (ECS) と Amazon Elastic Kubernetes Service (EKS) の両方で動作する、コンテナ向けサーバーレスコンピューティングエンジンです。 サーバレスコンピューティングとは、ユーザー側でサーバーの設定なしに利用できるコンピューティング処理を実行するサービスのこと. Fargate を使用すると、開発者はサーバー管理なしにアプリケーションの構築に簡単に集中することができます. Fargate ではサ…
環境の自動化 Q. 次のAWSサービスの中で、Puppetを使用してEC2インスタンスの構成方法を自動化するサービスはどれ? AWS OpsWorks: Chef や Puppet のマネージド型インスタンスを利用した構成管理サービスです。 Chef や Puppet は、コードを使用してサーバーの構成を自動化するためのオートメーションプラットフォームです. Puppetを使用してEC2インスタンスの構成方法を自動化することができます. aws.amazon.com Q. .NETアプリケーションをAWSにすばやくデプロイするのに役立つサービスはどれ？ Elastic Beanstalk: A…
こんにちは、大石（@se_o_chan）です。 2023年3月15日に開催されたJAWS-UG 朝会 #43に「5分でまとめるAWSマイグレーション」というタイトルで登壇しました。
どうもーキュービックでテックリードをやっている尾﨑です。 本日は会計や組織データなどのマスタ管理を行なっているNetSuiteのSuiteTalk REST Web ServicesからREST API連携した時のお話をしたいと思います。 Komawoの全体アーキテクチャ スクラッチで連携した事例は希少だと思うので、困っている方の課題解決に繋がると嬉しいです。 構成が長いので以下の3遍でご紹介したいと思います。 ・OAuth2.0トークン認証によるREST API連携★ ・OAuth2.0クライアント認証によるRest API連携 ・トークンベース認証によるRestlet API連携 本日はO…
はじめに ジオキャッシングをします フェリーざまみ３に乗船します 昼食にします 宿ナトゥーラにチェックインに行きます レンタカーを借ります 座間味（ざまみ）ダムです ジオキャッシュ「Peace Tower」です ジオキャッシュ「A ROCK」はＤＮＦです 高月山展望台です ジオキャッシュ「Marilyn Ni Aitai」です ジオキャッシュ「GC3TZ6E Resurrected」です 神の浜展望台です ジオキャッシュ「A Thousand Stars Cache」です 女瀬の崎（ウナジノサチ）展望台です ジオキャッシュ「Viewpoint of ECS」です スーパーに行きます 今日の宿で…
こんにちは。 エキサイト株式会社で内定者アルバイトをしている平石です。 今回は、AWS CDKで正しくリソースが定義されているかをテストするための方法をご紹介します。 前の記事 tech.excite.co.jp 2種類のテスト AWS CDKは通常のプログラミング言語で記述できるということもあって、テストが書けるというのも魅力の一つなようです。 AWS CDKでは2種類のテストがサポートされています。 一つは、CDKで記述したコードから生成されたAWS CloudFormationテンプレートの特定の要素をテストするためのFine-grained assertionsと呼ばれるものです。 あ…
こんにちは、 フォーカセル開発チーム所属の id:hano_tea です。 弊チームではアプリケーションを AWS ECR, ECS を利用して稼働させており、デプロイには CircleCI を利用しているのですが、 先日 CircleCI 周りの設定を見直した際に謎のエラーが発生、ビルドがコケて少しハマってしまいました :sob: エラーメッセージから原因の特定がやや難しいタイプの問題で、同様の現象に遭遇したという記事、情報も特に見当たらなかったため、 記事として原因と対応方法を書き留めておこうと思います。 TL;DR aws-ecr Orb v8 から Multi-arch build が…
こんにちは！クラシルでサーバーサイドエンジニアをやっています @_kobuuukataです！👩🏻💻 私は、現在クラシルサーバーサイドの技術改善チームに所属し、技術的負債の解消に取り組んでいます！ 今回の記事では、技術改善チームでどんなことに取り組んでいるかについて紹介したいと思います💁♀ 技術改善チームについて クラシルサーバーサイドの技術改善チームは2021年1月より発足しました。 それまではスピード重視での開発を進めてきたのですが、使っているミドルウェアやライブラリがEOLを迎え、サービス全体に影響のあるものに対して向き合っていく必要が出てきました。 当初はRails, Rubyバー…
toris.io
techblog.kayac.com
speakerdeck.com
sinsoku.hatenablog.com
engineer.crowdworks.jp
qiita.com
techblog.housmart.co.jp
www.itmedia.co.jp
logmi.jp
