Fargate

こんにちは。READYFOR で SRE として働いている jedipunkz 🚀 と申します。👋 READYFOR では今後のサービス環境として AWS ECS の導入決めて現在作業中なのですが、ご存知の通り 2020 年現在の SRE / インフラ界隈の主なネタは Kubernetes が主流になっています。そこで、我々 SRE が管理しているボット環境 (今までは docker-compose で半自動化されていました) を EKS を使って GitOps 化しようということになり無事導入が出来たので、構成や技術要素について記したいと思います。 (この記事は個人ブログの内容とだいぶ被りま…

遅ればせながらEKS on Fargateを使ってバッチ処理を行うことになったので検証を行いました。 通常、EKS上でジョブを実行する場合、Webサービス等の実行ノードと同じかもしくは分けてバッチジョブ用のノードを用意することになるかと思いますが、ノードを分けない場合は、バッチ処理による負荷がサービスへ影響を与える可能性がありますし、ノードを分ける場合は、利用しない間も起動しておく必要があることからコスト面が課題になってきます。 そのため、バッチ処理をFargate上で実行することで、処理の負荷の影響を切り離してかつ必要な時に必要なリソースだけ利用することでコストの最適化も行えるのではないかと…

はじめに はじめまして。クラウド推進課の保田（ほだ）です。 会社に提出している個人の年間目標がこのエンジニアブログを月一で更新するというものでしたが、個人でやっているブログの方にうつつを抜かし、気がつけば12月も半分近く過ぎてしまっていました。 なのでこれから書きます。 何事も始めるのに遅すぎることはない、開き直りは大事かと存じます。 よろしくお願いします。 好きな食べ物はカップヌードルのシーフード味です。 この前箱買いしましたが、昼と夜に一つずつそれだけを食べるという生活になってしまったので買うのはやめました。 いつもお湯を入れる前に乾燥した具をつまみ食いするのがやめられないので、来年はやめ…

qiita.com こんにちは、はじめまして。虎の穴ラボのはっとりです。 虎の穴ラボ Advent Calendar 2020 - Qiita - Qiita 7日目の記事になります。 6日目はT.MさんのSaaSに関する記事です。 toranoana-lab.hatenablog.com 8日目は、礒部さんの画像判別ボットに関する記事です。 toranoana-lab.hatenablog.com 新規サービスに携わることになり、その際AWS Fargateを使った環境構築を担当したので構築方法を共有します。 この記事で話さないこと アプリケーション側の作り こちらはまた別の機会に紹介したい…

こんにちは、Tier IVでMLOpsを担当している澁井（しぶい）です。 Tier IVには2020年9月に入社して、現在社歴2ヶ月です。Tier IVでは自動運転のための機械学習システムとオペレーションを開発しています。MLOpsでは機械学習のパイプライン開発から基盤構築、運用までをエンドツーエンドに行うのですが、MLOpsエンジニアは現状私一人で、寂しく気ままに開発しています。 前職ではECの会社でMLOpsとEdge AIを担当していました。基盤の一部にAWSのKubernetesマネージドサービスであるEKS (Elastic Kubernetes Service) を使っていたのです…

1. 環境 2. 作業 ① ECSプラグインをインストールする ② クラスター作成 ③ タスク定義作成 ④ Jenkins Slave Template 設定 ⑤ 動作確認 3. 最後に 1. 環境 OS : AmazonLinux2 Jenkins : 2.223-1.1 ECS プラグイン: Amazon Elastic Container Service (ECS) / Fargate plugin(1.26) <前提> AmazonLinxu2 に Jenkinsがインストールされていること(Yumでインストールできます) 2. 作業 ① ECSプラグインをインストールする Jenki…

OpenStackを調べることになって、「これはAWSのサービスで言うと何？」という風にしたほうが理解が早いので、まとめてみることにした。 まず最初に AWSでEC2とかS3とかサービスと呼ばれているものは、OpenStackだとコンポーネントと呼ぶらしい。 一覧 AWSサービス名 OpenStackコンポーネント名 説明 EC2 Nova コンピューティングリソースの提供 VPC Neutron ネットワーキング機能を提供 ELB Neutron/HaProxy ロードバランシングもOpenStackだとNeutronに入っているらしい S3 Swift オブジェクトストレージ機能 AMI …

既存のEKSクラスタにterraformでFargateのPodを導入する際に、ハマったところを紹介します。 TL;DR クラスタセキュリティグループ の設定を見直しましょう。 クラスタセキュリティグループ mapRoleへの付与漏れ Farage導入においては以下の記事がわかりやすいのですが、書いてあるとおりfargate profileを生成すると自動でmapRoleに pod execution roleが入ります。 tech.recruit-mp.co.jp しかし、terraformで導入していてmapRoleもterraformで管理していると、 terraformでfargate…

■良かったこと①AWSのハンズオンを受けたことコンテナの研修を受けた。ECS、FargateというよりはDockerの使い方がメインだったけど初めてdocker runを経験できた。まだ概念やら便利さやらはよくわからんからガッツリ使ってみる機会があるといいんだけどな～。無償で3時間も丁寧に教えてくれるAWSさん、神だー。 ②魚丼を食べたことサーモンユッケ丼激旨！そして550円という安さでメニュー数が何十種類もあるというね。毎日でもいけるわ(笑) ③モンハンをやったこと深夜2時まで(笑)寒いしコロナだし家でゲームの一択ですな。

写真投稿系のアプリケーションをAWS上にデプロイしていて、画像投稿機能が動かなくていろいろ試して直せました。 AWS環境のデバッグは知見がなくて大変時間かかりましたが、こういう経験がスキル高めるのに役立つと思うので引き続きコード書いていきます。

スマートキャンプ、エンジニアの入山です。 昨年末から弊社BOXILでは、EC2からECS/Fargateへのインフラ移行作業を実施しています。 EC2運用からコンテナベースのECS運用への移行は、インフラの思想として異なる部分も多く、一筋縄ではいかないということを日々痛感しています。特に運用面に関する仕組みやノウハウは大きく異なっているため、今までと同等の運用を異なる方法で実現する必要があり、頭を悩ませることが多いです。 例えば、今まではEC2にSSHしてコマンドを投入していたが、ECS/Fargate上で同じことをどうやってやるのか…など。SSHしなくても良い運用にすることも必要ですが、今ま…

こんにちは。ロジカル・アーツの井川です。 以前に Step Functions を使う機会があったので、整理も兼ねて少しまとめてみたいと思います。今回は三つの Lambda 関数を呼び出しながらループ処理を行う、簡単なステートマシンを作成してみたいと思います。 なお、この記事は大別すると、概念・機能の説明（前半部）とハンズオン（後半部）からなります。とりあえず手を動かしてみたいという方は、以下目次の「Lambda 関数を使ったループ処理」から読み進めるといいかと思います。

ECS Fargateでファイルを読み込むことをしたいなと思って調べてみた。 結論 どうやらできないらしい。 厳密には、EFSを使えばできるけど個人的に求めていたのはそうではない。もっとライトにファイルを上げて、取っておいてくれるような。S3に置いてある特定の一つのファイルだけを読んでくれるとか。 そういうのを求めていたのですが、どうやらできないらしい。 できること Volumeマウントは出来るとのこと。 qiita.com docs.aws.amazon.com qiita.com これだと、ログを出力するとかそういう出力系は使えると思うんだけど入力が出来ない。普段Docker使うときにはv…

1月〜2月 opsworksで動いてたサービスをECS Fargateに移行 新規サービスをECS Fargateで構築 3、4月 kinesisまわりのコスト効率化でScala書く 5、6月 AWS WAF 7、8月 EMR on Spark external secrets導入 9月 EKS移行に向けてシニアYAMLエンジニア Argo CDぶっこわれたのなおす ECSからEKS本番移行 10月、11月 EKS移行後の問題潰し テックブログ書いたり登壇資料まとめたり App Mesh backendsの負荷分散検証 Nginx -> CloudFlont移行検証でScala書く 12月 E…

リアルではエンジニアやったり、Hyphenでは曲作ったり、はれうどんではTwitterに入り浸ってたりしたので、 せっかくだし2020年なにがあったっけ、なにやったっけっていうのをまとめてみようかなと思った。 仕事 フルリモートになった コロナというのもあって勤めてた会社がフルリモートになった。 正直毎回片道一時間かけて会社に行くと会社についた瞬間「帰りたい」ってなるので良かった。 僕は去年すでに入院中リモートしてたのもあって不安とかはなかったけど、周りは意外とそうでもないみたいだった。 去年の僕と仕事して普通に回ってたのに何が不安なんだろうなーって正直思ってた。 EKS on Fargate…

総括 仕事 細かい仕事をかなりこなしており，あまり目立った成果は何も残せなかったと思う．プロジェクトを転々としながら，最後に残ったピースを埋める仕事を淡々としていた，という印象である． 人出が必要なプロダクトの環境マイグレーションとかのinternalなタスクを多くこなしていたので，会社としては重要なタスクである一方，会社の事業に与えるインパクトは小さかったと認識している．大企業ではないがスタートアップでもない，という規模の会社で働くのは初めてなせいか，個人のSWEとしてどういった成果や立ち回りが求められるのかを手探りで働くような１年だった．また初めて外国人のマネージャの下で働いたが，常に言語…

はじめに こんにちは。都内でエンジニアをしている nariです。 去年に引き続き、今年2020の振り返りをして行こうかなと思います。 一言で言って仕舞えば、withコロナでのリモート生活(3月から一度も出社していない)のリズムが掴めず、最後の最後に掴みはじめた順応/準備の一年だったという感じですね。 全然成果が当初の期待値には達してないですが、向き合い来年の糧にするためにつらつら書いて行こうと思います。 ↓去年の記事 fukubaka0825.hatenablog.com 時系列で振り返る 1月 SRE NEXT開催したり、転職活動したり、業務ではUSプロジェクトの進行したりIaC推進したりし…