EKS

こんにちは。READYFOR で SRE として働いている jedipunkz 🚀 と申します。👋 READYFOR では今後のサービス環境として AWS ECS の導入決めて現在作業中なのですが、ご存知の通り 2020 年現在の SRE / インフラ界隈の主なネタは Kubernetes が主流になっています。そこで、我々 SRE が管理しているボット環境 (今までは docker-compose で半自動化されていました) を EKS を使って GitOps 化しようということになり無事導入が出来たので、構成や技術要素について記したいと思います。 (この記事は個人ブログの内容とだいぶ被りま…

EKSのIAM roles for service accounts機能(サービスアカウントにIAM ロールを割り当てる機能)を使いたい場合の注意点です。 AWS SDKのバージョンを確認する IAM roles for service accounts機能を使いたい場合、サポートされているバージョンでないと機能しません。 以下のページにサポートされているSDKバージョンが記載されているので確認しましょう。 サポートされる AWS SDK の使用 - Amazon EKS 私が試したとき使っているSDKのバージョンが古くて動かなく、無駄に時間を消費しました。。 コンテナのプロセスがroot権限…

遅ればせながらEKS on Fargateを使ってバッチ処理を行うことになったので検証を行いました。 通常、EKS上でジョブを実行する場合、Webサービス等の実行ノードと同じかもしくは分けてバッチジョブ用のノードを用意することになるかと思いますが、ノードを分けない場合は、バッチ処理による負荷がサービスへ影響を与える可能性がありますし、ノードを分ける場合は、利用しない間も起動しておく必要があることからコスト面が課題になってきます。 そのため、バッチ処理をFargate上で実行することで、処理の負荷の影響を切り離してかつ必要な時に必要なリソースだけ利用することでコストの最適化も行えるのではないかと…

この記事は freee Developers Advent Calendar の 14 日目です。 どうも id:renjikariです。 10月にEKSのingress controllerが2.0.0になり名前がAWS Load Balancer Controllerになって登場しました。 ぶっちゃけ私はingressにも、もとのalb-ingress-controllerにも全然詳しくないんですがこの機会に新旧のControllerを構築して試して(遊んで)見ようと思います。 できるだけだれでもできるように目指します。構築は基本的にはAWSの公式に則ります。 EKSの構築: https:…

本記事は、Gunosy Advent Calendar 2020 8日目の記事です。 前回の続きとなります。 tech.gunosy.io 今回は後編として、実際にEKSクラスター構築の途中からアプリをデプロイする環境を整える流れをご案内し、最後に運用管理フェーズで必要となるであろうオススメ監視設定についてご案内します。 クラスター構築・後編（kube-system） アプリのデプロイ編 Helm Skaffold 監視運用編 アラート設定 cloudawach datadog dashboard さいごに クラスター構築・後編（kube-system） さて、EKSクラスターとASGも用意で…

これは何 EKSでPodSecurityPolicyを適切に設定しようとすると、必ずはまるeks.privileged。この記事ではeks.privilegedが何なのか、またEKSでpspを適切に設定する方法について1つの方法を記述する。 特に、色々な記事ではeks.privilegedを削除する方法が書かれているが、k8sやterraformのような宣言的resource管理において、管理外resourceを手動で削除しないで良い方法について考える。 PodSecurityPolicyの基本 PodSecurityPolicyを設定していますか？特権を持ったPodをk8s clusterで…

これは何 EKSでパスワード等のsecret情報を利用するにあたり、EKS x parameter store/secret secret manager x kubernetes-external-secretを利用する際に、IRSA+assume roleで権限を絞る方法について 背景 EKSを利用する際の課題として、Secretの管理をどのようにして行うのか、といった問題がある。 1つの解として、AWS Parameter Store / Secret Manager / etcによるパスワード等の管理を行い、kubernetes-external-secretsを利用して、Extern…

GitOps構成図 良いエンジニアライフを送ろう！ Libryでスクラムマスター兼フロントエンドエンジニアをしている岩西である。 今回はフロントエンドエンジニアと称しながら、その枠を超えてLibryのインフラ部分の運用改善にどのような取り組みをしているのか、一部分だけでも技術的に掘り下げて話していけたらと思う。 ここでは上の構成図の青枠で囲んだ部分(CD)を中心に書いていこうと思う。 Libryの運用改善に対する取り組み Libryではプロダクトの改善に加えて、サービス運用改善に向けても取り組んでいる。 例えば自社開発のプロダクトをDockerコンテナを使って開発〜本番環境まで一貫して実行でき…

■awscliのすべてのコマンドとサブコマンドを一覧してみる。 $ aws --version aws-cli/2.1.16 Python/3.7.3 Linux/4.19.0-13-amd64 source/x86_64.debian.10 prompt/off ■以下のような制御文字のために条件式を変えたスクリプトをgithubに置いた。 $ aws help | cat -A | awk '/A.*V.*A.*I/' A^HAV^HVA^HAI^HIL^HLA^HAB^HBL^HLE^HE S^HSE^HER^HRV^HVI^HIC^HCE^HES^HS$ $ git clone htt…

第4章 APIリソースとkubectl 4.1 起動 gcloud init gcloud container clusters create k8s --cluster-version 1.15.9-gke.26 --zone asia-northeast1-a --num-nodes 3 gcloud container clusters get-credentials k8s --zone asia-northeast1-a kubectl create --save-config clusterrolebinding iam-cluster-admin-binding --cluste…

既存のEKSクラスタにterraformでFargateのPodを導入する際に、ハマったところを紹介します。 TL;DR クラスタセキュリティグループ の設定を見直しましょう。 クラスタセキュリティグループ mapRoleへの付与漏れ Farage導入においては以下の記事がわかりやすいのですが、書いてあるとおりfargate profileを生成すると自動でmapRoleに pod execution roleが入ります。 tech.recruit-mp.co.jp しかし、terraformで導入していてmapRoleもterraformで管理していると、 terraformでfargate…

寒いんだが？ めっちゃ寒いんだが？ 今の仙台の気温また-7℃なんだが？？ これまたぼくのところ-10℃ぐらいやんけ 冗談ではなく人が生きれないレベル 数年に一度の寒波(1週間ぶり2度目)とか頭おかしなるわやっぱラニーニャなんやなって 「うち、今夜しょばすたが始まったらヒメコちゃんに言いたい事があるんだ！楽しみ〜♪」ほわんちゃんの実家えいやっと村のみんなもTVの前で全力待機中ですぞ(●´ω｀●)みんなも見てね♡しょばすた放送配信情報はこちら→ https://t.co/tm5BNChb5u#SB69 pic.twitter.com/EkS4cln2UN — SHOW BY ROCK!!公式SB6…

AWSコンソールのEKS画面で Your current user or role does not have access to Kubernetes objects on this EKS cluster This may be due to the current user or role not having Kubernetes RBAC permissions to describe cluster resources or not having an entry in the cluster’s auth config map と表示される場合は、権限設定が必要です。 例えばAW…

Windows上でAWS CLI V2を使って aws cloudformation create-stackする時に 日本語を含むテンプレートが読み込めずにエラーになると相談されたので、夜中まで調べた。相談の際に引用されたURLはこれだった。 CloudFormationに日本語コメントを含めるとエラーになる場合の解決方法 | LaptrinhXちなみに例外の箇所はここだ。 aws-cli/paramfile.py at 96359d999dffc0357eaba4d150f2ffe4d2a68ce7 · aws/aws-cli · GitHubこんなメッセージがでる。 Unable to …

今回はEKSでDNSを安定させるために対応した話を書きたいと思います*1。 一定数のPod以上になるとサービスが不安定になる conntrack溢れの犯人はkube-dns(CoreDNS) conntrackのmaxを増やす kube-dnsのautoscale node-local-dnsも入れる node-local-dnsを入れた途端にDNSまわりが再び不安定に node-local-dnsの利用ポイント@EKS 無事に安定 *1:ChatworkのEKS運用はシングルクラスタ・マルチテナントです

「完全に理解した」とは チュートリアル、ハンズオンを完走して自信だけ最高潮になった状態を指す。 API Gateway を完全に理解した 10月頃にさわっていた。年末年始に計上するのはいかがなものか。気にしないことにした。 クラメソさんが REST のと HTTP の記事を用意してくださっていた。 dev.classmethod.jp dev.classmethod.jp API Gatewayのクォータ。Lambdaは15分も動かせるけど、API Gatewayは30秒でタイムアウトする。 docs.aws.amazon.com API Gateway自体には凝ったメトリクスは無い。このメト…

ちょうど冬休みに入る頃から技術書典10が始まってます。 今回もたくさん買ったのでご紹介、あと一部は読み終わったのでかんたんにレビューしました。 読み終わった VoiceXMLって知らなかったけど、IVR向けのSSMLみたいなものらしいです。すでに活用できるところはほとんどないらしいんですが、音声つながりということで。SSMLは発話を定義するものだけど、VoiceXMLは分岐の制御とかもできるんですね。なかなか興味深かったです。 ちょうどTerraform＋EKSをやっていたのでテーマ的にはドンピシャでした。Terraform＋EKSの組み合わせ、やったことある人なら誰しも悩むそれぞれの責任分担…

年明け前に書き始めてたけど途中で投げ出していたので年を明けてしまった2020年の振り返り。下書きもうまくいってなかったらしく文が大量に消えてしまったので覚えてる範囲でもう一回書いているw 仕事 2019年4月に今の会社に入って12月で1年9ヶ月になる。前職は2017年4月入社なので社会人としては4年目の多分中堅ぐらいになった。 今年の4月からリモートワークになって出社という概念のない生活が訪れとてつもなく快適に暮らしている。友人がコロナ関係なくリモートワークをやってる話をちらほら聞いていて羨ましいなと思っていたので「次の転職ではリモートワークも条件にしよう」とか考えていたので今の会社でできたの…

ImagePolicyWebhookを有効にする手順を確認したメモ。実装はないので動かない。手順の確認のみ。 参考リンク https://kubernetes.io/docs/reference/access-authn-authz/admission-controllers/#imagepolicywebhook https://github.com/killer-sh/cks-course-environment/tree/master/course-content/supply-chain-security/secure-the-supply-chain/whitelist-regist…