EKS

こちらは Eureka Advent Calendar 2021の12/20の記事となります. English Version: medium.com はじめに こんにちは、エウレカSREチームのnari/wapperと申します👋 最近は、データライフサイクル・プライバシープロジェクト/データプラットフォームの移行/審査サービスのMLシステムのインフラなどを担当したりしています(Site Reliability Engineerなのかわからなくなってきた) その中で今回は、審査サービスにおける画像カテゴリ分類モデルを、EKSで本番環境にリリースした話を紹介したいと思います。 EKS Clust…

21卒広告技術部のyamaYuです。 マトリックスの新作が楽しみです。 過去作を見返さなくてはと思いつつこの記事を書いています。 個人的には第一作が一番好きです。 さて、こちらの記事はGunosy Advent Calendar 2021の15日目の記事になっています。 昨日は村田さんの『AdKDD & KDD 2021 に参加しました』という記事でした。 今回は、EKS Managed Node Groupでカーネルパラメータを変更する必要があったのですが、一筋縄ではいかなかったのでその話を書こうと思います。 背景: net.core.somaxconnを増やしたい Kubernetesでs…

はじめに こんにちは、SREチームのおかざきです。今回はAWS EKS Fargateを用いて、GithubのPull Requestがオープンされたら専用のコンテナ環境を起動してインフラ面の動作チェックまで全自動で行う仕組みを構築したので、ご紹介します。 ※この記事はEmotion Tech Advent Calendar 2021の3日目の記事です。 なぜ作ったか まず、弊社の既存動作確認環境についてです。 以前のブログ記事に示すように、AWS Elastic BeanstalkのECS EC2で構築されています。 弊社の開発はGitHub flowで行っており、開発したfeatureブラ…

はじめに 2021/11/27にサイバーエージェントのクラウドネイティブハンズオンに参加した。 この記事は参加直後に書いている。 サーバーサイド志望学生向けクラウドネイティブハンズオン【オンライン】【Fargate/k8s】 - connpass ハンズオン AWSのコンテナマネージドサービスはAWS Fargate,EKSなどいろいろな形で提供されてる。これを実際にコンテナの作成、デプロイを行うハンズオンを行った。 私は現在もDockerコンテナを作成して運用しているものの、凄く小規模なものなのでlinuxのcronで定期実行する単純な使い方をしていた。 そのため以前より、k8sなどのマネー…

はじめに こんにちは！技術統括本部SREユニットに所属している岡田です。SREでは、ちょっとしたテスト環境としてAmazon Elastic Kubernetes Service (EKS)を使用しております。EC2インスタンス（ワーカーノード）はセルフマネージド型ワーカーノードであり、ネットワークなどの構成管理をTerraformで行っています。低価格なインスタンスタイプで契約をしているのですが、使用できるIPアドレスの最大数に限りがありデプロイできるPod数がかなり少ないという課題を抱えていました。ところが、この制限数を緩和できるというニュースがAWSから出されました。以下に示すEKSの物…

1. 構成 以下の構成で EKS Cluster を作成します。 2. 手順 2.1. VPC 作成 Terraform（1.0.8）を使用します。イチからコードを書くのは面倒なので今回は terraform registry の VPC Module（Simple VPC）を使用します。 https://registry.terraform.io/modules/terraform-aws-modules/vpc/aws/latest 必要なファイルは 2 個です。 まずは provider.tf を作成します。 provider "aws" { region = "ap-northeast…

記事目安...10分 はじめに Helm とは Helm の主要コンポーネント NGINX Pod のデプロイ手順 前提条件 EKS クラスターがデプロイされてる 実行ホストに必要なパッケージがインストールされてる 実行ホストが EKS クラスターを操作できる NGINXのデプロイ Helmのダウンロード Nginx Chart のダウンロード Nginx Chart のデプロイ デプロイ後の動作確認 後片付け Nginx Chart の削除 bitnami Repository の削除 Helm CLI の削除 EKS クラスターの削除 Tips Helm Hub Chart の探し方 公式…

この記事の続きで、非 root ユーザーの場合のケーパビリティーを EKS で確認したメモ。 準備 ノードのバージョンを確認する。 $ k get node -o wide NAME STATUS ROLES AGE VERSION INTERNAL-IP EXTERNAL-IP OS-IMAGE KERNEL-VERSION CONTAINER-RUNTIME ip-192-168-175-232.ap-northeast-1.compute.internal Ready <none> 43d v1.21.5-eks-bc4871b 192.168.175.232 <none> Amazon…

Consul を試すメモ。 https://learn.hashicorp.com/collections/consul/gs-consul-service-mesh https://learn.hashicorp.com/tutorials/consul/kubernetes-eks-aws https://learn.hashicorp.com/tutorials/consul/get-started-install コンポーネント バージョン 備考 eksctl 0.80.0 Kubernetes バージョン 1.21 プラットフォームのバージョン eks.4 Consul CLI v1…

Linkerd を試すメモ。 https://linkerd.io/2.11/getting-started/ コンポーネント バージョン 備考 eksctl 0.80.0 Kubernetes バージョン 1.21 プラットフォームのバージョン eks.4 Linkerd CLI 2.11.1 クラスターの作成 1.21 のクラスターをノードなしで作成する。 CLUSTER_NAME="linkerd" cat << EOF > cluster.yaml apiVersion: eksctl.io/v1alpha5 kind: ClusterConfig metadata: name: ${…

今回の切符これくしょんは「藤沢新駅高架乗り入れ記念乗車券」を紹介いたします。 江ノ電こと江ノ島電鉄の藤沢駅は長らく2面2線の地上駅だったのが、再開発に合わせて1974年に高架の2面1線の駅へと改築されると共に、駅ビルの供用も始まりました。 入れ物は白地に青色印刷のシンプルなもので、深夜の併用軌道で某自転車兄貴が並走したことで有名な300形305Fの若かりし頃の姿を描いたイラストがいい味を出しています。 イラストは開業した高架線を走るものと、駅ビルをバックにバスと並んでいるものがあります。 なお当時の社名は江ノ島電鉄ではなく、江ノ島鎌倉観光というもので、略称もEER*1ではなくEKS*2というも…

今回はAWS CodeCommit/CodeBuildとFluxを使い、GitHub Flowを実現することを目指して構成を考えてみました。 GitHub Flowとは GitHub Flowは開発ワークフローの1つであり、以下のようなルールが定められた、比較的シンプルなワークフローになります。 master ブランチは常にデプロイ可能である 作業用ブランチをmasterから作成する 作業用ブランチをリモートブランチに定期的にプッシュする フィードバックや助言が欲しい時、ブランチをマージしたいときは、 プルリクエスト を作成する プルリクエストが承認されたらmasterへマージする maste…

ツイート 西田和史(k.bigwheel) 開発基盤エンジニア @ Speee ⌨️🖊️ @k_bigwheel https://aws.amazon.com/jp/blogs/news/amazon-eks-launches-ipv6-support/ うーん、KubernetesというよりVPCがIPv6ベースになる影響が大きい。EKS以外のコンポーネントもあるのでなかなか検証が難しい。プログラムのIPv6対応の話もある。新規プ… https://twitter.com/i/web/status/1484144094079160325 21:41 西田和史(k.bigwheel) 開発基盤…

こんにちは、株式会社ライトハウスでエンジニアをしている宮城です。 今回は、RustでGitHub Actionsの実行時間を集計するツールを作成した話をします。 目次 GitHub Actionsの実行時間を可視化するにいたった背景 要約 詳細 困ったていたこと 解消方法 この体験を通して気がついた課題 Rustでツールを作った背景 ツール紹介 実装時にハマった箇所 終わりに GitHub Actionsの実行時間を可視化するにいたった背景 要約 困っていたこと 一回の変更で多数のCIが実行され、多くの課金時間が消費される 解消方法 ダミーJobを用意して、実行時間を短縮する この体験を通して…

2021年の振り返り 🎉 幅広く技術を語れるように学び続けた ⭕ 2019年から3年連続で「幅広く技術を語れるように学び続ける」を年間目標にしていた．直近3年ほど技術講師をしているため「教える」ことを軸に学ぶことが多く「語れる = 教えられる」という目標設定は自分自身に合っている．2021年も四半期ごとに以下の中目標を掲げていた． 1-3月 : Kubernetes を実践的に学ぶ 4-6月 : 機械学習に入門する 7-9月 : Kubernetes をセキュリティ観点で学ぶ 10-12月 : 機械学習を実践的に学ぶ 継続的にインプットをし続けて，後述するテックブログも中目標に沿って多く書けた…

Karpener を試してみるメモ。 https://karpenter.sh/ Karpenter のご紹介 – オープンソースの高性能 Kubernetes Cluster Autoscaler 公式には Getting Started with Terraform もあるが、eksctl での Getting Started に沿ってやってみる。 コンポーネント バージョン 備考 eksctl 0.79.0 Kubernetes バージョン 1.21 プラットフォームのバージョン eks.4 Karpenter 0.5.4 Karpenter チャート 0.5.4 準備 Karpente…

2021年12月にAWS SA&DevOps Pro更新試験を申し込むついでに GCP認定も申し込んで2022年1月11日にゲットしてきたので、記憶が残っているうちに学習方法などを記録。本当は年末年始にしっかり学習する予定だったのだが、結局サボってしまい毎度のごとく直前週末3日間に追い込みをかけることに。。 経歴 学習方法 学習スケジュール 書籍で最新のサービス全体像把握 Whizlabsで問題演習 参考にした記事(の一部) GCP学習時 その他学習教材 (未実施)Qwiklabsでハンズオン Udemy 所感 経歴 GCP 業務・プライベートともにほぼ未経験 Associate Cloud …

スタディプラスでSREをしてます、ksugaです。 最近は寒くて、電気毛布が欠かせません。寝るとき足元に電気毛布を敷いて寝ると睡眠が深く、疲れが取れます。 毎年恒例になっている「スタディプラスを支えるインフラ技術」を書いていたら公開が年明けになってしまいました。振り返りも兼ねて2021年に何していたかブログを書いたので良ければご一読ください。 昨年までの記事はこちらです。 tech.studyplus.co.jp tech.studyplus.co.jp はじめに システム構成 セキュリティ 利用中の主なAWSリソース 構成管理 CI/CD 監視・検知 その他 最後に はじめに 弊社には大きく…