EKS

こちらは Eureka Advent Calendar 2021の12/20の記事となります. English Version: medium.com はじめに こんにちは、エウレカSREチームのnari/wapperと申します👋 最近は、データライフサイクル・プライバシープロジェクト/データプラットフォームの移行/審査サービスのMLシステムのインフラなどを担当したりしています(Site Reliability Engineerなのかわからなくなってきた) その中で今回は、審査サービスにおける画像カテゴリ分類モデルを、EKSで本番環境にリリースした話を紹介したいと思います。 EKS Clust…

21卒広告技術部のyamaYuです。 マトリックスの新作が楽しみです。 過去作を見返さなくてはと思いつつこの記事を書いています。 個人的には第一作が一番好きです。 さて、こちらの記事はGunosy Advent Calendar 2021の15日目の記事になっています。 昨日は村田さんの『AdKDD & KDD 2021 に参加しました』という記事でした。 今回は、EKS Managed Node Groupでカーネルパラメータを変更する必要があったのですが、一筋縄ではいかなかったのでその話を書こうと思います。 背景: net.core.somaxconnを増やしたい Kubernetesでs…

はじめに こんにちは、SREチームのおかざきです。今回はAWS EKS Fargateを用いて、GithubのPull Requestがオープンされたら専用のコンテナ環境を起動してインフラ面の動作チェックまで全自動で行う仕組みを構築したので、ご紹介します。 ※この記事はEmotion Tech Advent Calendar 2021の3日目の記事です。 なぜ作ったか まず、弊社の既存動作確認環境についてです。 以前のブログ記事に示すように、AWS Elastic BeanstalkのECS EC2で構築されています。 弊社の開発はGitHub flowで行っており、開発したfeatureブラ…

はじめに 2021/11/27にサイバーエージェントのクラウドネイティブハンズオンに参加した。 この記事は参加直後に書いている。 サーバーサイド志望学生向けクラウドネイティブハンズオン【オンライン】【Fargate/k8s】 - connpass ハンズオン AWSのコンテナマネージドサービスはAWS Fargate,EKSなどいろいろな形で提供されてる。これを実際にコンテナの作成、デプロイを行うハンズオンを行った。 私は現在もDockerコンテナを作成して運用しているものの、凄く小規模なものなのでlinuxのcronで定期実行する単純な使い方をしていた。 そのため以前より、k8sなどのマネー…

はじめに こんにちは！技術統括本部SREユニットに所属している岡田です。SREでは、ちょっとしたテスト環境としてAmazon Elastic Kubernetes Service (EKS)を使用しております。EC2インスタンス（ワーカーノード）はセルフマネージド型ワーカーノードであり、ネットワークなどの構成管理をTerraformで行っています。低価格なインスタンスタイプで契約をしているのですが、使用できるIPアドレスの最大数に限りがありデプロイできるPod数がかなり少ないという課題を抱えていました。ところが、この制限数を緩和できるというニュースがAWSから出されました。以下に示すEKSの物…

1. 構成 以下の構成で EKS Cluster を作成します。 2. 手順 2.1. VPC 作成 Terraform（1.0.8）を使用します。イチからコードを書くのは面倒なので今回は terraform registry の VPC Module（Simple VPC）を使用します。 https://registry.terraform.io/modules/terraform-aws-modules/vpc/aws/latest 必要なファイルは 2 個です。 まずは provider.tf を作成します。 provider "aws" { region = "ap-northeast…

記事目安...10分 はじめに Helm とは Helm の主要コンポーネント NGINX Pod のデプロイ手順 前提条件 EKS クラスターがデプロイされてる 実行ホストに必要なパッケージがインストールされてる 実行ホストが EKS クラスターを操作できる NGINXのデプロイ Helmのダウンロード Nginx Chart のダウンロード Nginx Chart のデプロイ デプロイ後の動作確認 後片付け Nginx Chart の削除 bitnami Repository の削除 Helm CLI の削除 EKS クラスターの削除 Tips Helm Hub Chart の探し方 公式…

今回の切符これくしょんは「藤沢新駅高架乗り入れ記念乗車券」を紹介いたします。 江ノ電こと江ノ島電鉄の藤沢駅は長らく2面2線の地上駅だったのが、再開発に合わせて1974年に高架の2面1線の駅へと改築されると共に、駅ビルの供用も始まりました。 入れ物は白地に青色印刷のシンプルなもので、深夜の併用軌道で某自転車兄貴が並走したことで有名な300形305Fの若かりし頃の姿を描いたイラストがいい味を出しています。 イラストは開業した高架線を走るものと、駅ビルをバックにバスと並んでいるものがあります。 なお当時の社名は江ノ島電鉄ではなく、江ノ島鎌倉観光というもので、略称もEER*1ではなくEKS*2というも…

SRE の hatajoe です。 私が所属しているチームでは、これまで数多くのサービスのインフラ基盤を Amazon EKS へ移行してきました。 その過程で多くの乗り越えなければいけない課題に直面して来ましたが、今回は Kubernetes クラスタで安全に CronJob を扱うための Tips を紹介したいと思います。 CronJob CronJob とは、定義したスケジュールに応じて Kubernetes クラスタで実行されるジョブリソースです。 Kubernetes のジョブリソースには Job と CronJob の２種類がありますが、今回は CronJob の話になります。 C…

ツイート 西田和史(k.bigwheel) 開発基盤エンジニア @ Speee ⌨️🖊️ @k_bigwheel https://aws.amazon.com/jp/blogs/news/amazon-eks-launches-ipv6-support/ うーん、KubernetesというよりVPCがIPv6ベースになる影響が大きい。EKS以外のコンポーネントもあるのでなかなか検証が難しい。プログラムのIPv6対応の話もある。新規プ… https://twitter.com/i/web/status/1484144094079160325 21:41 西田和史(k.bigwheel) 開発基盤…

こんにちは、株式会社ライトハウスでエンジニアをしている宮城です。 今回は、RustでGitHub Actionsの実行時間を集計するツールを作成した話をします。 目次 GitHub Actionsの実行時間を可視化するにいたった背景 要約 詳細 困ったていたこと 解消方法 この体験を通して気がついた課題 Rustでツールを作った背景 ツール紹介 実装時にハマった箇所 終わりに GitHub Actionsの実行時間を可視化するにいたった背景 要約 困っていたこと 一回の変更で多数のCIが実行され、多くの課金時間が消費される 解消方法 ダミーJobを用意して、実行時間を短縮する この体験を通して…

2021年の振り返り 🎉 幅広く技術を語れるように学び続けた ⭕ 2019年から3年連続で「幅広く技術を語れるように学び続ける」を年間目標にしていた．直近3年ほど技術講師をしているため「教える」ことを軸に学ぶことが多く「語れる = 教えられる」という目標設定は自分自身に合っている．2021年も四半期ごとに以下の中目標を掲げていた． 1-3月 : Kubernetes を実践的に学ぶ 4-6月 : 機械学習に入門する 7-9月 : Kubernetes をセキュリティ観点で学ぶ 10-12月 : 機械学習を実践的に学ぶ 継続的にインプットをし続けて，後述するテックブログも中目標に沿って多く書けた…

イベントページ hackermeshi.com 集計期間 2022年1月1日〜2022年1月17日 アップデート情報 ★・・・週間AWSで紹介されていた内容 ●・・・個人的に気になった内容 No. Title Note 1 Amazon Lex launches support for Catalan Lexは会話型インターフェースを作成できるサービス。いわゆるAlexaのようなものを作りたい時に使われる。 カタルーニャ語のサポートが開始されたといった内容だけど、個人的にはいつのまにか日本語に対応していることに驚いた… 2 AWS Console Mobile Application adds…

2021年12月にAWS SA&DevOps Pro更新試験を申し込むついでに GCP認定も申し込んで2022年1月11日にゲットしてきたので、記憶が残っているうちに学習方法などを記録。本当は年末年始にしっかり学習する予定だったのだが、結局サボってしまい毎度のごとく直前週末3日間に追い込みをかけることに。。 経歴 学習方法 学習スケジュール 書籍で最新のサービス全体像把握 Whizlabsで問題演習 参考にした記事(の一部) GCP学習時 その他学習教材 (未実施)Qwiklabsでハンズオン Udemy 所感 経歴 GCP 業務・プライベートともにほぼ未経験 Associate Cloud …

スタディプラスでSREをしてます、ksugaです。 最近は寒くて、電気毛布が欠かせません。寝るとき足元に電気毛布を敷いて寝ると睡眠が深く、疲れが取れます。 毎年恒例になっている「スタディプラスを支えるインフラ技術」を書いていたら公開が年明けになってしまいました。振り返りも兼ねて2021年に何していたかブログを書いたので良ければご一読ください。 昨年までの記事はこちらです。 tech.studyplus.co.jp tech.studyplus.co.jp はじめに システム構成 セキュリティ 利用中の主なAWSリソース 構成管理 CI/CD 監視・検知 その他 最後に はじめに 弊社には大きく…

今回のテーマ：模擬試験1回目問題と要点 SAA模試1回目 EBS 設問ポイント 200GB規模のRDB 13:00～17:00がピークタイム コスト効率がよいストレージ？ 解説 コスト効率のよいSSD 汎用SSD 200GBのRDS＝小規模 ピーク時4時間 高速アクセスなし コスト効率よくないSSD プロビジョンIOPS 高いスループット アクセス頻度高い コスト効率：汎用SSD＞スループット最適化>プロビジョンIOPS 設問ポイント 500MiB/sのスループット 継続的なログ処理 処理性能とコスト効率？ 解説 コスト効率のよいHDD スループット最適化HDD 500MiB/sのスループット…

小西秀和です。 前回は「歴史・年表でみるAWSサービス(Amazon S3編) －単なるストレージではない機能・役割と料金の変遷－」の記事でAmazon S3の歴史や料金の変遷などを紹介しました。 今回は数年の間に名称変更や様々な機能が統合されてきたAWS Systems Manager(SSM)について歴史年表を作成してみました。 ただ、前回とは異なり、今回は料金の変遷や細かいアップデートは省略してSSMの主要な機能だけに着目しています。 また、本記事執筆時点の「現在のAWS Systems Managerの機能一覧と概要」もまとめました。 今回の記事の内容は次のような構成になっています。 …

ECS (Amazon Elastic Container Service) コントロールプレーン(コンテナの管理機能) タスク(Task) タスク定義(Task Definition) サービス(Service) クラスター(Cluster) ECSのコンテナ管理概念の関係 データプレーン(コンテナの実行環境) Amazon Elastic Compute Cloud (EC2) AWS Fargate リポジトリサービス Amazon Elastic Container Registry(ECR) ECS (Amazon Elastic Container Service) ECSはフルマ…