Terraform

この記事はエムスリー SRE がお届けするブログリレーの6日目です。 エムスリー エンジニアリンググループ新卒2年目の四方田 (@k-yomo) です。 現在はBIR(ビジネスインテリジェンス&リサーチ)というチームでソフトウェアエンジニア兼チームSREとして、マイクロサービスの開発や、クラウド環境の整備などを行なっています。 最近はTerraform Providerを作り始めたり等しています。 github.com エムスリーではInfrastructure as Codeが普及しており、所属しているチームのエンジニアも今では全員Terraformを書いてクラウドインフラリソースの変更を行…

はじめに 私のサービスではデータベースにMySQLを使用しており、CloudSQLで運用しています。CloudSQLには障害時に素早く復旧するために高可用性構成という機能を提供しています。現在はレガシー高可用性構成という古い構成で運用していますが、2021第1四半期からレガシー構成が使用できなくなるようなので、新しい高可用性構成に移行してみようと思います。また、私のサービスではインフラのリソース管理にTerraformを利用しています。そのため、一連の作業はTerraformで行います。 レガシー構成から新しい高可用性構成へ移行する 移行手順はドキュメントに記載してあります。今回はそれに則って…

概要 ものは試しということで，Terraform CDKで実際に色々作ってみたのでその記録です 今回は，aws-cdk-exampleの一つを移植してみるところまでえたチップスを並べています 概要 Terraform CDK入門 install 方法 tutorial方法 exampleをみてみる AWS CDK exampleの移植 moduleっぽく使えた providerを足してみた まとめ 次回予告 Terraform CDK入門 セットアップ方法を解説します． とは言っても，公式のREADMEの通りのことをやるだけなのですが． まずは，Terraform CDKを使うにあたって，全体…

やっとのことALBロードバランサをTerraform管理しようとしたら 設定変更や再生成まわりで時間を取られたのでそのまとめ。 ターゲットグループの設定変更の問題 AWSロードバランサにおけるターゲットグループがリスナーとしてロードバランサに登録されていると、 一度リスナー登録を削除しない限りターゲットグループを削除できない。 ターゲットグループの基本的な設定として、ターゲットの種類やプロトコル、ポートなどは AWSの仕様上、設定変更できないので再作成し直す必要がある。 特にTerraformでロードバランサを管理していると (もちろん基本的な設定を変更する機会というのはほとんどないのだが) …

話す前の知識整理 Terraform CDKを話すにあたって，出てくるワードがいくつかあります． なので，以下の順番で，単語の説明と目的の一部を話していきます IaC CloudFormation Terraform CDK / Terraform CDK 全部，わかっているよ！って人は飛ばしちゃってください IaC Infrastracture as Codeというやつです． ざっくりいうと，同じことをするなら，自動化して再現性をあげようという話です． 対象としては，アプリケーションが動く土台になるVM，あるいは，ネットワークの設定まで含むAWSなどのpublic cloudなどが，思想の対…

というわけで、これちょいちょいやってしまうんですが、Terraformでskip_final_snapshot = trueを設定しないでRDSリソースを作成して、その後削除しようとすると以下のエラーが出るようになってしまったんですよ Error: RDS Cluster FinalSnapshotIdentifier is required when a final snapshot is required というわけで対応手順をメモして行こうと思います 再現方法 以下のような感じでRDSのリソースを作成する resource "aws_rds_cluster" "db" { cluster…

いままでcountで記述していたものをfor_eachに直してみたところスプラット演算子の動きが変わったのでメモ 状況 いままではVPCのサブネットリソースをcountで複数作ってそれをoutputで他のモジュールに渡して利用しておりました resource "aws_subnet" "private_data" { count = length(var.azs) vpc_id = aws_vpc.vpc.id cidr_block = cidrsubnet(aws_vpc.vpc.cidr_block, 8, 11 + count.index) availability_zone = ele…

こんにちは、グノシー広告技術部、Adnwチームでマネージャーをやっているサンドバーグです！ この記事は Gunosy Advent Calendar 2020 18日目の物となります。 昨日はsyouitさんの変更に強いリスト面とUICollectionViewの話でした。 内容としては弊社のiOSアプリでUITableViewの代わりにUICollectionViewを使っている理由と利点でした。 自分はiOSの開発やアプリ開発自体には関わることがほぼないのですが、わかりやすい説明だったので、まだ読まれていない方は是非読んでください！ はじめに 使ったツール・サービス・機能 Terrafor…

こんばんわ、コバケンです。 本記事は、ForgeVision Advent Calendar 16日目の記事です♪ 本日深夜、Werner Vogels Keynote で待望の新サービス AWS CloudShell が発表されました。 CloudShell というサービスですが、実はさまざまなクラウドサービスでリリースされており、 Azure、GCP、Alibaba、Oracleなどのサービスでも提供されています。それだけ期待のサービス！！ どんなサービス AWS マネジメントコンソール上でシェルの実行環境が利用可能となりました。 今までは、ローカルからターミナルソフトやVScodeを利用…

本記事は、Gunosy Advent Calendar 2020 11 日目の記事です。 前回は Shohei Hida さんの「Argo RolloutsによるKubernetesでのCanary Deploy」でした tech.gunosy.io はじめに はじめまして．20 卒で GTL 所属の山本です． 入社して半年以上が経ち，出社は輪読用の本を取りに行った 1 回ですが，先輩方に助けて頂きながら弊社での開発にも徐々に慣れてきました． 今回は入社後，個人的に最も振り回されたツールである Terraform について紹介していきたいと思います． Terraform は今やインフラ管理をす…

本記事は、Gunosy Advent Calendar 2020 7日目の記事です。 前回は、しゅんけー君の「その実験、再現できますか？pyenvとpoetryによる “そんなに頑張らない” 再現可能な実験環境構築」でした data.gunosy.io はじめに 前提条件 目指すクラスター像 使用するサービス・ツール類 K8Sを使う上での心構え 環境設計編 環境設計 リポジトリ クラスター構築・前編（EKSクラスター） クラスター構築・中編（ASG） ASG or Fargate ASG spotインスタンス はじめに Gunosyの大関と申します。いくつかのEKSクラスターとクラスター上で稼…

本記事はトレタアドベントカレンダーの6日目の記事です。 始めに 皆さま、こんにちは！ 『劇場版ヴァイオレット・エヴァーガーデン』で映画館にいる誰よりも号泣していたトレタのエンジニア兼北条加蓮ちゃんのプロデューサーの@hiroki_tanakaです。 先日、API Gateway~Lambda構成のサーバレスシステムをterraform+Lambrollで構築しました。 本記事ではterraformを用いてのAPI Gatewayの構築とAPI Keyでの認証設定に関してお話します。 ※Lambrollに関しては昨日投稿された下記の記事を参考にしてください(o*｡_｡)oﾍﾟｺｯ tech.to…

トヨタが開発しているCar OS (Arene) は、API開発言語はRust です。開発環境はTerraform と Ansible でAWSに構築できます。他社はどうなっているのでしょうか？ - Quora jp.quora.com 「宣言的API」で指示をして、Kubernetesに「定期的な運用の一部」を任せる方法 / agile-tech-expo-01-202101-amsy810 - Speaker Deck speakerdeck.com APIをプロダクト化する「ノーコード」企業Blobrがプレシードで1.5億円を調達 jp.techcrunch.com

こんにちは、エムスリー エンジニアリンググループ / 製薬企業向けプラットフォームチームの鳥山 (@to_lz1)です。 この記事はエムスリーSREがお届けするブログリレーの8日目です。 このブログリレーで複数回言及されているように、エムスリーでは昨年から大々的に「チームSRE」という制度を導入しています。従来からのSREすなわち「コアSRE」が受け持っていた業務や権限を、各プロダクトチーム内のSREすなわち「チームSRE」に委譲している真っ最中です。 私の所属する製薬企業向けプラットフォームチーム（Unit1と呼ばれています）のチームSREの導入タイムラインは、以下のような感じです。 202…

ツイート k.bigwheel⌨️🦀🖊️ SREエンジニア@Speee株式会社 @k_bigwheel 久しぶりにタフなリリースだった 23:05 k.bigwheel⌨️🦀🖊️ SREエンジニア@Speee株式会社 @k_bigwheel terraform(HCL)もkustomizeもjsonnetもcueも結局全てjsonを合成するためのツールなのだから、1つに統合できないものかなと思う。 12:20 k.bigwheel⌨️🦀🖊️ SREエンジニア@Speee株式会社 @k_bigwheel ぐだぐだとawsのこれが悪いあれが悪いと小姑のごとくねちねち欠点論っているけど結局今回のこと…

今更な話ではありますが、AWSのECS Fargate と ALBを使った簡単なデモアプリの環境構築をTerraformで進めていて、セッション管理について調べていたら「ALB側でパーシステンス (スティッキーセッション)を実装するより、ErastiCashなどをセッションストアとして使う」というのを知りました。 個人的にHA構成の経験がほとんどなくRedisも使ったことが無かったことと、またローカル環境でHA構成の動作確認が行えると便利だと思ったので作ってみました。 構成 Spring Boot アプリ Spring Boot アプリをDockerコンテナで起動する HAProxy をDoc…

アクティビティ (今までの走行 (歩行) 距離) ジョギング 読書 レアジョブ 夕飯 GCP の Monitoring Alert Policy を Terraform で設定しようとして... アクティビティ (今までの走行 (歩行) 距離) Fitibit Charge2 のアクティビティから走行 (歩行) 距離を Fitbit Web API で取得して Pixela で草生やしている。色が濃くなれば濃くなる程強度が高い (歩行、走行距離が長い) ということで。実装の詳細はこちら。 ジョギング 体調がイマイチだったので、完全休養 読書 今日は通院日で受診を待っている時間でで、Webで使え…

目次 目次 はじめに 既存のシステム構成について 検索チームで管理できないサーバ 複数バージョンのSolrの管理 テスト環境がなく、スケールもしない SolrのバックアップがDBにしか存在しない 手動デプロイ 最新のシステム構成について StatefulSetとは Solrのコンテナ管理 新システムのまとめ 今後の課題 おわりに はじめに はじめまして、データ本部検索チームの小山です。 DMMでは検索エンジンのSolrを用いた検索システムを運用しています。検索チームでは主にこの検索エンジンの管理と、検索・更新のデータフローの管理を行っています。 今回、この検索システムのうち検索エンジンと、検索…

この記事は個人ブログと同じ内容です www.ritolab.com // CloudWatch Logs では、AWS のコンソールからログデータを S3 にエクスポートできます。 全ログデータを CloudWatch 側で保持して、ログデータを抽出する必要があった場合は都度 S3 にエクスポートして使うっていう運用ならこれで問題ないと思います。 別のケースとして、以下のような場合は、CloudWatch Logs から S3 に定期的にログを自動で配信する仕組みが欲しくなります。 CloudWatch Logs のログデータを活用するために全てのデータを S3 にも溜めたい（データレイク的な…

まえがき git使ってますか。github-flow*1してますか。サーバーレスCI/CDしてますか。 しててもしてなくても、プログラマーでなくても、パソコンを使って文章を書いて、それを多人数で管理しているのなら。 gitとそれをホストするコラボレーションサービスの利便性は無視できません。 「でもgitって難しそう」 「Google検索結果上位に、嘘が書いてあるひどいSEO対策IT教室サイトが出てくるって聞きました」 「master mainにrebaseしてpushすると囲んで棒で叩かれるんでしょう？」 ごあんしんください。 Pro Gitサイト progit-ja.github.io ここ…

本格的にterraformを使い始めて*1、速攻でやらかしたのでメモ。terraform planで差分を確認していましたが、見事に見逃して認識できてない差分を適用してしまいました。 terraform planで差分が見れるのですが、+ -の行だけを見ていて、->で表示されている同一行内の差分を見事に見逃しました。IAMのresourceが複数あり、その差分が+-でいくつか出ていて、その上でしれっとactionが->で変更されていて、適用後に動かなくなってしまいました。 差分抜粋 ~ { ~ Action = "sts:AssumeRole" -> "sts:AssumeRoleWithWe…

この記事はエムスリー SRE がお届けするブログリレーの4日目です。 こんにちは。マルチデバイスチームでチーム内SREを担当している大和です。 普段はアプリ向けのAPIサーバについてJava/KotlinおよびTerraformでアプリとインフラを構築しています。 Terraformあるあるだと思うのですが、ときどき意図しないdiffが出てきてドキドキすることがあります。 今回は解決のために terraform-provider-aws のコードを読んでdiffが出てきた原因を確認した例について、簡単に紹介したいと思います。 (チーム内SREについては次の記事に説明があります: SREの民主化…

はじめに 私のサービスではデータベースにMySQLを使用しており、CloudSQLで運用しています。CloudSQLには障害時に素早く復旧するために高可用性構成という機能を提供しています。現在はレガシー高可用性構成という古い構成で運用していますが、2021第1四半期からレガシー構成が使用できなくなるようなので、新しい高可用性構成に移行してみようと思います。また、私のサービスではインフラのリソース管理にTerraformを利用しています。そのため、一連の作業はTerraformで行います。 レガシー構成から新しい高可用性構成へ移行する 移行手順はドキュメントに記載してあります。今回はそれに則って…