Terraform

ちょっとした検証用を簡単に作成したいので、Terraform に入門します。 Terraform とは インフラ環境をコードで作成するツールです。Infrastructure as Code (IaC) ですね。 Azure環境やほかのクラウド環境でも利用できるので、幅広く利用されています。 Terraform https://registry.terraform.ioregistry.terraform.io ざっくりしすぎて説明になっていないような気がしますが、使えるように今回は環境を整備します。 Install Terraform インストールしてなかったので、インストールします。 イン…

コマンド リソースを表示 $ terraform plan リソースを作成 $ terraform apply リソースを削除 $ terraform destroy Terraformプロジェクトを初期化 $ terraform init Terraformファイルを整形する $ terraform fmt Terraformはプロジェクトフォルダ直下の.tfファイルのみ読み込む . ├── main.tf(これは読み込む) ├── sub │ └── sub.tf(これは読み込まない) └── terraform.tfvars(これは読み込む)

背景: Terraformを使いつつ、データマネジメントの観点から統制を取りたい Terraform Moduleを定義する 例: データセット まとめ 背景: Terraformを使いつつ、データマネジメントの観点から統制を取りたい GCPでデータ基盤を管理する場合、Terraformはよい選択肢の一つです。データセットやそれに関連するIAMの管理、データセット内のビューの定義をIaCとして管理できます。 google_bigquery_dataset | Resources | hashicorp/google | Terraform Registry google_bigquery_ta…

AWS Lambda関数をコンテナイメージでデプロイする環境をterraformで構築したい。 特にterraformでは対象のコンテナイメージを管理から外したい場合における 初期構築方法について検証する。 検証コードはこちら。 github.com lambda関数によるイメージ指定 Lambda関数を package_type = Image で作成する場合、 コンテナイメージを指定する必要があり、ECRだけでは作成できない。 イメージをpushせずに構築しようとすると、以下のようなエラーになる。 resource "aws_lambda_function" "sample" { func…

(2021.06.28更新) 物理本入庫しました！ booth.pm Overview 非常に久しぶりのエントリとなります。タイトルの通り、Infrastructure as Codeに関する書籍を執筆しました。 A5版で122ページ、1500円で販売中です！ booth.pm Part.2としているのはすでに共同執筆者の Masaya Arai (iselegant) (@msy78) | Twitterさんが概要と目次、少し書籍について触れたエントリをしているためです。 iselegant.hatenablog.com 私のエントリではその続きとして、目次の再掲とCloudFormatio…

TerraformのバックエンドにTerraform Cloudを利用しているときに リソースインポートでエラーが発生して困っていた。 これについて調べていたら、リソースインポート時の変数参照についていろいろわかったのでそのまとめ。 Terraform 0.15.5で検証。 発生したエラー 再現手順 まずは発生したエラーについて。 特定の条件でリソースのインポートを行うとエラーが発生するというもので、再現手順は以下の通り。 サンプルリポジトリの通りリソースを構築(terraform apply)する リソースをstateファイルから削除する Terraformをリモート実行モードに切り替える …

Overview タイトルの通りですが、技術書博5向けにInfrastructure as Code (IaC)に関する技術書を執筆しました。 gishohaku.dev 一応、僕がそれなりにAWS x IaCにどっぷり浸かっていることもあり、題材のクラウドはAWSを主軸にしています。 TerraformやPulumiに関しては、別にAWSに限らずAzureやGoogleCloud利用者の方々にも通ずる部分があると思います。 執筆に至ったモチベーション 僕自身、IaCサービスに関してはCloudFormation 数ヵ月、terraform 2年、Pulumi 8ヶ月ほど経験しており、 それぞ…

ちょっと個人で作ろうとしてるアプリケーションでLambdaを使おうとしていて、せっかくなのでKotlessで作ってみようと思っています。 そこで一旦導入してみたので、まとめておきます。 Kotlessとは JetBrains社純正のKotlinのサーバーレスフレームワークです。 site.kotless.io 最新のリリースバージョンが0.1.6(0.1.7はbeta)なのでまだまだ開発中のものですが、KotlinConfやオンラインイベントでも紹介されていて、バックエンドで注目の技術スタックの一つです。 ざっくり言うと、Kotlinで書いたプログラムをGradleタスクでAWS Lambda…

目次 目次 とある日 はじめに CDK for Terraform チュートリアル 第一の関門 : うまくいかないimport 対処法 第二の関門 : 消えるprovider.docker 〆 とある日 TerraformでCDKがあるのでそれを利用してDockerをいい感じにしたかったが、全然うまくいかなかった話。 はじめに 公式のチュートリアルを参考にしてもできそうになかったので諦めた話です。 WindowsでWSL2上にDockerを構築していて、それに対してTerraformを実行していました。 Terraform v1.0.3 on windows_amd64 go version …

データエンジニア系の勉強会で最近dbtがぱらぱらと話題に出てくるようになった & 4連休ということで、夏休みの自由研究がてらdbtを触ってみました。書いてる人のバックグラウンドは以下の通り。 DWHやデータマートの構築のためのETLツールを模索中(特にTの部分) プライベートではDataformを使っている 前職でも仕事の一部で使っていた 開発効率を計測するデータ基盤の管理にDataformを使ってみた - yasuhisa's blog 定期バッチ処理はArgo Workflows on GKEでやっている 触ってみないと肌感とか自分で運用できるかのイメージが湧かないのでね。 Datafor…

kOps の v1.21.0 が今月の頭にリリースされて、その中の１つに "Service Account Issuer Discovery and AWS IAM Roles for Service Accounts (IRSA)" という変更が入りました。 この変更を使うことで kOps は OIDC ディスカバリ ドキュメント を S3 に公開してそれを IRSA で使えるように設定してくれます。 github.com IRSA についてはこちらの記事が参考になります。 aws.amazon.com 今まで自分はこの IRSA を実現するために上記の記事でも紹介されている Amazon …

フロントエンドエンジニアとして、AWSのリソース(S3, Cloudfront, ECS/fargate, ALBなど) をterraformで作ることがあったので、その時に学んだことのメモ terraformとは いわゆる Infrastructure as Code（IaC）で、主にAWSやGCPのリソースを作成するのに使われる。 書き方を覚える 公式のチュートリアルをやった。これに限らず、公式ドキュメントがよくできていた。 learn.hashicorp.com Visual Studio Codeにterraformの拡張があるので、それを使うと補完が効くので便利だった。 運用方法 環…

はじめましてシステム基盤部で働いているシステム基盤部・エンジニアリングマネージャーの熊谷です！ 今回は、READYFORのインフラ構成と変遷について簡単に紹介したいと思います。このREADYFOR TECH BLOGの中でもインフラ周りに関しては、あまり触れられていないので、まずは少しでも知っていただけたらと思い、投稿させていただきます。 ※ 内容的には、SRE Teck Talkでの話に少し付け足した形になります。 https://3-shake.connpass.com/event/214041/ はじめに インフラ構成を紹介する前にREADYFORのエンジニア数の推移と体制について軽く触…

この記事は個人ブログと同じ内容です www.ritolab.com // サーバレスアーキテクチャ構築の第一弾です。 今回は AWS の Lambda と API Gateway を連携させて、エンドポイントを作成していきます。 サーバーレス・コンピューティング 自身でサーバーを運用せずに IaaS 等のサービスを利用して処理のロジックだけをデプロイ。必要な時にだけホストした処理を動作させる一連の仕組み。 例えば、いくつかの処理を行う API サーバを持っているとして、そのサーバは 24 時間 365 日稼働させる必要がある。 サーバレスにすれば処理のロジックをリモートにホストしておき、必要な…

Azure 環境での IaC には Terraform をメインで使っていますが、ARM Template や Bicep と異なり Terraform は ARM REST API ベースで構築されているので、新しい機能の場合は Azure SDK を更新しつつ Provider に機能を追加というステップを踏む必要があります。正直なところ ARM Template や ARM REST API は各サービスで一貫性のない設計になっているので、その辺りを吸収するために Terraform Provider は多少複雑になっています。なので対応に時間がかかるのは仕方ない部分がありますが、Git…

はてなブログ独自の集計による人気記事のランキング。7月11日（日）から7月17日（土）〔2021年7月第3週〕のトップ30です*1。 # タイトル／著者とブックマーク 1 ヘタクソなコードを書いてもいい - 覚書 by id:satoru_takeuchi 2 原爆投下を「仕方なかった」と正当化＆肯定する意見に反論する記事 - 日常にツベルクリン注射を‥ by id:tuberculin 3 Terraform, Dockerfile, KubernetesなどIaCの脆弱な設定をCI/CDで検知する - knqyf263's blog by id:knqyf263 4 長野のご当地スーパー・…

バージョン制約に関するベストプラクティス Version Constraints - Configuration Language - Terraform by HashiCorp terraformプロバイダーとモジュールのバージョン制約に関するベストプラクティスがここに記載があるのを知らなかったのでメモ代わりに意訳しておく。 まず、モジュールに関するバージョン制約について。 3rdパーティーのモジュールについて、基本的にはバージョンは固定しておく。 必要なときにバージョンを上げるのが良い。 自分たちのチーム・組織で管理しているモジュールについて、セマンティックバージョニングを採用しているか…

詳細は会社ブログへ！＞＜ creators.oisix.co.jp ってだけだと微妙なので今回は意外とスムーズに資料も準備できたのでメモっておきます。 アウトラインを最初に作る 資料作りのポイントしてよく言われていることですが、いきなりスライド作成から入らないことは割と重要だと今回やっとわかりました。 今回は以下の様なアウトラインを最初に準備して、そこからスライド作りをはじめました。 # JTF2021 - AWS SSO ## About [https://techfesta.connpass.com/event/213069/](https://techfesta.connpass.com…