Codepipeline

はじめまして、技術本部 サービス開発部の上島です。 私はSansanのプロダクトの裏側でデータ統合の役割を担う「名寄せシステム」の開発に携わっています。今回は、その名寄せシステムのEC2で稼働しているRailsアプリのデプロイの仕組みを、CodePipeline+CodeDeploy+CodeBuildを使った仕組みに移行して、デプロイ環境を改善した取り組みについて、紹介したいと思います。

エキサイト株式会社 新規事業の開発を担当している森脇です。 エキサイトでは２、３年前からオンプレからクラウドへの移行を行っています。 移行したサービス中心にCI/CDを導入するケースが増えてきています。 私が担当している新規のサービスに関しても開発当初から導入をしています。 CI/CDとは 改めてCI/CDとは、Continuous Integration / Continuous Delivery の略で、日本語だと継続的インティグレーション/ 継続的デリバリー、意味としては自動的にテストをして本番へリリースをする、もしくはリリース可能な状態にしておくことですね CI/CDを導入すると、バグ…

別にPythonじゃなくてCでもC++でもいいんだけど、機械学習屋さんとしてはPythonに慣れ親しんでいるので、その例でトライ。 HelloWorldで書いても良かったけど、せっかくなのでgit pushすると、自動でPytestが動くようなもの。 CodeCommitとPytestとbuildファイルの準備 手元のgit環境の準備 適切なPythonコードの準備 buildspec.yamlファイルの準備 CodeBuildの準備 ビルドプロジェクトの作成 CodePipelineの準備 ソースステージ ビルドステージ デプロイステージ 自動テスト CodeCommitとPytestとbu…

バランサーとEC2 デプロイフロー Terraformで実装 前提 ディレクトリ構成 CodeDeploy 必要なリソースのインポート ①インポートしたリソースの定義 ②デプロイアプリケーションとデプロイグループの作成 CodePipeline ①IAMロール作成とポリシーアタッチ ②S3バケット作成 ③パイプライン作成 aws_codestarconnections_connectionリソースについて 入出力アーティファクトについて まとめ 最後に こんにちは。バックエンドエンジニアの高橋です。 あるプロジェクトで実装したCodeDeployとCodePipelineを使ったデプロイをTe…

CodeBuildでビルドプロジェクトXを作成する。このビルドプロジェクトは、CodeCommitのAというリポジトリからソースを取り出してビルド処理を行うものとする。 次に、CodePipelineでパイプラインYを作成する。このパイプラインは、ソースステージでS3のBというバケットからソースを取り出すものとする。 パイプラインYのビルドステージでビルドプロジェクトXを指定した場合、どこからソースが取り出されてビルドプロジェクトで処理されるのか？...というシンプルな疑問にぶつかったので、実際に試してみた。 結論からすると、パイプラインYのソースステージで指定したS3バケットからソースを取り…

まとめ CodePipeline のアクションとして AWS Lambda を実行すれば、いろいろなことができる たとえばRailsのdb:migrateをデプロイ時に自動設定したり、ECSスケジュールタスクを登録したり Lambdaのタスクロールを適切に指定すればAWSアクセスキーなしにAWS SDKが使えて便利 CDKを使えばLambdaファンクションのソースコードのバージョン管理も捗る CodePipeline実行の様子 事の起こり 弊社受託案件のうちいくつかは Rails + AWS CodePipeline + ECS による継続的デリバリ環境で稼働しています。 AWS CodePi…

最近 CI/CD環境の構築をしており、CodePipelineからLambdaを実行した際にハマったのでメモを残します。 問題 問題 環境 原因と解決方法 原因 解決方法 サンプルコード

小西秀和です。 前回は「歴史・年表でみるAWSサービス(Amazon S3編) －単なるストレージではない機能・役割と料金の変遷－」の記事でAmazon S3の歴史や料金の変遷などを紹介しました。 今回は数年の間に名称変更や様々な機能が統合されてきたAWS Systems Manager(SSM)について歴史年表を作成してみました。 ただ、前回とは異なり、今回は料金の変遷や細かいアップデートは省略してSSMの主要な機能だけに着目しています。 また、本記事執筆時点の「現在のAWS Systems Managerの機能一覧と概要」もまとめました。 今回の記事の内容は次のような構成になっています。 …

2021年のふりかえり 2021年は2020年と比べて失敗経験を積めた年だった。 2020年は新しい環境で、今までにない経験を積むことができたのに比べて、2021年は今までの取り組みをより良くするために試行錯誤してきた。結果、上手くいったものもあれば、上手くいかないものもあった。 残念ながら課題の多い1年だったけど、これを糧に2022年をより良い1年にしたい。 できたこと 成果のアウトプット アウトプットは一定の成果を出せたが満足行くものではなかった。及第点という感じか。 登壇: 1件 個人ブログ: 11件 Qiita+Zenn: 5件 会社ブログ: 1件 一番よかったのは目標であったカンファ…

はじめに 今回は AWS CodeCommit / CodeBuildを使い、コンテナイメージのビルドからKubernetesクラスターへのデプロイまで実行するサンプルを作成しました。 CodeCommit / CodeBuildは、それ単体では実現できることがかなり限られるため、Amazon EventBridgeやAWS Chatbotなどのサービスも組み合わせております。また、Lambdaを使えばもっと効率的なパイプライン構成が作れるかもしれませんが、今回はLambdaを使わずに作っています。 構成 今回のパイプラインは、以下のサービスで構成します。 サービス名 リソース 個数 AWS …

これは「「はじめに」の Advent Calendar 2021」25日目(最終日)の記事です。 趣味の話は振り返り対象じゃないので書きません。 買った本 買った年月順ではありません。また、ななめ読みだけした本も含まれています。 技術系 マイクロサービスアーキテクチャに触れることが多かったので、そっち系が多め。 www.oreilly.co.jp www.oreilly.co.jp www.oreilly.co.jp www.amazon.co.jp www.amazon.co.jp www.amazon.co.jp 会社の同僚におすすめされた本（英語） 内容的には、「プログラマが知るべき97…

HiTTO株式会社エンジニアのHonMarkHuntです！HiTTOではSREとスクラムマスターとFORTNITEをして過ごしています！趣味はGOLD'S GYMです！よろしくお願いします！ 本日はSREの私がバックエンド、フロントエンドに続きHiTTOのインフラ周りの紹介をさせていただきます！ product-blog.hitto.co.jp product-blog.hitto.co.jp (過去記事も見てね) 1. Cloud 2. IaS 3. CI/CD 4. Monitoring Logs APM RUM まとめ 1. Cloud HiTTOではAWSを採用しています。 GCPやA…

この記事は「弥生 Advent Calendar 2021」20日目の記事です。qiita.com はじめに この記事ではタイトルの通り、AWS上でTrivyを使用し脆弱性スキャンを行った結果をhtmlとして出力し、GitHubPagesなどでホストするためのファイルを作成することを目的とした記事です。動機としては、AWS Security BlogでTrivyをCI/CDに組み込む How to build a CI/CD pipeline for container vulnerability scanning with Trivy and AWS Security Hub | AWS S…

開発本部 Chief Technical Leaderの佐々木です。 2021年6月～9月にかけてDevAx Academy MONOLITHS TO MICROSERVICES という学習イベントを実施しました！ 本記事ではイベントについてご紹介しようと思います。 DevAx Academyとは？ 以下からの引用＆翻訳ですが、「DevAxチームがお客様の開発チームと長期間直接連携して、ワークショップと共同開発セッションのカリキュラムで社内の開発コミュニティをスキルアップします」とのこと。 workshops.devax.academy 具体的には以下のようなものでした。 AWSのDevAx講…

CodePIpelineのGetAtt、VersionしかなくてArnは取れない、、、、 docs.aws.amazon.com

こんにちは。 エキサイト株式会社の三浦です。 アプリケーションのデプロイ方法は、エンジニアなら誰もが頭を悩ませるものでしょう。 コマンドライン、AWS CodePipeline、Jenkinsなど、様々な方法が考えられます。 今回は、ECSへのデプロイ方法としてGithub Actionsを選択したときの方法と注意点について説明していきます。 Github Actions Github Actionsは、Github上で任意の処理を実行できる機能です。 公式には以下のように説明されています。 Automate, customize, and execute your software deve…

CodeDeployを初めて触ってみたのですが、すごい単純なミスをしてしまったので備忘録です。 ググってもCodeDeploy AgentのGitHubソースコードしか出てこなかったので、もし同じようなミスをするような人が現れた時のために書いておきます。 遭遇したエラー appspec.ymlの記述ミス 実行に失敗した時のappspec.ymlとエラー内容が以下です。 version: 0.0 os: linux files: - source: / destination: /home/ec2-user hooks: ApplicationStart: - location: scripts…