Codebuild

明けましておめでとうございます、ANDPAD SREチームの@DanKadoiです。 AWSサポートの一歩進んだ使い方 ~問い合わせの極意編~ の節はありがとうございました。 今回はDocker Hubのイメージプルについて書こうと思います。 困っていたこと 弊社ではいくつかの用途でDocker Hubからイメージプルしていましたが、主に以下のユースケースでDownlowdRateLimitによる失敗が頻発しました。 ECRのPrivateリポジトリでホスティングしたい自前のDockerイメージを、CodeBuildプロジェクトでビルドしているケース [1/2] FROM docker.io/…

morishitaです。 前回のエントリで、CodeBuild 上で RSpec を実行する環境について紹介しました。 tech.actindi.net その中で RSpec の結果を CodeBuild のレポートで確認できるようにしてみたらなかなか良かったのでそれについて紹介します。 CodeBuild のテストレポート機能とは １年ほど前に CodeBuild に追加された機能で、CodeBuild で実行したテスティングフレームワークの実行結果を管理し、見やすく表示する機能です。 例えば、複数回のテストの実行時間やエラー数をグラフにして表示できます。それを見れば、テストケースが増えてき…

CI Test環境を作り直した話 morishitaです。 いこーよは Rails アプリケーションです。 ユニットテストには Rspec を利用しています。 それなりに大きなアプリケーションなので全スペックを実行するにはそれなりに時間がかかります。 ローカルPCで全スペックを実行したことはないのですが、試みて終わるのを待てなくて途中で中断する程度には時間がかかります。 実装中のクラスを中心に部分的に Rspec を実行しながら実装しますが、思わぬところに影響していたりすることもまれにあるので、コードレビューに出す前には全部通しておきたいところです。 以前は Docker コンテナを動的に作っ…

これはなに？ CodebuildでDiffを実行する場合のTips。 Codebuildのタスクで、特に何も考えずDiffを実行したところ、CodeBuildがエラーでコケたので対処方法について調査しました。

これはなに？ CodeBuild内でソースプロバイダのブランチ名を取得するTips。 CodeBuildを利用して、DockerFileよりDockerコンテナを作成する際に、ビルドするソースのブランチによって挙動を変えたくて調査しました。 ソースプロバイダは、CodeCommmit。

≪2019/06/20追記≫ この記事を公開したのは2018-10-19です。 2019-06-20時点でより簡単さ、運用の容易さを求めるならAWS Amplify Consoleもおすすめです。 tech.actindi.net morishitaです。 Nuxt で実装した SPA を S3 + CloudFront で配信する機会があったのでそれを書きます。 NuxtのSPA自体については、標準的な作りでTypescript、Pug、 Sassを使ってますよってことぐらいしか書くことがないのですっ飛ばして、 S3とCloudFrontでどのようにSPAをホストしたのか、そしてCodeBu…

morishitaです。 今回は利用しているAWSのサービスの中でも特にお気に入りの CodeBuildについて書きたいと思います。 CodeBuildとは CodeBuild とはAWSのサービスの１つで、完全マネージド型のビルドサービスです。 ビルドサービスだからといって、プログラムコードのコンパイルしかできないわけではなく、設定次第で様々な処理を実行できます。 CodeBuildの特徴 スペックの高い処理環境を分単位で利用できる 最もパワフルな設定では8vCPU、15GBメモリの環境を使うことができます。EC2のインスタンスタイプで言えば c5.2xlarge に近いスペックです。 例え…

morishita です。 いこレポの開発環境でプルリクエストに push したら Lambda と CodeBuild を使って Rspecを実行する仕組みを作ったので、ご紹介します。 どんなの？ Githubでプルリクエストを作ったり、プルリクエストにPushすると、こうなって テストがすべてパスすると、こうなる仕組みを作りました。 Slackにも通知されます。 なぜつくったの？ このユースケース自体は CircleCI等を使えば、わりと簡単にできてしまいます。 ではなぜ、作ったのかというと、次の通りです。 分単位課金で何並行でも使える CircleCIでフリーだと同時に実行できるテストは…

こんにちは！TECH Street編集部です！ 今回は2020年1月26日（火）に開催した、【BASE BANK／はてな／POST URBAN／パーソルキャリア】CI/CD活用事例＆TIPS発表会のイベントレポートお届けいたします！ 各社のCI/CDってどうなってるの？というメンバーの興味関心から企画した今回のイベント。CI/CD関する知識や経験・気付きなどを事業会社のエンジニアが集まり発表し学びあう場となりました◎今回の登壇者はこちらの皆様♪ ・吉次 洋毅 さん／パーソルキャリア株式会社・小林 佳史 さん／パーソルキャリア株式会社・永野 峻輔 さん／BASE BANK株式会社・難波 啓司 さ…

1. 使用するサービス(AWS) Cloudformation Lambda Lambda Layer 2.概要CloudformationでLambda Layerを実装する手順を説明します。 大まかな手順としては以下になります。①Layerの中身を作成し、zipにする②CodeBuildでzip化したLayerを指定したS3に入れる③Cloudformationで指定したS3からzipファイルを選択してLayerを構築する 3. 実装3-1. Layerの中身作成フォルダ構成は以下のようにします。 Layer | |--LayerContent | |--python | |--layer…

別にPythonじゃなくてCでもC++でもいいんだけど、機械学習屋さんとしてはPythonに慣れ親しんでいるので、その例でトライ。 HelloWorldで書いても良かったけど、せっかくなのでgit pushすると、自動でPytestが動くようなもの。 CodeCommitとPytestとbuildファイルの準備 手元のgit環境の準備 適切なPythonコードの準備 buildspec.yamlファイルの準備 CodeBuildの準備 ビルドプロジェクトの作成 CodePipelineの準備 ソースステージ ビルドステージ デプロイステージ 自動テスト CodeCommitとPytestとbu…

0. パイプラインをつくって試行回数を増やしたい さて、マルチアカウントでSSOを設定する方法について前回の記事でまとめました。 今度はマルチアカウントにデプロイするパイプラインを作りたいと思います。 数パターンを考えましたが、 devアカウント、stgアカウント、prodアカウントそれぞれにパイプラインを作成する manageアカウントにパイプラインを作成して各アカウントへクロスアカウントデプロイ stgにデプロイして、確認してからApprovalするというパターンを取りたかったので、以下の構成を目指しました。 マネコンぽちぽちで試しにつくっていましたが、CodePipelineのDeplo…

1. 使用するサービス(AWS) CodePipeline CodeBuild S3 2.概要GitHubで管理しているReactソースを指定したブランチをプッシュするとそのブランチの中のReactソースをビルドしてS3にデプロイしてくれる流れを説明します。 前提としてS3は作成済で、GitHubなどソース管理のツールは導入済として特に説明はしません。 CodePipelineの説明は過去記事参照。 buffalokusojima.hatenablog.com3. 実装GitHubやCodeCommitのブランチのプッシュに対するCodePipelineのキックは上記の過去記事参考。 Code…

こんにちは、プロダクトエンジニアリング部のちょうです。最近ひたすら既存システムの自動化をやっています。その中で、TerraformとCloudFormation両方を使っていました。TerraformあればCloudFormationが必要ないと思う方もいるかもしれませんが、CloudFormationを使ってTerraformができないことを可能にするCloudFormationのCustom Resourceを紹介しようと思います。 まず簡単にTerraformとCloudFormationの特徴を比較します。 Terraform CloudFormation プラットフォーム AWS, …

今週はちょっと本業が忙しいですが、 少しずつ進めていければと考えております。 今日のテーマ：AWSの仕組み概要 ・AWSの仕組み AWSのサービスにはアンマネージド型とマネージド型が存在 アンマネージド型 マネージド型 ・スケーリング/耐障害性/可溶性を利用者側で管理・設定が柔軟だけど管理が面倒 ・スケーリング/耐障害性/可溶性をAWSサービスに任せる・設定が楽だけど管理が限定的 ・代表サービス：EC2(サーバー) ・代表サービス：Route53(DNS) ・AWSのグローバルインフラ -リージョン：国や地域 -アヴェラリティゾーン(AZ)：リージョンの構成概要 -エッジロケーション：配信処理…

タダです. 業務で Lambda をデプロイを独自スクリプトと CodePipline,CodeBuild を使っていたのですが,開発チームとの相談を経て置き換えを図ろうとGitHub Actions を使ったデプロイフローを検証する機会があったのでこの記事に検証した内容をまとめます. 検証概要 GitHub Actions の定義外観 処理の大枠 参考記事 まとめ 関連記事 検証概要 Lambda のコードを管理しているリポジトリでは,以下のようなトップディレクトリ配下に関数ごとにディレクトリがあります.その中に AWS SAM のコードやアプリケーションのコードが入っているような構造になっ…

■AWS CLIコマンドのすべてのパラメータファイルを「--generate-cli-skeleton 」で生成してみる。 まずは前回と同様に。 AWSのEC2イメージを調査して、最新のAMIイメージIDを取得してみた。 https://labunix.hateblo.jp/entry/20210206/1612545305 ■前回の最新のAMIイメージIDを取得するために、「--generate-cli-skelton」を指定する。 $ aws ec2 describe-images --generate-cli-skeleton > aws_ec2_describe-images.json…

前編、中編はこちら。 ctf4bba.hatenablog.com ctf4bba.hatenablog.com codebuild_secrets (Large / Hard) ecs_efs_attack codebuild_secrets (Large / Hard) このシナリオには二つのルートがある。 IAMユーザーSoloから始め、CodeBuildを調査してユーザーCalrissianの認証情報を得、CalrissianとしてRDSのスナップショットを利用するルートと、SSMパラメータからインスタンスのSSHキーを取得し、メタデータを利用してインスタンスプロファイルのキーを取得し…

サーバーワークスでインターン生としてお世話になっていました、みなみと申します。 12月から1月までのインターンでサーバーワークスさんでやってきたことや感想など振り返ってみたいと思います！ 自己紹介とインターンを始めたきっかけ インターンの内容 1週目 2週目 3週目 4週目 5週目 インターンの感想 自己紹介とインターンを始めたきっかけ 私は情報系の学部に在籍していますが、大学２年生までエンジニアの経験はほとんどありませんでした。 きっかけとしては、自分のやっているマイナースポーツに関するアプリケーションを作りたい！と思い、昨年の４月からプログラミングを本格的に始めて、５月からAWSを触り始め…