CircleCI

この記事は 10X アドベントカレンダー2023 という企画の1日目（12/1）の記事です。 こんにちは、10Xでソフトウェアエンジニアをしている 岡野（@operandoOS）です。 今回 10Xで3回目となるアドベントカレンダー企画の1日目をありがたく担当させていただきます💪 目次 目次 10X アドベントカレンダー2023ってなに？ さてさて、本題へ CIは絶対に速い方がいい CIを高速化するテクニックの紹介 キャッシュの利用 マシン性能の調整 ジョブの並列実行とテスト分割 最適なテスト分割 ジョブの実行順序・依存関係の最適化 不要なジョブ・ステップを削除する テストコードの実行速度を上…

[CircleCI] 新規リポジトリのセットアップ Bitbucketで新規リポジトリを作成して、CircleCIと連携させる流れについて忘備のためメモ。 Bitbucketで新規リポジトリを作成する。 CircleCIの[Projects]で該当のリポジトリに対し、[Set Up Project]をクリックし、[Faster]を選択して[Set up Project]を押下する。 git cloneでリポジトリをローカルにcloneする。 git branch -aで、全リポジトリを確認する。 > git branch -a * master remotes/origin/HEAD -> o…

こんにちは。 メディアサービス開発部 Webアプリケーション開発課のフサギコ(髙﨑)です。 Ruby on Railsによるバックエンドの実装運用と、AWSによるサービスインフラの設計構築を中心とした、いわゆるバックエンド方面のテックリードとして働いています。 最近はNext.jsで書かれた運用者向けの管理画面までも自分たちで改修するようになってきました。 本記事ではCircleCIにおいて、モノレポ構成のリポジトリで必要なテストのみ実行するようなconfigファイルの書き方についてお話します。 モノレポ構成のリポジトリでは必要なテストだけを実行したい 複数のソフトウェアが相互に連携して動くよ…

こんにちは。サーバーサイドエンジニアの三村（@t_mimura）です。 主に保険薬局と患者さまを繋ぐ「かかりつけ薬局」化支援アプリ kakariのサーバーサイド開発（Ruby on Rails）を担当しています。 今回はRailsシステムのCI時間をコスト追加なしで半減した話をします。 目次 前提 対象プロジェクト CIの状況 改善結果 改善内容 前提知識: CIのキャッシュ機能 webpack buildのキャッシュを活用 RuboCopのキャッシュを活用 ESLintのキャッシュを活用 Jestのキャッシュを活用 RSpec Jobをテスト特性ごとに分割 CircleCIのリソースクラスと…

最近ちょっとCircleCIを触ることがあって、久しぶりに設定していたらaws-cliというOrbsがOIDCに対応していました。よくよく見てみるともう1年くらい前に対応してたみたいなんですが、全然キャッチアップできておらず…。せっかくなので最近の設定を試してみます。 Orbsが対応していなかった時のconfig.yml circleci.com OrbsがまだOIDCに対応していなかった時は、aws sts assume-role-with-web-identityを実行して、シークレットやトークンを取得していました。以下のコードを自分で実装してた感じですね。 github.com 最近の設…

こんにちは。ホワイトプラスでエンジニアをやっている古賀です。 lenet ではCIの一つとしてCircleCI を使っており、静的解析・フォーマットチェック・ユニットテスト（フロントエンド・バックエンド）などを実行しています。 CIにpush するたびに全てのテストを実行すると、変更差分に関係のないテストが実行されてしまい、コードベースが大きくなると非効率な面が際立ちます。 昨年従量課金プランへ移行するのに合わせて、主にモノレポで採用されている差分ビルド（変更差分に関係あるテストのみ回す）を取り入れ、CIの効率化を図っています。 ここでは、CircleCIのセットアップワークフローを使って差分…

CI/CDを当たり前にした状態で開発をしていると短い時間で連続的にPushすることも時としてあるのではないでしょうか。 短い時間で複数Pushしたときは最新の状態で1回だけ実行されれば期待している効果を得ることができますが、Push単位でワークフローが実行されるため、ただの消化試合的なものが生まれてしまいます。 もちろん、リソース無制限で完全無料な何かであればそこまで気にすることはないと思いますが、大体のサービスは一定の利用を超えると従量課金として費用が発生します。 あまりお金のことに関わることが少ないと、コスト意識を持つことは難しいかもしれませんが、少しでも効果の薄い処理は減らした方がよいと…

こんにちは、id:Pocke です。マネーフォワードではクラウド会計Plusというプロダクトの開発と、RBS という Ruby の静的型のためのライブラリの開発の両方を行っています。今回の記事では、クラウド会計Plusの開発の話を書こうと思います。 TL;DR spec/fixtures/下に想像以上に多くのファイルがあることに気がついた inotify を使って不要なファイルを検出し、削除した 問題の発見 クラウド会計Plusの開発業務として、私は最近不要なコードの削除に取り組んでいます。その一環としてリポジトリの状況を調査していました。その中で以下のコードを用いて「拡張子ごとのファイル数」…

こんにちは、EdTech Labの齋藤です。 1年以上ぶりの投稿となりました。近頃は暑すぎるので黄金樹の影で涼んでいます。 今回はCircleCIのOrb、その中でも特にv.9.0.0でOIDCが導入されたりとそこそこ変更のあったaws-ecr-orbについて書いていこうかなと思います。 CircleCIの利用 チームでの利用 現在EdTech Labでは開発したもののいくつかがAWS上で動作しており、AWSで構築した環境にデプロイする際 CircleCIを活用して開発を行っています。 デプロイのたび毎回手動でビルドしてプッシュして...というのはあまり効率が良くないですし、自動で実行して成功…

はじめに 以前大規模なデータベースの変更をした際、ローカル環境ではエラーが起きないのCircleCI上でのみエラーが発生する事象が発生しました。 最初はロガーを仕込んで検証していたのですが、都度コミットして確認ではとても非効率だったので何かいい方法がないか調べたところ、 CircleCIにはSSH を使用したデバッグができることを見つけてこれを使用して解決することができました。 今回は、CircleCI上のジョブコンテナにSSH接続を使用して直接コンテナ内で検証する方法について説明します。 手順 1. SSH接続を有効にする 問題が発生したジョブのページを開く 画面右上のRerunを開き、その…

2024年6月28日、ファインディ株式会社が主催するイベント「開発生産性Conference 2024」が開催されました。本記事では、New Relic株式会社 ソリューションコンサルタントの板谷 郷司さんと、合同会社DMM.com ITインフラ本部 SRE部の湯浅 省吾さんによるセッション「開発生産性向上のための監視運用の改善」の内容をお届けします。 本セッションでは、板谷さんから開発生産性やNew Relicについてお話しいただいた後、湯浅さんからDMM.comにおけるNew Relicの活用事例についてお話しいただいています。また、セッション最後には、板谷さんから湯浅さんへのインタビュー…

※本記事は、ChatGPTによる意訳+翻訳を活用し、レイアウト調整したものです。 ※元記事を見て、内容がズレていないか査読するようにしています。 ※感想は、オリジナルです。 原文 意訳+要約 DevOps の謎を解く: CI/CD パイプラインと必須ツールを理解する ChatGPTへのQA Ｑ：CI/CDが登場した背景について教えて下さい 1. ソフトウェア開発の複雑化 2. アジャイル開発手法の普及 3. 手動プロセスの限界 4. 市場の競争とスピードの重要性 5. DevOps文化の形成 6. 技術の進化 7. テストの自動化と品質向上 Ｑ：GitOpsのような派生したものが生まれています…

1. CloudFlareとは みなさん、こんにちは。パートナービジネス（AG-Boost）事業部でエンジニアの清水です。 今日はCloudFlareに興味があり使ってみたところAWSとの違いに感動したのでそのことについて書きます。 CloudFlareは、ウェブサイトをより速く、安全にするためのサービスを提供している企業です。 CDNというイメージがありますが、AWSの「S3」に対応する「R2」や「CloudFront」「Route53」「S3」全ての機能を持ったPagesなどWebサービスを運用するための機能全般的に揃っています。 国内の大手企業でWebエンジニアをスタートした人はAWSか…

ファインディ株式会社でフロントエンドのリードをしております 新福(@puku0x)です。 この記事では、ファインディで導入しているモノレポ管理ツール「 Nx 」について紹介します。 モノレポとは Nxとは Nxワークスペースの作成 Nxの機能 コード生成 変更検知 依存関係の管理 キャッシュ機構 自動マイグレーション まとめ モノレポとは モノレポは全てのコードベースを単一のリポジトリで管理する手法です。 monorepo.tools コードの共通化や可視化、ツール・ライブラリの標準化、一貫性のあるCI/CDパイプラインを構築できるといったメリットがあります。また、マイクロサービスと相性が良い…

開発ツールのレビューサイト「Findy Tools」に、マンガアプリチーム iOS/Androidエンジニアの id:tokizuoh が寄稿した「CircleCI」の導入事例が掲載されました。findy-tools.io

こんにちは！ABEJA でエンジニアとして活動している飯嶌です。今年の4月に新卒で入社しました！今回は技術設計やドキュメント作成を支援するAIツールである「Eraser AI」に関して、今まで個人利用で使ってきてその感想とその使い方に関してお話しできればと思います。 Eraser AI とは : 自然言語プロンプトを使用して技術図解やドキュメントを生成できるAIツール 1. 図表生成：4つの種類の図表に対応 2. 無限キャンバス：大規模設計も自由自在 3. Diagram-as-code：バージョン管理が簡単に 4. デザイン性：充実したアイコンやカラーリング Eraser AIの料金体系 1…

この本を読んだので、学んだことをまとめます。 運転者 未来を変える過去からの使者 | ディスカヴァー・トゥエンティワン - Discover 21 読んだきっかけ このブログで書かないこと 学んだこと いつも上機嫌でいよう 結果が出るまで時間がかかる 無駄な経験はない おわりに 読んだきっかけ ある日、妻から「この本、すごく良かったからぜひ読んでみて」と勧められました。しかし、忙しさにかまけてしばらく読まないでいたところ、だんだんと妻が不機嫌になってきました。 ご機嫌取りもありますが、最近、自分の人生を豊かにするための学びを得たいと思っているから読んでみました。 余談ですが、この本では「いつも…

はじめに こんにちは、iOSチームの渡部です。昨年の12月に入社して気づいたら半年以上たっておりびっくりしました。 社会人となり早3年と少し、時の流れが早すぎることに危機感を持っている今日この頃です。 今回はCIのキャッシュシステムをRomeからCircleCI内部の機能に乗り換えた話をしようと思います。 Romeとは？ 弊社で使用しているパッケージマネージャーの一つにCarthageがあります。 また、CI上にてCarthageを用いる場合にRomeと合わせることがあると思います。 RomeとはAWS S3などのクラウドストレージにビルド済みのxcframeworkなどをアップロードし、アプ…

こんにちは、SREグループの浜地です。 先日、TerraformにConftestを導入したので、背景などを含めて紹介しようと思います。 「最近話題のOPA的なのでTerraformをテストしたいんだけどなー」とお考えの方にぜひ読んでいただけると幸いです。 Conftest導入背景 SREグループのInfrastructure as Code用のリポジトリは大きく分けて3つあります。Terraformに限定した話をすると、TerraformのStateを管理しているのは1つ目のリポジトリのみです。 稼働中のアプリケーションシステムの状態を記載しているTerraformやKubernetesのコ…