CICD

はじめに 第1部 第1章イントロダクション 第2章 工学とは何か 第３章 工学的アプローチの基礎 第2部 第4章 反復的な作業 第5章 フィードバック 第6章 漸進主義 第7章 経験主義 第8章 実験主義的であること 第3部 複雑さ管理の最適化 第9章 モジュラー性 第10章 凝集度 第11章 関心の分離 第12章 情報隠蔽と抽象化 第13章 カップリングの管理 第4部 ソフトウェア工学を支えるツール 第14章 工学分野のためのツール 第15章 現代のソフトウェアエンジニア はじめに これは「継続的デリバリーのソフトウェア工学」を読みながら記した備忘録です。 第1部 第1章イントロダクション …

はじめに こんにちは！ エンジニア２年目のTKDSです！ この記事ではDaggerについて紹介します。 この記事は課内で行ったLTをもとにしたものです。 はじめに Daggerとは？ アーキテクチャ概要 Dagger Function Dagger Module 実際につかってみる ユースケース１：テストのパイプラインを記述 ユースケース２：DB依存の単体テストでDBのコンテナを用意する まとめ

ACS事業部 亀崎です。突然ですが、みなさんGitHub Actions活用していますか？ そんな中でGitHub Actionsでワークフローを実行する際、ループ処理を実行したいと思うことはないでしょうか？ commandsというフォルダにcommand1.sh ～ command9.sh の9個のファイルがあり、これらの内容の処理をワークフロー内で実行したいといったケースを想定します。 今回はこのパターンを例にループ処理を実行してみたいと思います。 基本的なやり方 ファーストステップ まずぱっと思いつくのは次のようなやり方です。 name: simple-echo-loop on: wor…

こんにちは、クラウド事業部 CI/CDサービスメニューチームの島田です。以前CICDの入門サンプルとしてS3へのデプロイをCodeCommit、CodePipelineを使って実施する方法をご紹介しました。 techblog.ap-com.co.jpまた、一部をCloudformationで展開する方法も紹介しました。 techblog.ap-com.co.jp今回はCodepipelineも含めて作成できるようCloudformationテンプレートを作成したので記事に残しておきます。 やりたいこと CodeCommit上のコードを更新すると、S3上のファイルを更新するパイプラインをCode…

GitHub Actionsなどでテストやリリースを自動化していると、様々なトリガーによって異なる処理を行うことはよくあることです。 例えばpushのトリガーではテストやlintを行い、tagをpushしたときはクロスビルドしてリリースする、などです。 これらの処理は内容も頻度も異なるので、ワークフローのファイルを分けることはよくあることだと思います。 私もかつてはこのようにトリガーや実行したい頻度が異なるのだから分けるのは自然なことだと考えていました。 一つのワークフローの中でトリガーによって処理を分岐させるとワークフローが複雑になるし、面倒なことが多いからです。 しかし、最近はリリース時の…

こんにちは。 LLM事業部のUTです。 概要 promptfoo の紹介 起動 CI での評価 GitHub Action まとめ 概要 OpenAI による ChatGPT 登場の衝撃から1年ほど経ちましたが、 LLM を活用する企業はものすごく増えました。 OpenAI だけでなく、大手クラウドや Hugging Face などを通して各企業も提供しています。 遊びで使う分にはどの LLM を使うかは適当で良いかと思いますが、プロダクトとして提供する場合利用を想定しているシーンに対して、最適なモデルを選びたいと思うのは必然でしょう。 また LLM を利用してレスポンスを受けるに当たり、最も…

概要 開発者の手元のビルド環境だけではなく、どこでもリリースビルドが再現可能であること。 Warningの作り込みやUTコードのFailを早めに見つけてデグレを防ぐこと。 こうした、CI/CD的な考え方は、Windowsアプリ開発においても大事なところだと思います。（現場であまり重視されていない感もありますが・・・） 方法はいくつもあると思いますが、Azure Pipelines (DevOps)とAzure VMで実現できます。そのあたりの話はまた別の記事で書こうと思います。 この記事の話は Windows 11の新機能として登場したDevHomeやDevDriveなどは、もちろん開発環境の…

自動化は私の忍耐力の限界を補完してくれます。 はじめに 本書「Continuous Deployment」は、継続的デプロイメントの実践に焦点を当てた包括的なガイドです。継続的デプロイメントは、ソフトウェアパイプラインを完全に自動化し、手動介入を必要としない手法です。この方法により、クオリティーゲートを通過したすべてのコードコミットが自動的に本番環境にデプロイされます。 私は、ソフトウェア開発の現場で、オンプレミスの手動デプロイから始まり、Makefileによる自動化、JenkinsやCircleCI、GitHub Actions、GitLab CI/CD、AWS CodePipeline、C…

サーバーはsshでrsyncできればどこでも良いが、シンフリーサーバーを使った。 フリーじゃなくても使い勝手よさそうなので、必要なら有料版使おうと思う。 プロジェクトの用意 以下のコマンドでSSGのサイトがout/へ出力されるようにしておく。 npm run build デプロイサーバーのsshキーを登録する リポジトリ > Settings > Secrets and Variables > Actions のSecretsタブからNew repository secret でssh秘密鍵を登録する。 ここでは「DEPLOY_SERVER_KEY」として登録した。 GitHub Action…

Prompt Githubは gitリポジトリによるコードの保存 プルリクエストによるコードの更新プロセスの提供 Issueを用いたチケットドリブン Wikiを用いたナレッジの集積 Github Actionsを用いたCICDをはじめとする自動化 といった機能を有し、これらを開発者のローカルPCからAIとコマンドラインを用いてシームレスに扱うことで極めて高効率な開発を行うことが可能であると考える。 まず開発プロセスにおいて上記の機能を具体的にどのように活用できるかについてそれぞれ詳細に検討してくれ。 Response もちろん、それぞれのGitHubの機能を開発プロセスにどのように活用できるか…

2024/9/21 https://tokyo.serverlessdays.io/2024 https://serverless.connpass.com/event/325659/ 感想 運営の方からお願いのあったフォーマットで ①今日1番良かったセッションと良かったポイント 毎日放送の野球中継の話が1番良かった ユーザとして身近な内容なのでそそられたし、技術面の話も選定の流れなど面白かった 土曜朝からで眠気もあったがこれだけは最後まで聴き入ってた 他には生成AI関連はこれまで接点がなかったから知識が増えてよかった ②自分のプロジェクトで今度TRYしてみよっかなと思ったサーバーレスな施策・…

導入 (Introduction) 概要: 設定ファイルを簡単に、そして楽しく生成できるAppleのオープンソースであるPkl言語について触れてみよう！ 目的: 設定ファイルをいかに楽に自動的に生成できるらしいPklについて研究する。煩わしい設定ファイルに静的解析をしてくれるようなツールや言語を用いて、効率を爆上げする。 前提知識: 特にありません。No specific prerequisites! Just enjoy the process! 目次 (Table of Contents) 自己紹介 動機 Pklとは？ Pklの始め方 環境構築 Pklの基本データ構造 Pklの少し複雑なデ…

クラウドインフラ開発基盤カタログ化 サービスの概要 使用技術 実際に提供するアセットの一例 クラウドインフラ開発基盤カタログ化 サービスの概要 社内システムで使用するクラウドインフラをIaCを用いてアセット化する試みです。 プロジェクトごとに求められる多様な要件に対応したクラウドインフラ環境を高速に提供するため、 あらかじめクラウドインフラをアセット化しカタログとして選択可能にしました。 使用技術 開発環境：Cloud9での管理、aws cliでのリリース IaC管理：Codecommitでのバージョニング 実際に提供するアセットの一例 フロントエンド 静的webサイト : WebACL + …

こんにちは。コーポレート本部 サイバーセキュリティ推進部の耿です。 2024/6に Amazon Inspector が GitHub Actions でのコンテナイメージスキャンをサポートしたとのアナウンスがありました。コンテナイメージの脆弱性スキャンに既にTrivyを利用している方も多いと思いますが、別の選択肢として Inspector によるスキャンを試してみました。 また、実はコンテナイメージのスキャンだけではなく、言語パッケージのバージョンファイルやDockerfileを静的解析することも可能のため、それもやってみました。 仕組み アクションを紐解く リポジトリ内のファイルをスキャン…

LayerX Fintech事業部*1で、セキュリティ、インフラ、情シス、ヘルプデスク、ガバナンス・コンプラエンジニアリングなど色々やってる @ken5scal です。 ログ一元管理の本質とSIEMの限界 - データ基盤への道 - LayerX エンジニアブログ SIEMからデータ基盤へ - Amazon Security Lakeを試してる話 - LayerX エンジニアブログ 現在は、当社の方針に基づき採択したAWS Security Lakeを前提にしたセキュリティ監視基盤をもとに、 当社事業年度における２Qの目標ということで、実際のユースケースに取り組むこととしました。 シナリオ選び …

Ariful 入社…2023年9月に楽天グループに中途入社 部署名…レジャープロダクト部(LPD) 職種…バックエンドエンジニア 出身地…バングラデシュ、マイメンシン 趣味…運転、料理 Arifulさんはバングラデシュのマイメンシン出身です。大学卒業後、バングラデシュ政府が提供する初のオンライン学習プラットフォームである「Muktopaath」のプロジェクトに参画、チームリーダーとして活躍しました。 2023年9月に楽天グループに入社し、現在は「楽天GORA」でバックエンドエンジニアとして務めています。 そんなArifulさんに、仕事の内容や楽天グループの職場環境についてインタビューしました。…

Ruby の X11 クライアントライブラリは何がいいんだろ。rubygems 見ても古いものばかりだな…。— とみたまさひろ🍣🍺 (@tmtms) 2024年8月22日 大師講が終わった後の雑談タイムで米不足の話題を振ったら、米農家が檀家さんに居る寺の住職曰く「今まで安く買い叩いてた大手に売らないって話で、普通に取引してた所には充分行き渡ってる・ようやく米を作っても赤字にならない位には値段が上がってくれた」との事で、あ～（察し）ってなった pic.twitter.com/qfy8Ekllr3— 蝉丸P＠「住職という生き方」「つれづれ仏教講座」発売中 (@semimaruP) 2024年8月2…

はじめに オンプレ型バッチ処理の特徴とクラウドネイティブ技術 バッチ処理の構成要素と概念 バッチ処理 バッチ処理の構成要素 商用ジョブ管理ソフトとバッチ処理 クラウドネイティブ技術によるバッチ処理の実現 Apache Airflow とは MWAA のアーキテクチャ スケジューラー ワーカー ウェブサーバー データベース オペレータ ポピュラーなオペレータ AWS Operator サーバレス化のメリット サーバレス・バッチの構成イメージ 可用性とスケーラビリティ MWAAの可用性とスケーラビリティ タスクの可用性とスケーラビリティ DevOpsの実践とアジリティの向上 Webアプリケーション…

※本記事は、ChatGPTによる意訳+翻訳を活用し、レイアウト調整したものです。 ※元記事を見て、内容がズレていないか査読するようにしています。 ※感想は、オリジナルです。 原文 意訳+要約 DevOps の謎を解く: CI/CD パイプラインと必須ツールを理解する ChatGPTへのQA Ｑ：CI/CDが登場した背景について教えて下さい 1. ソフトウェア開発の複雑化 2. アジャイル開発手法の普及 3. 手動プロセスの限界 4. 市場の競争とスピードの重要性 5. DevOps文化の形成 6. 技術の進化 7. テストの自動化と品質向上 Ｑ：GitOpsのような派生したものが生まれています…