LocalStack

CS1の石井です。 タイトルの通りLocalStackというツールを用いてCDKをローカルで動作確認を行う記事となります。 対象読者 CDKワークショップを終わらせている方 devcontainerを使える方 記事を書いた動機 私は普段仕事でCDKをよく使うのですが、コードの記載や修正をした後、動作確認をnpx cdk synth で確認しています。 これはTypescriptで記載されたCDKをCloudFormationのYamlファイルに変換する作業であり、CDKのコードに不備があれば正しく出力することはできません。 しかし、これは実際にデプロイしていないため、実際にデプロイしてみるとA…

こちらの記事はhacomono Advent Calendar 2023の12日目の記事です 自己紹介 おはこんばんちは。 hacomono 開発部の iwazer です。 久しぶりの登場ですが、この間にティアキンも Cyberpunk2077 最終 DLC も Starfield も全部発売されました。 みなさんクリアしたでしょうか。私はクリアしました。 今回は AWS を使った開発をラクチンにしてくれる LocalStack について軽く書こうと思います。 概要 LocalStack はローカル環境でAWSクラウドサービスをエミュレートするためのフレームワークです。 AWS に実際に接続す…

先日、LocalStack 2.0がリリースされたので、Spring Bootアプリケーションで利用してみます。 LocalStack 1.0と2.0の違いをChatGPTに聞いてみました。 LocalStack 1.0とLocalStack 2.0は、AWSクラウドリソースをローカル環境でシミュレートするために使用されるオープンソースプロジェクトです。これにより、開発者はオフラインでAWSサービスをテストできます。LocalStack 2.0は、1.0に比べていくつかの重要な改善点があります。 パフォーマンスと安定性：LocalStack 2.0は、より高速で安定したパフォーマンスが期待され…

こんにちは！Dataintelligenceチームの垣内です。 本連載ではAWSの分散処理サービスである「AWS Glue」を使って、分散処理を実行してみます！第一回目の「サービス調査編」を見られたい方は、こちらからご覧ください！ kdl-di.hatenablog.com 今回は、ローカルでの開発方法をご紹介します。 アーキテクチャのおさらい compose.yamlの修正 ①ファイル名の変更 ②S3コンテナ init.shの作成 yamlの修正 ～LocalstackでAmazon S3を立ち上げる～ Localstackの起動初期スクリプトをマウントする ③Glueコンテナ yamlの修…

こんにちは出石です。 AWSアプリの開発で、ローカルでサクッと動作確認をとりたい時があります。またはコスト面などの理由で。 そんな時に使えそうかなとlocalstackを触ってみました。 localstackはコンテナでAWS各種サービスをエミュレートできる環境をローカルに用意できます。 先日localstack V1.0の一般提供が発表されました。 localstack.cloud

はじめに こんにちは。 サーバサイドエンジニアの窪田です。 yappliではweb上でノーコードでモバイルアプリ開発ができるプロダクトを提供しています。 その中の主要機能の1つにpush通知があります。 CMSユーザーがyappliのWebアプリ上でエンドユーザーに対して、いつどんなメッセージを送るかということを設定することができます。 push通知機能では 大量の配信 複数のセグメント条件の分岐 複数の配信方法 を実現しています。 この配信基盤の全容は大規模かつ複雑な仕組みになっています。 その基盤のうち部分的にAWS SQSによるキューの仕組みを使っています。 上の機能を実現するためにpu…

Serverless構築が予想以上に長くなってしまったため、2章立てでお送りします。 前回の記事: LocalStackが正式リリースされたので試してみた(その1 セットアップ編) - cer12uのメモ AWSコマンドでserverlessサービスを構築 前回作成したLocalStackを使って、Lambda + API Gatewayでローカルserverlessを立ててみます。 こちらのページが良くまとまっているので、今回はこれをパク参考にしました。 LocalStack入門(第５回) ブラウザからのアクセス方法～API GatewayからLambda関数起動 1. 実行用Lambdaの…

こんにちは！hacomonoの開発基盤グループでインターンとして活動しているゆーたです。 2024年7月にhacomonoにジョインしました。これまで約2年間、主にアプリケーション開発を担当するインターンやバイトをしていましたが、hacomonoでは開発基盤チームに所属していることもあり、インフラも含めて広く触れる機会をいただいています。 先日、初めてのタスクを完遂したので、今回はその内容を振り返りたいと思います。 TL;DR Notionで管理しているテックブログ記事を、はてなブログへ自動転写するアプリケーションを開発 記事の手動転写による30分〜1時間のリードタイムを、数分に短縮することに…

エンジニアのコミュニケーションスキルに関する議論 ChatGPTの値上げとAI市場の動向 生成AIとソフトウェア開発におけるエンジニアの役割 AIによる3Dモデリング技術 ソフトウェアエンジニアのキャリアとライフスタイル Windows 11におけるUSB接続複合機・スキャナーの検出問題 優秀なITエンジニアの育成に関する考察 CTOの役割と経験に基づく考察 Bing Wallpaperアプリの不審な挙動に関する報告 Bluesky上でのウェブサイト構築方法 エンジニアの人生を変えた書籍紹介 Blueskyアプリの急激なユーザー増加 5G通信に関するニュースとユーザー体験 Microsoftの…

こんにちは、プロダクト開発部の中田です。 今回は、イベント連携基盤の技術選定の記事の続きです。 MessageBrokerの候補として挙げたAmazon EventBridge（以降、EventBridgeと記述）について、実際にさわってみて気づいた点をご紹介します。 イベント連携基盤の技術選定をした話 〜背景・課題編〜 イベント連携基盤の技術選定をした話 〜EventBridgeさわってみた編〜 ←今回はこの話 イベント連携基盤の技術選定をした話 〜Axon + MSKさわってみた編〜 イベント連携基盤の技術選定をした話 〜比較・結論編〜 本記事の概要 まず、イベント連携基盤のMessage…

これは、なにをしたくて書いたもの？ AWS Step Functionsのワークフローを見ていて、エラーハンドリングについて試しておいた方がいいかなと思いまして。 Step Functions ワークフローでのエラーの処理 - AWS Step Functions AWS Step Functionsのエラーハンドリング 内容としては、ドキュメントのこちらのページのものです。 Step Functions ワークフローでのエラーの処理 - AWS Step Functions ワークフローでは、PassステートとWaitステートを除くすべてのステートでランタイムエラーが発生する可能性があるとさ…

Amazon Cognito を操作するコード／テストを実装するときに LocalStack を使いたいな〜と思うけど，Amazon Cognito は LocalStack Pro Edition でサポートされていて，LocalStack Community Edition では使えないと言う課題がある． docs.localstack.cloud もちろん LocalStack Pro Edition を契約して使うという選択肢もありつつ，単純に Amazon Cognito の基本的な API を実行できれば良いのであれば Moto を使うという選択肢もある❗️ github.com …

これは、なにをしたくて書いたもの？ LocalStackやAWS Step Functions Localを使って、AWS Step Functionsのチュートリアルや環境構築を試してきました。 今度は、練習ということで入出力を扱うAWS Lambda関数を書いてみたいと思います。 お題 こういう入力を与えると { "message": "Hello World" } こうなって { "result": "★★★Hello World★★★", "message": "★★★Hello World★★★", "inputOriginalMessage": "Hello World", "wi…

これは、なにをしたくて書いたもの？ 前に、LocalStackとTerraform、AWS SAMでAWS Step Functionsを作成してみました。 LocalStack × Terraform × AWS SAMでAWS Step Functionsを動かしてみる - CLOVER🍀 ただ、AWS SAMでもAWS Step Functionsのステートマシンを扱えるらしく、AWS Step Functionsを主体のテーマに扱う場合はAWS SAMで 一気に作ってしまうのもよいかなということで試してみます。 AWS SAMのAWS Step Functionsのサポート 全然気にし…

これは、なにをしたくて書いたもの？ AWS Step Functions Localを使ってAWS Step Functionsをローカルで動かしてみたのですが、AWS Step Functions Localだけではなくて AWS SAMでAWS Lambdaのローカル環境を起動する必要があったり、AWS CLIでステートマシンを定義したりとやや面倒です。 LocalStackでもAWS Step Functionsを扱えるようなので、こちらも試してみましょう。 また構築はTerraformで行いたいと思います。 LocalStackのAWS Step Functions LocalStac…

こんにちは。estie のデータマネジメント事業部に所属しています万代です。今回は estie レジリサーチの公開に寄せて、その裏側の技術的な内容についてのブログです（estie レジリサーチの説明については PMの勝田のブログをぜひご覧ください！）。 私は普段はオフィスの募集情報（このビルのこの階の広さ何坪の区画は入居者をいくらで募集しているよ、のような情報）を扱っています。世の中にオフィスビルはたくさんあり、estie マーケット調査が扱っているオフィスビルは2024年10月現在8万棟以上、募集情報は200万件以上と大量のデータを扱っています。 しかしながら日本にはオフィスビルよりもずっと…

AWS Glue Jobによるicebergテーブル操作 AWS Glueではicebergテーブルフォーマットがサポートされています。 AWS Glue での Iceberg フレームワークの使用 - AWS Glue iceberg形式は大規模なデータセットを効率的に処理を行うことができる、データレイクに保存されてるデータ処理に向いたテーブル形式です。 iceberg形式の主要な特徴として以下が挙げられます Apache Iceberg - Apache Iceberg™ SQL操作 データの追加・更新・削除をSQLコマンドで実行可能 スキーマ進化 テーブルスキーマの柔軟な変更が可能 隠れ…

Glue Jobのローカル開発 AWS Glue Jobをローカル環境で開発する際、AWS公式が提供してるDocker imageを活用する方法があります。 Developing and testing AWS Glue job scripts locally Glue Jobを利用する場合、S3からデータを取得・保存するユースケースが多いかと思います。 本記事では、ローカル環境にAWS環境をエミュレートするLocalStackを活用して、実際のAWSリソースへのデータをやり取りを行わずGlue Jobの動作検証・テストを行う方法を書きます。 Overview | Docs Glue vers…

こんにちは、GMOメイクショップの越川です。 次世代ECの管理画面で工夫した機能CSV出力に関して、悩んだ部分や解消方法についてまとめてみました。 CSV機能について 当初の計画 課題 解決案① 解決案② ローカル環境 まとめ CSV機能について 弊社のサービスでは、多数のCSV出力をする必要がありますが、旧システムではオンラインで処理されるため 応答時間が長くなってしまっていたり、指定可能な範囲が短すぎたり、限界がきておりました。 次世代ECでは、件数や範囲に応じて、オンラインで応答する場合と、バッチで実行する場合を使い分けるように設計いたしました。 当初の計画 以前のブログでもご紹介させて…