Step Functions

こんにちは、インフラエンジニアのささしゅう（@sasashuuu）です。 本日は最近アップデートされ、新たに14個追加されたStep Functionsの組み込み関数について、いくつか活用事例を交えてご紹介したいと思います。 アップデートの概要 Step Functionsの組み込み関数アップデートに関するアナウンスは以下になります。 aws.amazon.com また、組み込み関数のドキュメントは以下になりますが、日本語版のドキュメントにはまだアップデートされた関数の情報の記載が見当たらなかったため、英語版の方を貼っておきます。 docs.aws.amazon.com 配列操作、UUIDの作…

こんにちは、インフラエンジニアのささしゅう（@sasashuuu）です。 本日は、Step Functionsを用いてデータの同期更新システムを構築した際に少しだけハマったポイントについてご紹介です。 Step Functionsとは Step FunctionsとはAWSの各種サービスを組み合わせた一連の処理の自動化などがローコードで行えるAWSのサービスです。 aws.amazon.com 弊社でも過去にいくつかStep Functionsを使用した導入事例を記事にしているので、もしご興味があればご覧ください。いくつかピックアップしておきます。 tech.connehito.com tec…

今回は、AWS Step Functions で Amazon ECS のタスクを実行するシンプルなステートマシンを作成していきます。 すでに Fargate で動作可能な ECS クラスターや ECS タスク定義、 ECS タスク実行ロール、VPCのサブネットやセキュリティグループは用意している前提です。 ステートマシンで ECS クラスターやタスク定義の ARN の指定が必要になるので、メモしておきます。次に挙げているのは例です。 ECS クラスターの ARN arn:aws:ecs:ap-northeast-1:000000000000:cluster/test-cluster ECS …

AWS Step Functions のステートマシンから Amazon EKS クラスターで Job を実行しようとしたときにハマったことをメモしておきます。 最初は、次の AWS Blog の記事がキッカケでした。 AWS Step FunctionsとAmazon EKSの統合のご紹介 この記事では、AWS Step Functions と Amazon EKS の統合について記載されてます。 これを、自分なりに試してみようと思ったわけです。 ただシンプルに試したかったので、EKS クラスターで Job の実行を行うだけのステートマシンを作成することにしました。 まず、自分が既に用意して…

はじめに AWSで定期的なデータ連携バッチを書く方法の一つにAWS Step Functions(以下Step Functions)があります。Step FunctionsはAWS Lambda(以下Lambda)を始めとするAWSの様々なサービスを組み合わせたワークフローを記述できるサービスです。LambdaおよびStep Functionsはバッチ用のサーバを構築・管理する必要がなく安価にサービスを運用できるため、私のチームでも活用しています。 LambdaおよびStep Functionsにはそれぞれ制約があり工夫が必要となる場合もあります。例えばパイプラインを定義するためにASL(Am…

はじめに 目的 裏の目的 設定UI 設定閲覧UI アーキテクチャ CDK 終わりに はじめに ライクル開発部のエンジニアの永井です。 ライクルでは、GoogleBusinessProfileを通した集客支援サービスを提供しています。 突然ですが、皆様はこんなランダムアサインslack botを設定していたりしませんか？ 今回は、チーム運営する上でランダムアサインを便利に設定できるslack botを開発したモチベとその構成について話したいと思います。 目的 ライクル開発部では、上記のようなランダムアサインbotを簡単に作るために GASにて実装していました。 しかしGASで実装すると、どのGA…

マネックス証券 システム開発推進部のHです。 はじめに 2021年もそろそろ終わりです。年末年始は休日や祝日も多くのんびりできますね。(今年から来年にかけては少ないかもしれませんが・・・ ) ところで弊社の基幹システムGALAXYでは、早朝から深夜までたくさんのバッチ処理が稼働しております。大半は平日のみ実行され、休日や祝日は実行しないようジョブスケジューラーがコントロールしております。 さてAWSで平日のみバッチ処理を実行しようとした場合に、どうやればよいのだろうか？と考えました。 どうやって実現するか考える やりたいことは例えばこんな感じです。 月曜日～金曜日の10:00に実行する。 土曜…

【マルチデバイスチーム ブログリレー6日目】 こんにちは、エンジニアリンググループ マルチデバイスチームの大和です。 弊チームではAPIサーバを動かす基盤としてAWSを活用しており、ネイティブアプリから実行されるAPIサーバやDB等についてもAWS上で動作しています。 普段はこのAWS上で動いているAPIサーバの開発・運用を主に行っています。 運用業務のひとつにDBのデータを分析できる状態にすることがあります。 例えば、ユーザの行動の結果をBigQuery上で集計できるといったことが挙げられます。 今回はそれを実現する方法の一部分として、DynamoDB上のデータを日次でS3に出力する方法につ…

今日の積み上げ AWS学習 Tech StockのAWS WEB問題集（DVA）#26～#30：28/35（80%） AWS Hands-on for Beginnersのコンテンツを１つやった 英語学習 タニケイ式シャドーイング教材File08（２日目） AWS学習 ＜ハンズオン＞ pages.awscloud.com S3静的WebサイトホスティングとCloudFrontディストリビューションのハンズオン。 CloudFrontは今回初めて触ったが、昨年８月のアップデートでハンズオン手順の変更点がありながらも最後まで完走できてよかった。（Route 53とACMはオプションのためスキップ）…

2023/1/7、JAWS-UG横浜 #51 AWS re:Invent 2022 Recap Serverlessにオンライン参加しました。 この投稿はその参加記録です。 jawsug-yokohama.connpass.com 内容 登壇者の方のブログに沿ってServerlessカテゴリのAWSのUpdateの説明 re:Invent 2022 サーバーレス関連の新サービス、アップデートまとめ - Qiita AWS Lambda SnapStartはデモによる実践を公開。デモの環境ではtemplate.ymlに以下の記載をすることで、Lambdaファンクションのいわゆるコールドスタート時…

本記事の内容 こんにちは、AWSエンジニアの山口です。 最近は業務でもStep Functionsを使うことが多くなってきました。非同期で疎結合なワークフローを組み込むときに便利なStep Functionsですが、ステートに渡すデータ加工を行うロジックを実装する場合、Passステートと組み込み関数を利用するシーンが多いかと思います。 視覚的にステートマシンを構成できる便利なWorkflow StudioからPassステートと組み込み関数を実装する場合には注意点があります。 今回は、組み込み関数 States.MathAdd を例にその注意点と回避方法を書いていきます。 本記事のサマリ Wor…

おはようございます。AWSエンジニアの山口です。 本記事は個人ブログの再掲載です。オリジナルは https://shimakaze.hatenablog.com/entry/2022/12/22/170349 になります。 本記事は「Japan AWS Ambassador Advent Calendar 2022」22日目の記事です。 AWS Ambassadorのアイレット株式会社 高橋 修一 さんからバトンを受け取りました。筋トレ好きな同志エンジニアからのバトンをしっかりと大切に次の方へ繋げたいと思います。 Amazon Web Services が開催する最大のラーニングカンファレンス…

今日の積み上げ AWS学習 AWS Hands-on for Beginnersコンテンツを２つ視聴した 英語学習 教材File07の２日目をやった（タニケイ式シャドーイング） AWS学習 AWS公式デジタルトレーニング「Architecing Serverless Solutions on AWS (Japanese) 日本語吹き替え版」をやってると、やたらとStep Functionsが登場してくるので、どんなものかとハンズオンコンテンツを視聴した。 pages.awscloud.com このサービス、見た目にとてもわかりやすく、銀行基幹系システムなど手続き型言語で組まれたシステムとも相性…

今年は本業が立て込んだり、史上空前の心身の不調に見舞われたりと多た事じ多た端たんな1年であった。生来の筆無精に輪をかけて、ここに書く訳にはいかないエピソードも多すぎて、気付けばブログの更新が滞った状態で年の瀬を迎えてしまった。この1年をかえりみると、まさに厄年と呼ぶに相応しい1年であったが、おかげさまで読書の機会には恵まれた。そんなわけで、今年の「良かった本10選」はかなり厳選に厳選を重ねた。 例によって特定のジャンルにかなり偏向がみとめられるが、すべて僕の独断と偏見によるものである。 ポストモーテム 本書は、みずほ銀行が2021年2月〜2022年2月の12ヶ月の間に合計11回起こした一連のシ…

はじめに 先日、エンジニア界隈では有名なポッドキャストであるfukabori.fmに出させていただきまして、そのときのトピックがサーバーレスでした。 ポッドキャストはこちらで聞けますのでぜひどうぞ。 fukabori.fm そこでもいろいろお話ししたのですが改めて話せなかったことなども含めて書こうかなと。つまり、ポエムです。散らかった文章な上に少し長めなのでお時間のある方だけどうぞ。 なお、サーバーレスの黎明期の話とかそういう思い出話は以前に書いたこちらの投稿があります。 サーバーレスと僕のこれまでとこれから - Sweet Escape 今回は思い出話ではなく、サーバーレスに個人として魅力を…

目次 目次 はじめに プラットフォーム事業本部：pospome IT インフラ本部 SRE 部：小野輝也 AWS Migration and Modernization GameDay Data analysis with Amazon EKS and AWS Batch 全体的な感想 プラットフォーム事業本部：Anri ITインフラ本部 インフラ部：星野卓哉 Best practices for automating AWS account migration Delegating access in a multi-account environment with IAM Identity…

今年やっていた仕事をまとめてみた。 デプロイパイプラインの再構築 現職では、Pull Request を作るとマイクロサービス一式のプレビュー環境が Kubernetes にデプロイされるようになっている。メインブランチにマージせずに動作確認やレビューができるため、漸進的に開発していく上で重要な仕組みになっている。 歴史的経緯から以下の課題を抱えていた。 テストのない大量のシェルスクリプト群 レンダリングしたマニフェストを直接デプロイしているため、障害発生時にクラスタの復旧が困難だった CIaaS のコスト この仕組みを以下の技術スタックで再構築した。 GitHub Actions (Type…

こちらの記事は「コドモン Advent Calendar 2022」の 24日目の記事です 🎁 qiita.com こんにちは、コドモンSREチームの菅野です。いよいよクリスマス・イブですね。子どもにプレゼントがみつからないかヒヤヒヤドキドキしております。 今回はお手軽にデータのETL処理ができるAmazon Athenaの定期実行を紹介します。 コドモンではデータの分析をする際にAmazon Athenaを利用することがあります。 使っていくうちに「よく見る結果は集計した状態で置いておきたい」や 「簡単な加工をしたい」場面がでてきました。 いわゆるETL(Extract/Transform/…

本記事は「Japan AWS Ambassador Advent Calendar 2022」22日目の記事です。 AWS Ambassadorのアイレット株式会社 高橋 修一 さんからバトンを受け取りました。筋トレ好きな同志エンジニアからのバトンをしっかりと大切に次の方へ繋げたいと思います。 Amazon Web Services が開催する最大のラーニングカンファレンス re:Invent 2022 で発表された Amazon.com CTO Werner Vogels の Keynoteについて振り返りながら、私が感じたことを書いていきます。 re:InventのKeynoteを含むセッ…