Step Functions

以前のブログで、LangChainとBedRockを利用し、AWSアップデートの要約をさせてみました。 今回は、EventBridgeとStep Functions を活用し、要約内容を定期的にメール通知する仕組みを実装してみたいと思います。 はじめにお断り（というか言い訳） 全体構成 各ステップの詳細について 1. aws-update-check Lambda関数 Step Functions 2. Choice 3. aws-update-description Lambda関数 Step Functions 4. aws-update-summarize Lambda関数 Step F…

タダです. 前回の記事で Bytebase の API を実行するコマンドを紹介しました.この記事ではローカルから curl で実行していたのですが,自動化して実行できるように Step Functions のサードパーティ API 実行を試してみます. sadayoshi-tada.hatenablog.com Step Functions から Bytebase API を実行する準備 サービスアカウントキーの発行 サービスアカウントキーの Secrets Manager への格納 EventBridge Connection の追加 Step Functions でワークフローを構築する…

前回記事に引き続き、AWS Step Functions がテーマです。 （2024 年 6 月に検証した内容に基づいています。） AWS Step Functions のステートマシンは、様々な AWS サービスと連携できます。 例えば、AWS Lambda 関数を呼び出したり、Amazon SNS のトピックにメッセージを発行したり、Amazon DynamoDB のテーブルに項目を Put することも可能です。 この連携のことを 「統合 (integration)」と呼ぶこともあります。 この統合には、最適化された統合 と AWS SDK サービス統合 の 2 種類があるとドキュメントに…

タダです. Aurora を複製時に EventBridge ルールで特定 Aurora クラスターと DB インスタンスの作成タイミングを検知して Step Functions に処理させたいと思って,EventBridge ルールでワイルドカードを使ってみたので備忘録にまとめます. EventBridge ルールのワイルドカード Aurora のイベントの中で拾えるもの まとめ 関連記事 EventBridge ルールのワイルドカード EventBridge ルールのワイルドカードサポートは2023年10月に行われたもので,今回 Aurora を複製した時に特定の Aurora のイベント…

タダです. 前回の記事で時限式の Aurora Clone の削除を Step Functions で試した記事を書きました.今回の記事ではその関連として Aurora を削除するときのパラメーターで渡す際に意図したインプットを次のステートに引き継げるようバリデーションを設けてみます. sadayoshi-tada.hatenablog.com Step Functions で行うバリデーション 削除する Aurora を意図したものだけ消して,関係ない Aurora を削除しないようにバリデーションを設けていくのですが,Step Functions のどういった設定を行うかを検討していきます…

こんにちは。クラウド事業部の野本です。 AWS 上でバッチ処理を実装する際、複数の Lambda 関数を順番に呼び出すために Step Functions を使う機会がありました。単純なものなら Workflow Studio でステートを並べるだけで視覚的に組み立てられるのですが、 Lambda の入出力を複雑に受け渡すには Step Functions の入出力を理解する必要があり苦労しました。 本記事では Step Functions の離れたステート間で入出力を受け渡す設定方法について纏めます。特に Task ステートにおける入出力処理を、ステートの定義をプログラムに翻訳して理解してみ…

こんにちは、プロダクト開発部の藤田です。 今回は Amazon ECS(以下、ECS) と AWS Step Functions(以下、Step Functions) を組み合わせた「ワンショットタスクの実行基盤」についてご紹介します。 「ワンショットタスク」とは、指定されたコマンドやスクリプトを1度だけ実行して、終了するタスクのことです。 このようなワンショットタスクは「プライベートネットワークの内側にあるリソースへのアクセスが必要な、非定型的な操作」を実行する際などに用いられます。 例えば、プライベートネットワークの内側にある DB に対して、以下のような作業をエンジニアが実施する際に、s…

イベント概要 セッションメモ サイバー攻撃のグローバルトレンド、エッジセキュリティサービスの進化とサービスイノベーション AWS エッジサービスで実現するウェブアプリケーションの保護 AWS WAFと脅威インテリジェンスを活用した攻撃検知および遮断の自動化 SOCによるフルサポートでAWS WAFの運用監視をまるっとお任せ 複雑な運用や専門人材は必要なし！AWS WAFを自動運用できるWafCharmとは おまけ まとめ AWSが主催する「高度化するサイバー攻撃への Web セキュリティ対策 ～ 強化された機能と プロアクティブな運用サポート」というイベントに参加したので、そのレポートになりま…

こんにちはSREチームの宮後(@miya10kei)です。最近、DisplayLink対応の変換アダプターをGETし、トリプルディスプレイ化していろいろ捗っています！ 前回から少し時間が空いてしまいましたが、今回はAmazon Auroraに対して2種類のオートスケーリングポリシーを組み合わせた事例を紹介します。 背景 Park DirectではデータベースにAmazon Aurora（Provisioned）を利用し、Writerインスタンス1台、Readerインスタンス2台の構成で運用しています。 ReaderインスタンスのCPU利用率には次の傾向がありました。 Readerインスタンスの…

自己紹介 エンジニアとしての経験は約25年になります。最初の10年ほどはSIer業界でWindows系や.NET系の開発を専門にしておりましたが、最近15年ほどはWeb業界の自社開発企業界隈でLinux系のバックエンド開発およびクラウドインフラ周りの設計/構築業務に携わっております。 ここ数年はクラウドのインフラエンジニアとしてサービスの新規開発フェーズやインフラのリプレイスフェーズに参画させていただくことが多いです。最近の業務経験に関しては下記のレジュメにまとめておりますのでご参照いただければと思います。 github.com エンジニアとしての抽象的な強みは下記になります。 幅広い知見と経…

先日Amazon S3でconditional write機能がリリースされました。本記事では、この機能を用いた分散ロックについて検討します。 aws.amazon.com 分散ロックとは 分散ロック (distributed lock) とは、分散環境で排他制御を実現するために必要な機構です。実現できることはロックですが、分散環境から利用できることが特徴です *1。 実装はRedisを利用したものが有名ですが、AWSネイティブな実装としてはDynamoDBを利用することも多いでしょう。(実装例: DynamoDBLockClient, Powertools for Lambda) 分散ロック…

現在、AIを使った採用支援ツール(https://noxx.net)を開発しています。このプロダクトでは、仕事情報の分析や応募してきた候補者の評価のために、Step Functionsを含めて100を超えるLambda function を実行しています。インフラを含めたプロダクト内のすべてのサービスはAWS Cloud Development Kit（CDK）により開発/運用されています。 この記事では、プロジェクトをモノレポとして整理するところから、多数のLambda functionのデプロイ管理まで、サーバーレスシステムを設計/実装した方法を共有します。 アーキテクチャの概要 マルチス…

こんにちは。コドモンStep Functions部の関口です。最近Step Functionsばかりやっていたので自分が開発部の所属であることももはや忘れています......。 みなさまはStep Functionsを活用されていますか？ 私は覚えることが多そうだという理由で今まで敬遠していたのですが、ここ最近、業務処理バッチや運用作業の自動化に携わる中で利用する機会が増えました。比較的規模の大きなStateMachineを作る中で自分なりのTipsが増えてきたので、ここで書いてみようと考えました。 今回ご紹介するのは、AWSのコンソールからStep Functionsへ飛んでVisual E…

「簡単なジョブ実行でサーバーを使うのはもうやめよう」ということでStep Functionsとコンテナで簡単にジョブ実行させる方法のご紹介です。 はじめに 前提条件 AWS Step Functionsの準備 AWS Step Functionsの実行 まとめ はじめに こんにちは。サーバーワークスの松井です。 今回はAWS StepFunctionsとコンテナで簡単にジョブ実行をする方法についてご紹介します。 前提条件 以下のリソースは事前に作成済みであることを前提とします。 ECS タスク定義 ECS タスク実行用IAMロール ECS タスク用IAMロール ECS クラスター ECR レポ…

「漠然とデータを採っているが活用できていない」「ログ分析の手間を減らしたい」… シリーズ第三弾では、実際にSIEM on AOSでどんなリソースが作られどう動くかのアーキテクチャを解説します。 はじめに 結論 作られたものを確認しよう OpenSearch S3 Lambda SQS SQSを有効化する方法 EventBridgeルール・StepFunction・CloudWatchアラーム SNS IAMロール KMS Stepfunction パラメータストア まとめ はじめに 図解好きの垣見（かきみ）です。 SIEM on AOSを1から学ぶ！ブログシリーズ第三弾です。第一弾では概要を、…

はじめに 「Synergy!」はオンプレ環境からAWS環境へのクラウド移行を行った際に、まだ知見が十分な状態ではなく、Linuxインスタンスで実行するcronジョブはAmazon マシンイメージ(以後AMI)内に記載していました。 ところが運用において、cronジョブの変更が必要になった際にAMIの作り直しを行ったり、Auto Scaling グループの更新(Linuxインスタンスの入れ替え)などの作業を行う必要があり、工数がかかる原因となっていました。 今回は、Linuxインスタンスで実行するcronジョブをEventBridge Schedulerに移行した際の手順や、そこで得た知見などを…

マネージドサービス部 佐竹です。 本日は、最近話題となっている一部の AWS サービスが新規顧客の受け入れを停止した件に関してです。今後も本情報に関する内容は都度更新がされると思われますため、2024年8月2日 12時現在の情報としてご覧ください。 はじめに 新規の停止を知らせる情報掲載箇所まとめ AWS CodeCommit Amazon CloudSearch Amazon Forecast S3 Select AWS Cloud9 AWS Data Pipeline (2024年8月15日 修正) Amazon SimpleDB これらの具体的な影響について 既存のお客様 新規、または追…

AWS Step Functions でワークフローを構築しているときに AWS Step Functions の実行時に渡すインプットの一部をファイルとして Amazon S3 に保存したいという場面があったりする❗️実際に最近あった ＼( 'ω')／ もちろん AWS Lambda 関数を追加すれば柔軟で自由度高くワークフローを拡張できるけど，比較的シンプルな処理であれば無理に AWS Lambda 関数を増やすのではなく，AWS Step Functions の「AWS SDK 統合」を活用する方が良かったりする．ちなみにシンプルな処理であれば AWS Lambda 関数は不要というベス…