serverless

前回記事に引き続き、AWS Step Functions がテーマです。 （2024 年 6 月に検証した内容に基づいています。） AWS Step Functions のステートマシンは、様々な AWS サービスと連携できます。 例えば、AWS Lambda 関数を呼び出したり、Amazon SNS のトピックにメッセージを発行したり、Amazon DynamoDB のテーブルに項目を Put することも可能です。 この連携のことを 「統合 (integration)」と呼ぶこともあります。 この統合には、最適化された統合 と AWS SDK サービス統合 の 2 種類があるとドキュメントに…

グループデータマネジメント部の須藤です． 日々の業務はデータ基盤の開発や運用を行っています． 今回はAWSのクラウドデータウェアハウスAmazon Redshiftの費用削減に取り組んだのでそこで得た知見を共有したいと思います． クラウドデータウェアハウスはスケーラビリティやパフォーマンスが費用対効果のバランスが取れているか定期的に見直しする必要があります． 我々が運用しているAmazon Redshiftのクラスタは利用開始してから3年が経過しており，開始当初より利用量が増えて利用パターンが変化していたので効率化に取り組みました． 背景 RedshiftにはプロビジョニングされたクラスタとS…

はじめに 当ブログはQiita Advent Calendar2023に投降した下記ブログの転載＋加筆になります。 初アドカレついでにQiitaを試してたのですが、運営している本ブログにも載せます。 qiita.com Infrastructure from Code（IfC）とAmptについて少し学習したので、整理して書きたいと思います。 きっかけ ServerlessDays Tokyo2023のAWS Eric JohnsonのセッションでIfCという単語を初めて聞いたのですが、中身について触れなかったので何なのか分からなかったのとIaCと何が違うのか気になったためです。 https:/…

TL;DR 自己紹介 Streamlitとは Streamlit in Google Cloud 本アーキテクチャにおける技術的なポイント 1. Streamlit自体の独自カスタマイズ 2. URLマスクを用いた、StreamlitアプリケーションのURLの制御 3. Cloud WorkStationsを用いた、VPC内のセキュアなIDE環境の提供 4. 共通ライブラリの提供 5. Cloud Run × IAP構成における制約の回避 今後の展望/最後に 関連記事 TL;DR 本記事では、Google Cloud上で社内限定公開のStreamlit cloud相当のサーバレスプラットフォー…

こんにちは、クラウド事業部の髙野です。 今回はAWSでサーバーレスアーキテクチャを採用したREST APIの実装方法を紹介します。 「サーバーレスアーキテクチャについて、なんとなくの概要は知っているけど実装できるかは不安だな」という方の参考になればと思います。 目次 目次 サーバーレスアーキテクチャとは 作成するAPIの概要 使用するAWSサービスについて DynamoDB Lambda API Gateway IAM 環境構成 API作成手順 1. DB作成 2. IAMロール作成 3. Lambda関数作成 4. API作成 5. API作成（リソース） 6. API作成（POSTメソッド…

こんにちは！バックエンドエンジニアのパクです。 先日、2023年7月14日に開催された 2023 Japan AWS Top Engineers GameDay(以下「AWS GameDay」という) に参加しました。私の初めてのAWSのトレーニングイベント参加で、非常に面白い経験でした！ AWS GameDayとは AWS GameDayは、チームで協力して学ぶ演習です。ゲーム化されたリスクのない環境で、現実世界の問題を解決するための AWS ソリューションを実装するスキルがあるかを試されます。 aws.amazon.com 今回のイベントではAWSの様々なソリューションの中でも特にサーバー…

Amazon API Gateway のリクエスト検証機能は広く知られているかもしれませんが、今回はリクエスト本文検証時のエラーメッセージを変更して詳細な情報を表示する方法を紹介します。 これは、数ヵ月前に私が登壇したトレーニングの受講者の質問から気づけた Tips です。（整理してブログで紹介しようと思っていながら遅れに遅れてしまいました 🙇‍♂️） なお、この記事の内容は 2023 年 5 月に検証した内容に基づきます。 目次 Amazon API Gateway のリクエスト検証 PetStore API の作成 リクエストのクエリ文字列パラメータの検証 リクエストの本文の検証 リクエス…

ITエンジニアのためのプロンプトエンジニアリング Serverless AI Chat with RAG using LangChain.js AutoGen Studio: A No-Code Developer Tool for Building and Debugging Multi-Agent Systems 【最大90%の時間削減】生成AI最前線、 トヨタコネクティッド社のAI効率化事例と全社的生成AI導入戦略の全容 モダンアプリケーションにおけるユーザー認証・認可の実装のために考慮しておきたいこと LangGraph での Human-in-the-loop の実装 ハイパーパラメ…

用語の整理 つくるもの services VPC peering 用の IP address private connection Cloud SQL instance, db, user Serverless VPC Access connector Cloud Run tips IP アドレスの数の考慮 allocation (= IP address range) の名前 Cloud SQL の private IP address を変えるとき Private service access で複数のリソースがある場合 解説的な 毎回しらべていてしんどいので。 参考資料 ここが一番わかり…

2024年9月6日に、QYResearchは「サーバーレスアーキテクチャ―グローバル市場シェアとランキング、全体の売上と需要予測、2024～2030」の調査資料を発行しました。本報告書は、サーバーレスアーキテクチャの世界市場を分析し、主要企業の売上、動向、市場規模、市場シェア、ランキングなどを掲載しています。また、地域別、国別、製品タイプ別、用途別に市場を分析しています。2019-2030年の売上に基づいて、サーバーレスアーキテクチャの市場規模を推計と予測しています。企業が事業成長戦略を策定し、競争環境を評価し、市場ポジションを分析し、サーバーレスアーキテクチャ関連情報に基づくビジネス上の意思…

github.com planner: add more test cases for instance plan cache by qw4990 · Pull Request #55850 · pingcap/tidb · GitHub Instance plan cacheのテストを追加しています。 executor: supports providing TiFlash table information filtered by keyspace by Lloyd-Pottiger · Pull Request #55817 · pingcap/tidb · GitHub Keyspac…

はじめに 下準備 VPC作成 SecurityGroup作成 Elastic IP作成 NAT Gatewayを管理するLambda Lambdaのコード Lambdaの実行Role SAMのtemplate.yaml SAMでデプロイ テスト NAT Gatewayがない場合 NAT Gatewayがある場合 Cleanup おわりに はじめに こんにちは、エンジニアの石橋です。 今回はNAT GatewayをLambda(Python)で任意の時間だけ立ち上げ、管理するお話です。 VPC Lambdaにおいて、何もしなければLambdaにパブリックIPアドレスが付与されていないためインター…

GraphRAG Analysis, Part 1: How Indexing Elevates Vector Database Performance in RAG When Using Neo4j Graph Retrieval-Augmented Generation: A Survey Controllable Text Generation for Large Language Models: A Survey 生成AIによるレポーティング業務の効率化：定常業務タスク自動化の実現 Meta Knowledge for Retrieval Augmented Large Languag…

こんにちは。 ディベロップメントサービス１課の山本です。 今回は API Gateway でカナリアリリース機能の使い方を説明したいと思います。 この記事の対象者は？ カナリアリリースについて API Gateway でのカナリアリリースの方法 SAM テンプレートファイルの内容 Lambda 関数の内容 カナリアリリースの実施 初回デプロイ 2回目のデプロイ トラフィックの割合が反転した理由 コンソール上からのデプロイ canary リリースを現行に昇格 まとめ さいごに この記事の対象者は？ デプロイ時に変更の影響を最小限にしたい方 カナリアリリースを検討されている方 カナリアリリースにつ…

こんにちは。 ディベロップメントサービス１課の山本です。 AWS Serverless Application Model （以降、SAM) を利用する際 空白を含む文字列でパラメータを上書きする場合の注意点を説明します。 この記事の対象者は？ パラメータの上書きについて 空白を含む文字列がパラメータに含まれる場合のエラー エラーの原因 対策 まとめ さいごに この記事の対象者は？ SAM を使ったデプロイを検討・利用されている方 パラメータの上書きについて 以下、2種類の方法にて CloudFormation 内のパラメータ値をデプロイ時に上書きすることが可能です。 --parameter-…

はじめに こんにちは。DELISH KITCHEN開発部の村上です。 直近は社内でAmazon Bedrockを使った RAG基盤の構築をしています。その中でちょうど先月AWSから発表された advanced RAG機能 の中のAdvanced parsing optionsを検証も兼ねて使用する機会があったので紹介します。 Advanced parsing optionsとは Knowledge baseではS3や他のデータコネクターを指定し、データソースを作成、同期することによってOpensearch ServerlessといったベクトルDBにデータを格納しています。データソースはさまざま…

8月6～7日に開催された「AWS JumpStart 2024」へモビルスからもエンジニア4名が参加しました。 今回はSaaS Product DivisionでMOBI VOICEの開発を行っているプラディープ さんの参加レポートをお届けします。 ※原文は英語ですが日本語版のリクエストもあったため、後半に翻訳文を貼り付けしています。 What is AWS JumpStart AWS JumpStart offers a two-day workshop program designed to enhance your understanding of AWS and your archit…

こんにちは。 ディベロップメントサービス１課の山本です。 今回はコスト削減のため AWS Lambda (以降、Lambda) を使って NAT Gateway を自動起動・削除してみます。 この記事の対象者は？ NAT Gateway のコストについて コスト削減方法 ファイル構成 samconfig.toml template.yaml app.py 実行コマンド 実行結果 自動起動 自動削除 まとめ さいごに この記事の対象者は？ NAT Gateway を利用されている方 NAT Gateway のコストを抑えたい方 NAT Gateway のコストについて NAT Gateway の…

こんにちはSREチームの宮後(@miya10kei)です。最近、DisplayLink対応の変換アダプターをGETし、トリプルディスプレイ化していろいろ捗っています！ 前回から少し時間が空いてしまいましたが、今回はAmazon Auroraに対して2種類のオートスケーリングポリシーを組み合わせた事例を紹介します。 背景 Park DirectではデータベースにAmazon Aurora（Provisioned）を利用し、Writerインスタンス1台、Readerインスタンス2台の構成で運用しています。 ReaderインスタンスのCPU利用率には次の傾向がありました。 Readerインスタンスの…