AWS lambda

AWS Lambdaのコールドスタートはアプリ開発でしばしば悩まされる問題です。この記事では、特にPythonのLambda関数 (コンテナも含む) において、コールドスタートが遅い際の対処方法をいくつか紹介します (注意: 網羅は目指してません)。 第一歩: 計測する Pythonプログラムのコールドスタートが遅い場合、モジュール群のインポートに時間が掛かっていることが多いと思います。 モジュールのインポートに要する時間は次の方法で計測・可視化できます。 まず、-X importtime オプション付きでPythonプログラムを実行します。Lambda環境そのもので実行する*1のはログの取得…

小西秀和です。 「歴史・年表でみるAWS全サービス一覧 －アナウンス日、General Availability(GA)、AWSサービス概要のまとめ－」から始まった、AWSサービスを歴史・年表から機能を洗い出してまとめるシリーズの第8弾です(過去、Amazon S3、AWS Systems Manager、Amazon Route 53、Amazon EventBridge、AWS KMS、Amazon SQSについて書きました)。 今回は2014年11月にアナウンスされたサーバーレスでフルマネージドなコード実行サービスを提供するAWS Lambdaについて歴史年表を作成してみました。 今年2…

前回記事に引き続き、AWS Step Functions がテーマです。 （2024 年 6 月に検証した内容に基づいています。） AWS Step Functions のステートマシンは、様々な AWS サービスと連携できます。 例えば、AWS Lambda 関数を呼び出したり、Amazon SNS のトピックにメッセージを発行したり、Amazon DynamoDB のテーブルに項目を Put することも可能です。 この連携のことを 「統合 (integration)」と呼ぶこともあります。 この統合には、最適化された統合 と AWS SDK サービス統合 の 2 種類があるとドキュメントに…

dockerコンテナ上のアプリをAWS Lambda上で呼び出すには、awslambdaricというのが必要なようです。 dockerイメージは以下のようになります。 # Define custom function directory ARG FUNCTION_DIR="/function" FROM --platform=linux/amd64 python:3.10-slim-bullseye ENV TZ="Asia/Tokyo" # Include global arg in this stage of the build ARG FUNCTION_DIR # Install aws…

（※Serverless Framework V.3を想定しています） Docker Imageでデプロイする LambdaへのImageデプロイ ServerlesでのImageデプロイ API Key認証 エンドポイントのタイプを変える Docker Imageでデプロイする LambdaへのImageデプロイ LambdaはDocker Imageを使ってデプロイすることができます（Lambda のコンテナイメージを使用する - AWS Lambda）。 pip installでいれるサードパーティーのパッケージが必要なときやストレージ上のファイルを同梱してデプロイしたいとき、Image…

はじめに こんにちは。 AWSとTerraformの仕事と個人学習で、LocalStack を使っています。 今回は、勉強したことの振り返りです。 ※本記事では、Terraformなどのツールの解説はしません。 構成 今回構築したのは、以下の構成図のようにS3にファイルをアップロードしたらLambdaを実行するシンプルなものです。 ソースコードは以下になります。 github.com 構築 Gitクローンします。 git clone https://github.com/44taka/study-localstack.git LocalStackのコンテナを起動します。 docker comp…

はじめに エーピーコミュニケーションズGLB事業部Lakehouse部の鄭(ジョン)です。 この記事ではFivetranのAWS Lambdaコネクターを利用して、データをDatabricksに送信する方法を紹介いたします。 今回使ったデータ送信方法は、S3経由方法です。 検証は、以下のFivetran公式ドキュメントを見ながら進めました。 fivetran.com Fivetranでは、コネクタを使って多様なデータソースに対応できます。 概要は、以下の記事をご参考ください。 techblog.ap-com.co.jp Fivetranを利用すれば簡単かつ迅速に多様なソースのマイグレーションが…

これは、なにをしたくて書いたもの？ AWS Lambdaで通常のWebアプリケーションフレームワークを使えるという、AWS Lambda Web Adapterを1度試しておきたいなと 思いまして。 今回はFastAPIで試してみたいと思います。動作確認をするのはローカル環境です。 AWS Lambda Web Adapter AWS Lambda Web AdapterのGitHubリポジトリーはこちら。 GitHub - awslabs/aws-lambda-web-adapter: Run web applications on AWS Lambda AWS Lambda Web Ada…

はじめに NTTドコモ情報システム部の山川と申します。 AWS LambdaでPython 3.7のサポート終了に伴って、リリース作業に多少の工夫が必要な状況になってしまった時の対応と学びについて共有します。 AWS LambdaでPython 3.7のサポート終了を迎え、ランタイムのアップデートを進める必要がありました。しかし、対応が遅れた結果、AWSの非推奨化フェーズ2を超えてしまい素直にランタイムを更新するだけだと、万が一の切り戻し作業ができない状況に直面しました。 ※切り戻しとはリリース作業後に問題が発生した際にリリース前の状態に戻すことを指す AWS Lambdaのランタイム非推奨化…

TerraformでLambdaを作成しBedrock(Titan)を呼び出してみた 前提 ・us-east-1(バージニア北部)で実施 ・Titan Text G1 - Expressにアクセスが付与されていること 実践！ １．環境作成 １－１．下記ファイルを作成 version.tf terraform { required_providers { aws = { source = "hashicorp/aws" version = "~> 5.0" } } required_version = ">= 1.0.0" } provider.tf provider "aws" { profi…

はじめに こんにちは、SREチームの植松です。 2023年のアップデートにより、AWS Configのリソース設定変更を常時記録から1日1回の定期記録に変えられるようになりました。 SREチームでもこの設定変更を適用しましたが、逆にコストが上がってしまう場合がありました。皆様への気づきとなればと思い、本記事では原因と対策を共有します。 aws.amazon.com はじめに AWS Configの定期記録 Control Tower環境での定期記録 定期記録設定後の経過観察 Configのリソース変更回数の分析 分析用テーブル作成 分析用クエリの実行 QuickSightで変更回数を可視化 リ…

本稿は、Serverless Framework v4 の有償化（有料化）に伴う、価格体系についてお調べした内容を共有致します。 海外出張の体調回復には1週間必要。 内村でございます。 （寄る年波にはなんとやら） Serverless Framework の v4 から、一定の条件では有料であることが分かって久しくなります。 この記事では、Serverless Framework の価格形態について、アップデートも含め、お調べしました内容を共有致します。 内容についての諸注意 Serverless Framework （おさらい） Serverless Framework v4 で何ができるの…

こんにちは、AWS グループの尾谷です。 昨日は、九段下で re:Invent 報告会を開催させていただきました。 平日のお忙しい中、多くの方に参加いただき、大変ありがとうございました。 フォージビジョンがお届けする re:Invent 2024 報告会 本ブログでは、尾谷が報告会でお話しさせていただいた、AWS の新 CEO である Matt さんの紹介と、re:Invent の キーノートで語られたテーマをご紹介したいと思います。 AWS の新 CEO「Matt Garman さん」について Matt Garman (AWS CEO) https://www.linkedin.com/in…

次世代のサーバーレスRDBであるAurora DSQLを、TypeScript用ORMのPrismaと一緒に使う話です。DSQLドンドン使っていきたい！ DSQL x Prismaは実現できるのか そもそも、今のPrismaはDSQLを扱えるでしょうか？ 幸いにもDSQLは多くの面でPostgres互換を実現しているため、PrismaからもPostgresデータベースとして接続可能です。schema.prisma の datasource.provider を postgresql にすればOKです。 // schema.prisma datasource db { provider = "p…

はじめに 背景：クレジットカード不正検知システムとは 3日でDesign Doc 2本、ADR 5本を執筆 3週間で開発し、本番環境にリリース LLM活用による効率化のポイント 目的・要件の整理 要件を満たす技術的オプションの洗い出し・技術調査 PoC実装 ドキュメントの執筆・技術選定 本実装 学び おわりに はじめに 新規プロダクトやプロジェクトの立ち上げにおいて、どれだけ意思決定を明確化し、設計を固めることができるかは、後々の開発効率や品質に大きな影響を与えます。一方で、最初が肝心だからといって調査や設計に何か月も費やす余裕は、多くの企業にはありません。できる限り早く設計を確立し、実装を開…

こんにちは、AI在庫管理の開発チームでバックエンドエンジニアをしているもっち（@mottyzzz）です。 AI在庫管理では、プロダクトのインフラとしてAWSを使用しています。その中でも特に重要なサービスのひとつがCloudWatchです。システムの監視やログ管理に不可欠なツールとして日々活用していますが、実はAWS利用料の約15%をCloudWatchが占めているという状況でした。 先日コストを確認したところ、ただでさえコストの割合が多かったCloudWatchの利用料が前月比で20%以上増加していることが判明しました。 この傾向が続けば年間で予想以上のコスト増になることが懸念されました。 そ…

はじめに こんにちは、商用インフラチームのいまいずみです。 このブログは弥生 AdventCalendar 2024 の18日目の記事です。 本記事では英語が全くできない私が re:Invent に参加し、初日をどのように過ごしたのかお伝えできればと思います。 AWS re:Inventとは AWS re:Inventは、AWSが主催する学習型カンファレンスです。AWS re:Inventでは、基調講演、トレーニング、認定資格、2,000以上のテクニカルセッション、Expo、時間外イベントなど、様々なイベントが開催されます。 AWS re:Invent 2024 FAQs | Amazon W…

Amazon OpenSearch Service に入門したいな〜💡っていうときに活用できる公式チュートリアル「Creating a search application with Amazon OpenSearch Service」を最近仕事で紹介する機会があって，今回改めて自分でも試しつつ，さらに LocalStack で動かせるようにしてみた❗️ Amazon OpenSearch Service に入門したいけどコストが気になる〜という話をたまに聞くことがあって，LocalStack なら AWS アカウントがなくてもローカル環境でサクッと試せるので便利なのだ💪 docs.aws.a…

この記事は、 NTT Communications Advent Calendar 2024 17日目の記事です。 みなさんこんにちは、イノベーションセンターの平木です。 Network Analytics for Security1 (以下、NA4Sec)プロジェクトのメンバーとして活動しています。 この記事では、利用終了ドメイン名観測の環境構築の知見を共有していきます。 明日の記事では観測されたログの分析結果を紹介したいと思います。 利用終了ドメイン名観測分析施策の背景と目的 工夫した点 DNSクエリのみならずWebアクセスログも取得する パブリッククラウドとマネージドサービスを利用する …