Hatena Blog Tags
はてなブログ トップ
S3 Object Lambda
このタグでブログを書く
言葉の解説
ネットで話題
関連ブログ

S3 Object Lambda

このタグの解説についてこの解説文は、すでに終了したサービス「はてなキーワード」内で有志のユーザーが作成・編集した内容に基づいています。その正確性や網羅性をはてなが保証するものではありません。問題のある記述を発見した場合には、お問い合わせフォームよりご連絡ください。
機雷がなんだ！ 全速前進！•1年前

AWS Lambda で実行の冪等性を考慮しておくことの重要性

背景 AWS Lambda を使うと様々な処理を簡単かつサーバレスに実現することができます。お手軽に使える一方でいくつか考慮しておかないと実運用時に痛い目を見ることも沢山あります。いくつかある考慮ポイントの中で、実際にハマった冪等性の観点について少しまとめておこうと思います。 発生したこと S3にオブジェクトをPutしたのをトリガとして S3 Object Lambda でオブジェクトの種類ごとに様々な処理を行っていました。当初は冪等性を考慮した作りになっていなかったのですが、多くないオブジェクト数（10～100）でテストした限りでは特段問題なく動作していたので本番環境へデプロイしました。実際…

#AWS#S3 Object Lambda#Python#Boto3#DynamoDB

関連ブログ

機雷がなんだ！ 全速前進！•1年前

Amazon S3 ファイルのMD5ハッシュ値を効率的に計算するLambda

ちょっとした小技です。検索しても情報があまり無かったので一応書き留めておくことにします。 背景 S3にアップロードしたファイルが破損していないことを確認するため、アップロードしたファイルのMD5ハッシュ値を計算してチェックする仕組みが必要でした。S3に配置したタイミングで発火する S3 Object Lambda を用いて実現しようとしたところ、巨大なファイルをうまく処理できないという課題に遭遇しました。 課題 S3には大小さまざまなファイル（最低 0 バイトから最大 5 TB）を配置することができるため、場合によっては超巨大なファイルが処理対処となることもあり得ます。また、AWS Lambd…

#AWS#S3 Object Lambda#Python#Boto3
機雷がなんだ！ 全速前進！•1年前

Amazon S3で高速にクロスリージョン間ファイルコピーをする方法

背景 現在はマネージドサービスであるS3 クロスリージョンレプリケーション (CRR) があるのであまりニーズがないかもしれませんが、とある事情でクロスリージョン（東京R→大阪R）間でサイズの大きいS3オブジェクトをコピーし、かつ、コピー先のオブジェクトに既存のオブジェクトのメタデータを引き継ぐだけでなく、新しいユーザー定義のメタデータ（x-amz-meta-xxxx）を追加付与しなくてはいけない要件がありました。 やったこと S3にオブジェクトをPutしたのをトリガとして S3 Object Lambda から boto3.client('s3').copy_object() boto3.r…

#AWS#S3 Object Lambda#Python#Boto3
後で考える•3年前

AWS Lambda で Pandas 使って S3 内の CSV ファイルを読みたい

本記事の目的 表題通りですが、AWS Lambda の関数上で pandas.read_csv() を使って CSV ファイルを読み込みたい。 ネット上では、公開されている Pandas Layer を追加するだけで OK という記事が多かったのですが、自分の場合、それだけでは import できても read_csv が動作しないという問題が発生したので対処法を共有します。 私の Lambda 環境 アーキテクチャ: x86_64 メモリ: 512 MB エフェメラルストレージ: 512 MB ランタイム: Python 3.9 リージョン: 東京 引っかかったポイント アーキテクチャを a…

#AWS#Lambda Layer#pandas#S3 Object Lambda
echo("備忘録");•4年前

【AWS】Amazon S3 Object Lambdaを試してみた(その2)

はじめに 前回の記事でAWS S3 Object Lambda(以下S3OL)についてコンソール上で設定し、動作させるところまで書きました。 その続編として今回は、前回の最後に書いた通り、S3OLをCloudFormation(以下Cfn)で定義しデプロイする...を行おうと思います。 なお今回も、デプロイ用のツールとして「Serverless Framework」を使用します。(ただし定義内容は生のCfn全く同じです。) www.serverless.com やること S3バケット＆アクセスポイントの定義 S3OLのアクセスポイントの定義 デプロイ＆コンソール確認 S3バケット＆アクセスポイ…

#S3 Object Lambda#Cloudformation
echo("備忘録");•4年前

【AWS】Amazon S3 Object Lambdaを試してみた(その1)

はじめに 3/19(金)に「Amazon S3 Object Lambda」というS3の新機能がGAになりました。 aws.amazon.com これは上記公式サイトにも 「S3 から取得したデータをアプリケーションに返す前に独自のコードを追加して処理できる新機能」 とあるように、例えばS3バケットのキーをgetObjectする際に、あらかじめ何かの処理(フィルタリングやマスキングなど)を実施した値になっているため、getObject()を呼び出すLambdaでの変換処理が不要になります。 というわけで、今回はこのS3OLについて試してみた話です。 TL;DR S3OLの概要 TypeScri…

#S3 Object Lambda#s3