Boto3

結論 import boto3 from botocore.config import Config config = Config(retries = { 'max_attempts': 10, 'mode': 'standard' } ) client = boto3.client('s3', config=config) でOKです。 巷では、 pip install retrying https://github.com/rholder/retrying をインストールして、回避する方法もありますが、lambdaであればlayer追加等の手順が必要なこともあるので、基本的には、aws …

背景 AWS Lambda を使うと様々な処理を簡単かつサーバレスに実現することができます。お手軽に使える一方でいくつか考慮しておかないと実運用時に痛い目を見ることも沢山あります。いくつかある考慮ポイントの中で、実際にハマった冪等性の観点について少しまとめておこうと思います。 発生したこと S3にオブジェクトをPutしたのをトリガとして S3 Object Lambda でオブジェクトの種類ごとに様々な処理を行っていました。当初は冪等性を考慮した作りになっていなかったのですが、多くないオブジェクト数（10～100）でテストした限りでは特段問題なく動作していたので本番環境へデプロイしました。実際…

ちょっとした小技です。検索しても情報があまり無かったので一応書き留めておくことにします。 背景 S3にアップロードしたファイルが破損していないことを確認するため、アップロードしたファイルのMD5ハッシュ値を計算してチェックする仕組みが必要でした。S3に配置したタイミングで発火する S3 Object Lambda を用いて実現しようとしたところ、巨大なファイルをうまく処理できないという課題に遭遇しました。 課題 S3には大小さまざまなファイル（最低 0 バイトから最大 5 TB）を配置することができるため、場合によっては超巨大なファイルが処理対処となることもあり得ます。また、AWS Lambd…

背景 現在はマネージドサービスであるS3 クロスリージョンレプリケーション (CRR) があるのであまりニーズがないかもしれませんが、とある事情でクロスリージョン（東京R→大阪R）間でサイズの大きいS3オブジェクトをコピーし、かつ、コピー先のオブジェクトに既存のオブジェクトのメタデータを引き継ぐだけでなく、新しいユーザー定義のメタデータ（x-amz-meta-xxxx）を追加付与しなくてはいけない要件がありました。 やったこと S3にオブジェクトをPutしたのをトリガとして S3 Object Lambda から boto3.client('s3').copy_object() boto3.r…

どうも、nippa です。 AWS DynamoDB で DynamoDB の専用の型を dict 型を渡す必要があったり、データを受け 取ったあとに処理しないといけません。 boto3 の dynamodb のライブラリの中には、その処理を簡略化する serializer、deserializer が用意されています。 今回はこの 2 つの使い方について記事にします。 環境 シリアライズ（dict -> DynamoDB 形式） デシリアライズ（DynamoDB 形式 -> dict） 感想 (adsbygoogle = window.adsbygoogle || []).push({});…

どうも、nippa です。 Python で AWS DynamoDB にアクセスするためのコードについてまとめておきます。 Boto3 を利用して、アクセスします。 環境 boto3 について boto3 のインストール 基本的な使い方 create_table put_item get_item update_item delete_item delete_table 感想 (adsbygoogle = window.adsbygoogle || []).push({}); 環境 macOS 12.6 python 3.9 boto3 1.26.155 boto3 について boto3 は…

型ヒント（型アノテーション）とは boto3-stubs インストール できること boto3の型ヒント コード補完 感想 雑談 こんにちは、アプリケーションサービス部 ディベロップメントサービス 2 課の松尾です。 boto3 の型ヒントを追加してくれるboto3-stubs について調べる機会があったので、ブログを書くことにしました。 型ヒント（型アノテーション）とは 変数に代入する型（文字列型、数値型、真偽値型、など…）を宣言時に明記することを型ヒントといいます（型アノテーションと呼ぶこともあります）。 下のコードのように、変数宣言時に : <型> という記述を追加することで、代入する型…

概要 前回紹介したell-aiでツールの実行を試してみます。 usage-automate.hatenablog.com Scrapliを使いSSH接続しコマンドを取得するをツールを作って実行させてみます。 Scrapliは紹介記事も書いてますので、今回は内容についての説明は割愛します usage-automate.hatenablog.com ツールについての説明は以下の公式ドキュメントと、Githubのexampleを参考にしながら作成しました。 docs.ell.so github.com 環境 今回、Bedrockを利用したかったのでCloud9に環境を構築しました。 (2024/10…

Glue Jobのローカル開発 AWS Glue Jobをローカル環境で開発する際、AWS公式が提供してるDocker imageを活用する方法があります。 Developing and testing AWS Glue job scripts locally Glue Jobを利用する場合、S3からデータを取得・保存するユースケースが多いかと思います。 本記事では、ローカル環境にAWS環境をエミュレートするLocalStackを活用して、実際のAWSリソースへのデータをやり取りを行わずGlue Jobの動作検証・テストを行う方法を書きます。 Overview | Docs Glue vers…

■ はじめに https://dk521123.hatenablog.com/entry/2017/04/01/235355 の続き。 作業で、S3バケット内のファイル容量を調べる必要が出てきて そのファイルの時間推移も併せて調べることとなった。 ちまちまManagement Console上から手作業で調べていたのだが シェルでやった方が正確かつ後々同じことしそうなので記録しておく 目次 【１】aws s3 ls １）構文 ２） コマンド例 【２】オプション １）--recursive ２）--summarize (--sum) ３）--human-readable(--human) 【３】…

こんにちは、皆さん！今日は、Amazon S3を利用してDifyでスケーラブルなストレージを実現する方法についてお話しします。Difyは、データを効率的に管理し、必要に応じて簡単にスケールアップできる優れたツールです。この記事を通じて、具体的なコード例を示しながら、Amazon S3とDifyの組み合わせでどのように強力なストレージシステムを構築できるかを解説していきます。 DifyとAmazon S3の概要 Difyは、データを簡単に扱えるようにするためのフレームワークであり、特にスケーラブルなアプリケーションを構築する際に非常に便利です。Amazon S3（Simple Storage S…

AWSTemplateFormatVersion: '2010-09-09' Description: > このテンプレートは、LambdaとEventBridgeを使用してCloudWatch Logsのログストリームを毎朝4時にS3バケットに転送するための設定を行います。 Resources: MyLogGroup: Type: AWS::Logs::LogGroup Properties: LogGroupName: !Sub "/aws/lambda/${AWS::StackName}-log-group" MyS3Bucket: Type: AWS::S3::Bucket Prope…

はじめに 事前準備 Amazon Titan Image Generator G1 の機能紹介 やってみた Amazon Titan Image Generator G1 v2へのアクセスをリクエスト プレイグラウンドから画像生成 プレイグラウンドからバリエーションを生成 画像イメージの調整 Canny エッジ アルゴリズム セグメンテーション 実際にやってみた！ 色の調整 背景の除去 おわりに 参考資料 はじめに みなさま、こんにちは。服部です。 今回は、Amazon Bedrock で Titan Image Generator G1 v2 が利用可能になったとの発表がありました。 aws…

はじめに 背景と目的 用語のサマリ Amazon Bedrock とは？ メリット ユースケース 利用できるAIモデル Amazon SageMaker ノートブックとは？ 概要 メリット 料金 Amazon SageMaker ノートブックのセットアップ 前提条件 事前準備①【Amazon Bedrock 基盤モデルへのアクセスをリクエスト】 事前準備②【SageMaker の IAM 権限を設定】 ① ノートブックインスタンスの作成 ② Amazon Bedrock が提供する基盤モデルを一覧表示する ③ モデルにテキストプロンプトを送信し、レスポンスを生成する おわりに 参考資料 はじめ…

背景 出来上がったお客様向けの提案書（.pptx形式のPowerPointファイル）を、仕上げとして体裁レビューを依頼するとします。これはあくまで最後に「体裁」を整えるという意味で、見栄えや統一感、日本語文章の校正、表のズレなど非常に多義に渡ります。例えば以下は体裁レビューの一例です。 P2：目次の4.プロジェクト管理のページがズレてますP15：6行目「(Linux only) 」→（）全角にと、Linuxonlyでは無いでしょうか？P17：初期費用の合計だけ太文字になっていますP17：月額費用表の合計が無いのですがあった方がいいかと思いますP20：9行目「(含みます)」→（）全角にP23：見…

AWS で実行するすべてのアクションは、認証および承認された API コールです。AWS では、AWS マネジメントコンソール、AWS コマンドラインインターフェイス (AWS CLI)、または AWS ソフトウェア開発キット (SDK) を使用して、サービスとリソースへ API コールを実行することができます。 AWS マネジメントコンソール クラウドリソースを管理する 1 つの方法は、Web ベースのコンソールを使用してログインし、目的のサービスを選択することです。これは、最初にクラウドで作業を開始する際にリソースの作成と管理をする最も簡潔な方法です。 右上に、リージョンを選択するオプショ…

こんにちはイワツカです。 今年の夏は、特に猛暑日が続いていたので、例年にも増して素麺を食べてました。 さて今回は、AWS Lambda（Python）でLambda Web Adapterを用いてレスポンスストリーミングする方法を試してみたので紹介します。 1. 概要 1.1 レスポンスストリーミングとは？ 1.2 Lambda Web Adapterとは？ 2. アプリ作成 2.1 実行環境 2.2 ディレクトリ構成 2.3 FastAPIの実装 2.4 Streamlitの実装 3. アプリを動かして見る 3.1 チャットアプリをデプロイ 3.2 Streamlitを起動する 3.3 チャ…

OpenWeatherMapのAPIを使って天気情報を取得するLambda関数を実装できたので、その結果をAmazon SNSで通知する仕組みを作成しました。 通知先としては利便性を考えるとLINEなどにしたいと思いましたが、まずはすぐに実装できそうなGmailのメールアドレスにしました。

Lambdaを活用したツールを開発しており、今回はTerraformを使ってLambda関連のリソースをAWSにデプロイしました。