Boto3

目次 目次 はじめに どんなひとに読んで欲しい 関連記事 Boto3とは 前提 手順 IAMユーザの作成 アクセスキーの作成 S3バケットの作成 S3アップロード用のコード作成 Boto3ライブラリの準備 今回実行したコード おわりに お知らせ はじめに こんにちは、クラウド事業部の丸山です。 プログラムやターミナルなどでデータ操作を行った後、そのままデータをクラウドにアップロードできると非常に便利ですよね。 この前編では、Pythonを使ってローカル環境からAmazon S3にデータをアップロードする方法を紹介します。 これにより、データ管理が簡単になり、手間を減らすことができます。 今回は…

pythonを使ってs3のファイルを扱う方法がわからなかったのでここに調査内容をまとめました。 メモ サンプルコード アップロード ファイル確認 ファイルダウンロード ファイル削除 メモ aws_access_key_id / aws_secret_access_key はマスク sample.txt は事前にtouchコマンドで作成 サンプルコード アップロード import boto3 s3 = boto3.resource( 's3', aws_access_key_id='xxxxxxxxxxxxxxxxxxxxx', aws_secret_access_key='xxxxxxxxxx…

結論 import boto3 from botocore.config import Config config = Config(retries = { 'max_attempts': 10, 'mode': 'standard' } ) client = boto3.client('s3', config=config) でOKです。 巷では、 pip install retrying https://github.com/rholder/retrying をインストールして、回避する方法もありますが、lambdaであればlayer追加等の手順が必要なこともあるので、基本的には、aws …

背景 AWS Lambda を使うと様々な処理を簡単かつサーバレスに実現することができます。お手軽に使える一方でいくつか考慮しておかないと実運用時に痛い目を見ることも沢山あります。いくつかある考慮ポイントの中で、実際にハマった冪等性の観点について少しまとめておこうと思います。 発生したこと S3にオブジェクトをPutしたのをトリガとして S3 Object Lambda でオブジェクトの種類ごとに様々な処理を行っていました。当初は冪等性を考慮した作りになっていなかったのですが、多くないオブジェクト数（10～100）でテストした限りでは特段問題なく動作していたので本番環境へデプロイしました。実際…

背景 現在はマネージドサービスであるS3 クロスリージョンレプリケーション (CRR) があるのであまりニーズがないかもしれませんが、とある事情でクロスリージョン（東京R→大阪R）間でサイズの大きいS3オブジェクトをコピーし、かつ、コピー先のオブジェクトに既存のオブジェクトのメタデータを引き継ぐだけでなく、新しいユーザー定義のメタデータ（x-amz-meta-xxxx）を追加付与しなくてはいけない要件がありました。 やったこと S3にオブジェクトをPutしたのをトリガとして S3 Object Lambda から boto3.client('s3').copy_object() boto3.r…

今回は env ファイルにキー情報を記載せずにアップロードする方法についてメモを残します。 boto3 boto3とは インストール サンプル コード PARAMETERS client upload_file 参考 Credentials upload_file boto3 boto3とは AWS (Amazon Web Services) を Python から操作するためのライブラリの名称です。 インストール pip からインストールすることができます。 $ sudo pip install boto3 サンプル コード import boto3 client = boto3.clien…

どうも、nippa です。 AWS DynamoDB で DynamoDB の専用の型を dict 型を渡す必要があったり、データを受け 取ったあとに処理しないといけません。 boto3 の dynamodb のライブラリの中には、その処理を簡略化する serializer、deserializer が用意されています。 今回はこの 2 つの使い方について記事にします。 環境 シリアライズ（dict -> DynamoDB 形式） デシリアライズ（DynamoDB 形式 -> dict） 感想 (adsbygoogle = window.adsbygoogle || []).push({});…