こんにちは、ピクトリンク開発で運用保守を担当している藤本です。 はじめに 社内運用保守業務で、S3から特定の大量オブジェクトを調査用に取得する必要がありました。 最初は「動けばいい」で書き始めましたが、レビューを経て「プロ仕様」に進化していった過程を紹介します。 1. 1,000件の壁を越える:boto3 Paginatorの活用 S3バケット内に大量のファイル(数千〜数万件)がある場合、通常の list_objects_v2 リクエスト1回では最大1,000件までしか取得できません。 Before: # 1,000件を超えると古いファイルしか取れない response = s3.list_o…