Boto3

音声ファイルをS3に格納する際にSSE-C方式で暗号化したので備忘録。 botoの語源はアマゾンカワイルカだとか🐬 coin-look.pages.dev 公式 boto3.amazonaws.com 環境 Pythonのバージョンは3.7。 3.6は2021年末にサポートが切れるようです。 pip3 install boto3==1.17.22 実装 # -*- coding: utf-8 -*-import hashlibimport base64from boto3 import Sessiondef main(): // クレデンシャルはべた書きNG! access_key_id = …

tl;dr 使っていないセキュリティグループを列挙したい セキュリティグループはENIに対して割り当て、ENIがEC2などのリソースにアタッチされている。使っていないセキュリティグループ = どのENIにも割り当てられていないセキュリティグループ、なのだが、取得するのはセキュリティグループを列挙し、ENIを列挙して、という作業が必要でEC2 API叩いて処理するの地味に面倒 AWS Configを有効にしているなら、クエリでいい感じにとれるし、リージョンもまたげるし、Aggregatorを使っているならマルチアカウントも一発 コード import json import boto3 clien…

前書き 結論 参考リンク 環境 DynamoDB DynamoDBのセットアップ テーブルの作成 データの投入 補足: base64 scan用のデータ scanメソッドで1Mb以上のデータを取得する場合 queryメソッドで1MB以上のデータを取得する場合 注意: limit句がある場合には気をつける まとめ 前書き DynamoDBに蓄積したデータをグラフ表示するシステムを作成していました。開発の中途では問題なく動作し、テストコードもパスしていたのですが、ある時表示されるはずのグラフの一部が描画されていないことに気がつきました。 その原因はページネーションでした。DynamoDBのscan…

CloudWatchlogsはAWSの各種サービスのログやOSのログなどを簡単に保管できるのですが、気が付くと大量のロググループが作成されていて、料金もまぁまぁ発生したりしています。 今回Boto3使ってCloudwatchlogsの一覧を取得するスクリプトを作成しました。 保存量や保持期間もリストにいれているので、ロテーションや削除を検討する材料にできればいいなと思っています。 やったこと スクリプト

権限の見直しなどでEC2やLambdaのIAMロール回りを見直すことが多く毎回コンソールやCLIで確認するのが手間なので、CSVで出力できるようにしました。 以前IAMロールの一覧とアタッチされているIAMポリシーの一覧を作成するスクリプトを作りましたが、それを改良した感じです。 www.cloudnotes.tech やったこと スクリプト

もうPowerDNSの記事は忘れ去れてしまってる感じですが、定期的にAWSのユーザ監査をするようなスクリプトを動かしてみました。 こんな感じでコンソールログイン有効かつMFA未設定を条件で抽出して、アカウント作成から7日以上経っていいる ユーザを対象にAWSのコンソールログイン + Access Keyを作ってる場合はそれを無効化するものを作成してみました。 until_daysにて何日以上の条件の日数を指定すれば該当させる条件を変更できます。 boto3とUTCをJSTに変換でpytzを使ってるので、この2つのモジュールが必要です。 #!/usr/bin/env python3 import…

DS課の古川です。RDS Proxyの登場により、AWS LambdaとAmazon RDS間接続のボトルネックを回避できるようになりました。今回は、RDS Proxyを経由してAWS LambdaからAmazon RDSに接続する手順を試してます。 はじめに 最大同時接続数 LambdaとRDBの接続 RDS Proxy リソース Security Group Lambda用 RDS Proxy用 RDS用 手順 1. データベースを作成 2. 接続テスト 踏み台サーバー or Cloud9を用意 RDSに接続 テスト用のテーブルを作成 3. Secrets Managerの設定 4. RD…

はじめに この記事は、AWS Security Blog に掲載されている「Automate Amazon Athena queries for PCI DSS log review using AWS Lambda」を日訳したものです。 本記事で掲載しているのは、あくまでもレビューするための監査ログを自動で準備する観点のノウハウであり、人間によるレビューは必要ですのでご注意ください。 今回は、AWS Lambda を使って PCI DSS（v3.2.1）のエビデンス生成を自動化し、日々のログレビューを行い、継続的な PCI DSS 活動を支援する方法を紹介します。 具体的には、Amazon …

ぶっちゃけ機械学習エンジニアリングにはあまり興味がない、最低限の作業でそこそこ精度が出てくれればいいと思っている身としてはAuto MLには惹かれるものがありました。で、ちょうど最近AutoGluonの解説を聞く機会があったのですが、想像よりもはるかに手軽＆高精度で驚いたので、この機会にお試しで実装してみたいと思います。 今回は最短実装編と題して、まず超絶シンプル実装でAuto MLの手軽さを実感してみたいと思います。次回の記事で、もう少し実践的な使い方を色々試してみたいと思います。 AutoGluonとは AutoGluonはAWSが提供しているOSSのAutoMLツールキットです。データの…

Python boto3でprofileを変更したい場合 Sessionクラスを使う from boto3 import session dynamodb = session.Session(profile_name=プロファイル名).resource('dynamodb') Sessionで設定できるのは下記 aws_access_key_id=アクセスキー, aws_secret_access_key=シークレットキー, aws_session_token=トークン, region_name=リージョン, botocore_session=セッション, profile_name=プロファイ…

※この記事は「AWSでサーバーレスなバッチ処理を作るハンズオン」の5章です。こちらの記事からスタートできます。 リファクタリングしてテストを実装 ソースコード 共通する処理をLambdaレイヤーとして切り出す Lambdaレイヤーの準備 S3に関する処理の共通化 storage.py s3.py minio.py ユニットテストの作成 DynamoDBに関する処理を共通化 Modelの準備 repository.py dynamodb.py ユニットテストの作成 既存のコードをLambdaレイヤーを使ったコードに書き換え Tips: Lambdaレイヤーにvscodeの入力補完（Intelli…

はじめに サンプル Pythonスクリプト データのダウンロード・解凍 Pandasデータフレームの作成 学習 検証 動作環境 さいごに はじめにAutoGluonで物体検出モデルを学習させる時のデータはVOCフォーマットかCOCOフォーマットで準備する必要があると思っていました。しかしそれは間違いでした。Pandasデータフレームで準備することが可能でした。これによってデータを準備するのが非常に簡単になります。サンプルこのようなPandasデータフレームを用意すればよいようです。 image class xmin ymin xmax ymax difficult 0 dog.jpg dog …

サーバーサイドエンジニアの鬼木です！ 今回はYappliのCMSにログインできるかどうかを確認、通知するhealthcheck機構を導入した記事になります。 とあるサービス障害で一時的にCMSのログイン認証機構に障害が発生し、標準的なTCPレベルのhealthcheckでは検知出来ず初動が遅れた背景から今回の実装に至りました。 上記のようなインシデントの対策として、サービスの入り口であるログイン画面の表示からログインし、ログイン後の最初のページを表示までを確認するhealthcheckをSeleniumで実装しました。 こちらのhealthcheckは10分おきに実行され、その実行ログをDat…

はじめに 真面目な導入 元ネタ 状況設定 やりたいこと DynamoDB のテーブルを用意する Cognito User Pool を作る ユーザープールを作成する ユーザー作成 アプリクライアント作成 グループを作る Lambda 関数と API Gateway と Cognito Authorizer を作る serverless.yml Lambda あと必要なもの 何はともあれデプロイ どういうこと？ もう少し具体的に 寄り道 リクエストしてみる さいごに はじめに こんにちは。アプリケーションサービス部の保田（ほだ）です。 最近さつまいもが滅茶苦茶美味しいということを再認識しました。…

この記事はZOZO Advent Calendar 21日目の記事です。qiita.com DataflowでCloud Pub/Sub からKinesisへ書き込む処理とKinesisからBigQueryへ書き込む処理を作りました。本記事ではDataflowでKinesisを扱う際の注意点をご紹介できたらと思います。github.com プロデューサーとコンシューマーの言語がKPL対応しているか Kinesisへのデータ送信側をプロデューサー、データ処理側をコンシューマーと呼びます。KPLはAmazon Kinesis Streamsにデータ送信するためのライブラリで、スループットの向上や複…

この記事はBASEアドベントカレンダー2021 17日目の記事です。 はじめに DataStrategyチームの杉です。 ショッピングアプリPay IDではさまざまなショップでの商品購入が可能です。 "探す"タブにはおすすめ機能がついており、利用者にあった商品やショップのレコメンドを行なっています。 おすすめ商品の掲載例 おすすめの商品ではさまざまなアルゴリズムを並行に運用しており、その中のひとつとしてAmazon Personalizeを利用しています。 このアルゴリズムの計算は今まで1日に1回のbatch処理で行なっていました。 しかし、閲覧や購入のログをリアルタイムに利用することでよりマ…

皆さん，こんにちは！機械学習エンジニアの柏木（@asteriam）です． 本エントリーはコネヒトアドベントカレンダーの15日目の記事になります． 今回は機械学習モデルの実験管理をする際に使用しているAWSのSageMaker Experimentsの活用例を紹介したいと思います． アドベントカレンダー1日目でたかぱいさんがSageMaker Processingの使い所を紹介してくれているので，こちらも併せて参考下さい． tech.connehito.com はじめに 前回のエントリー*1でML Test Scoreの話をしましたが，その際にMLOpsの大事な要素である再現性（モデル学習など）…

結論 依存関係にあるパッケージを個別に入れます。そのためには以下の手順を踏みます。 1. エラーメッセージを読む エラーメッセージを読み、どのパッケージが依存関係にあるかを調べます。 2. pip show PACKAGE_NAME を実行してバージョンを調べる （ここは不要な場合もあります） $ pip show PACKAGE_NAME を実行するとそのパッケージの最新バージョンの情報が得られます。パッケージ名を前述の依存パッケージのパッケージ名に指定して、コマンドを実行します。結果はたとえば次のとおりです。 $ pip show botocore Name: botocore Versi…