Boto3

こんにちは、山中です。 AWS Lambda でとりあえずサクッと AWS の各種サービスを動かすプログラムを載せています。 ※ 正常系のみ (エラー処理などは書いていない) なので、あくまで検証環境で試すことを想定しています。 今回は AWS Lambda で EC2 インスタンス ID の一覧取得を行うプログラムです。 コード import boto3 ec2 = boto3.resource('ec2') def lambda_handler(event, context): instance_ids = [] instance_iterator = ec2.instances.all(…

こんにちは、山中です。 AWS Lambda でとりあえずサクッと AWS の各種サービスを動かすプログラムを載せています。 ※ 正常系のみ (エラー処理などは書いていない) なので、あくまで検証環境で試すことを想定しています。 今回は AWS Lambda で EC2 インスタンスの AMI を取得するプログラムです。 コード import boto3 client = boto3.client('ec2') def lambda_handler(event, context): client.create_image( InstanceId='i-xxxxxxxxxxxxxxxxx', N…

こんにちは、山中です。 AWS Lambda でとりあえずサクッと AWS の各種サービスを動かすプログラムを載せています。 ※ 正常系のみ (エラー処理などは書いていない) なので、あくまで検証環境で試すことを想定しています。 今回は AWS Lambda で EC2 の停止を行うプログラムです。 コード import boto3 client = boto3.client('ec2') def lambda_handler(event, context): client.stop_instances( InstanceIds=[ 'i-xxxxxxxxxxxxxxxxx', ], ) i-…

こんにちは、山中です。 AWS Lambda でとりあえずサクッと AWS の各種サービスを動かすプログラムを載せています。 ※ 正常系のみ (エラー処理などは書いていない) なので、あくまで検証環境で試すことを想定しています。 今回は AWS Lambda で EC2 の起動を行うプログラムです。 コード import boto3 client = boto3.client('ec2') def lambda_handler(event, context): client.start_instances( InstanceIds=[ 'i-xxxxxxxxxxxxxxxxx', ], ) i…

CloudWatch、DynamoDBときて、今日からはEC2を扱う。 boto3.amazonaws.com CloudFormationでもそうだが、マネコン以外で一からEC2インスタンスを作成するのは、結構骨が折れる。今回の目的は、そこではないので、マネコンでさらっと作ってしまう。 確認結果は下記 こちらの記事を参考に、Nameタグを拾ってきた。 import boto3 ec2 = boto3.resource("ec2") instance = ec2.Instance(id="i-xxx") name_tag = [x["Value"] for x in instance.tags…

今日は、DynamoDBのテーブルを削除する。 Amazon DynamoDB — Boto3 Docs 1.21.27 documentation と言っても、コードはTable.delete()を実行するだけ。 なので、本当に消えたかも確認する。 client = boto3.client("dynamodb") table = dynamodb.Table("users") response = client.describe_table(TableName="users") print(response) 実行結果は下記 Requested resource not found: Ta…

今日は、DynamoDBのクエリ(query)とスキャン(scan)をやる。 Amazon DynamoDB — Boto3 Docs 1.21.23 documentation と、考えていたのだが、DynamoDBの基本的な考え方をすっ飛ばして進めてきたので、イマイチ何をやっているのか分かっていない。 RDSでいうところのselectのために、なんでqueryとscanが必要なのか理解していないまま進めても意味がないし、本ブログの目的はとりあえずザッとやってみるという雑なもののため、一旦スキップする。 とりあえず、雰囲気だけ理解するために、以下の記事は読んでみた。 docs.aws.ama…

最近、会社の人からプレゼントしてもらったビールグラスでビールを飲むのにはまっている、クラウドエンジニアのコガです。 ツマミも増えておなかの成長が止まりません。 この記事では、昨年の AWS re:Invent 2022 で発表された Amazon EventBridge Pipes について性能を確認した結果をまとめました。 Amazon EventBridge Pipes を利用することで簡単にサービス同士を結合することができ、 よりシンプルかつ短時間でのイベント駆動アプリケーション作成が可能になります。 Amazon EventBridge Pipes 公式ページより 一般的に、イベント駆…

概要 スマートキャンプでエンジニアをしている佐々木です。 本記事では、自然言語処理モデルを用いて新規サービスを作れないか試行錯誤した話をしようと思います。 今回は精度の良い検索はうまく実装できませんでしたが、機械学習モデルをインフラで動かす流れは学ぶことができました。 実際に実装したコード例ともに紹介します。 概要 経緯 検索の仕組み MLモデルのトレンド 採用した文章の類似度計算のアルゴリズム 類似度計算モデルのデプロイ 実際のコードの紹介 モデルの取得とデプロイ 必要なライブラリのimport 事前学習済みモデルの取得 モデルの保存とS3へのアップロード エンドポイントへのモデルのデプロイ…

概要 Windows PCのWSL2上のJupyterNotebook環境で、SageMaker ローカルモードのトレーニングを実行しすることができた。 背景と目的 最近、SageMakerの勉強をしている。ちょっとコーディングを試したいが、AWS上のインスタンスを立ち上げずに軽く勉強したいと思っていたところ、SageMaker Python SDKのローカルモードを用いれば、自分のPC上でSageMakerの仕組みを使ってトレーニングが試せることが分かった。そこで、実際にやってみる。 詳細 0. 環境 Windows 11 Docker Desktop: v4.16.0 WSLバージョン: …

2022 SANS Holiday Hack のwriteupです。英語のレポートも提出したので、英語版もあります。 今年も時間がないないと言いながら、12月に開催されていた 2022 SANS Holiday Hack に参加していました！ 今年は全体的にかっこいい雰囲気。 自分のアバターを作成し、RPG風に自分のキャラクターを操作していくつかのMapをウロウロしながら、主にセキュリティに関連するIT基礎知識・攻撃手法や防御手法を使って問題を解いていくゲームです。 レポートを書いて提出すると、SWAGが当たったり賞がもらえたりする期間はもう終わってしまっていますが、このあともしばらく遊べるそ…

忘れるので自分用メモ。 EventBridge Scheduler でも出来るだろうけど今回は従来からある Lambda を使って DB インスタンスを指定して自動起動・停止を行う方法。 ※「これをコピペすれば出来ます」的なことは書いてないです IAM の作成 素直に起動と停止の関数とイベントを作成する場合 タグで切り分ける EventBridge からの入力で切り分ける EventBridge からの入力とタグで切り分ける IAM の作成 Lambda 用のロールを作成しておくか、Lambda 側でロールを作成して権限を追加しておく。今回、DB インスタンスを起動・停止するために使用するのは…

今日の積み上げ AWS学習 Amazon API Gateway for Serverless Applicationsのデジタルトレーニングを最後までやった AWS Hands-on for Beginnersのコンテンツを１つやった 英語学習 新教材（File06）の５日目をやった（タニケイ式シャドーイング） AWS学習 pages.awscloud.com 今日のデジタルトレーニングとハンズオンをやってみて、ようやくAmazon API Gatewayに関してポイントらしきものがどこなのか掴めてきた。 全体像がわかった上でないと、枝葉の部分だけ見てるようで、今一つわかった気にならなかった…

はじめに こんにちは。NTTドコモ サービスデザイン部 @dcm_koshikawa です。 スクラム開発でプロダクトオーナーを担当しており、サービスデザイン部にJoinしてから2年半が経ちます。 サービスデザイン部では、各種ドコモサービスを動かす基盤を提供しており、基盤設計、構築、運用をしています。 代表的なサービス d menu：https://smt.docomo.ne.jp/ docomo Online shop：https://onlineshop.smt.docomo.ne.jp/ 各種WebサービスはAWS上で構築しています。 サービスデザイン部ではQCD向上のため、AWSで提供…

こんにちは、インフラエンジニアの 高山 です。 この記事は Enigmo Advent Calendar 2022 の25日目の記事です。 はじめに エニグモ入社後に AWSを徐々に触れ始め 数年経過しました。 最初はWebコンソールからポチポチしていたのですが、CloudFormationでコード化を進めたり AWSCLIやSDKを使うようになり、最近は Rubyで AWSリソースの情報取得や操作をすることが多くなってきました。 (以下、RubyでAWSリソースの情報取得や操作をすることをAWSをRubyで操作すると表現します) AWSをRubyで操作するようになった理由は以下です。 そもそ…

環境 構成 構成図 説明 補足：CloudFrontの構成について 実施内容 Terraformでのリソース変更・追加 変更・追加するリソース Terraformコード MediaConvertジョブ登録用Lambda関数の修正 処理概要 関数作成時の注意点 関数コード mp4動画をAES鍵で暗号化されたHLS形式に変換する 001グループ用のHLS形式動画を作成 002グループ用のHLS形式動画を作成 curlコマンドで接続確認する 署名付きCookie無しではアクセスできないことを確認 署名付きCookieを使うとアクセスできることを確認 署名付きCookie生成用のカスタムポリシーを用意…

クラウドインテグレーション部の村上です。NBAが大好きです。 2年ほど前、仕事中後にNBAを見ていると、選手全員のユニフォームに「Black Lives Matter」という文字が書かれていました。 #BlackLivesMatter pic.twitter.com/5ehR6gLX8F— Toronto Raptors (@Raptors) July 29, 2020 アフリカ系アメリカ人の方が亡くなられた事件を契機としたものでしたが、顔認証などのAI技術の在り方にも影響を及ぼし、最近ではAI倫理とか責任あるAIという言葉を聞く機会が増えたように思います。 「Black Lives Matt…

こんにちは、マネージサービス部でMSP事業を担当している宮坂です。 本エントリでは監視システムである Zabbix において、トリガーアクションによるアラート通知・リモートコマンド実行が失敗してしまった際に AWS Lambda を使って検知・通知を行う仕組みを考えてみたのでご紹介します。 Zabbix アクションの失敗はハンドリングがつらい Zabbix ではアクション実行が失敗すると指定された通りにリトライを行い、それでも成功しなかった場合はアラートのステータスを "失敗" にマークし処理を終了します。このとき例えば別のアクションを実行するといったエラーハンドリングができず、また内部チェッ…

こんにちは。株式会社TRYTで開発業務丁稚奉公修行中のhollyroyal-teaと申します。 紅茶好きのような名前ですが、紅茶よりコーヒーを愛する人です。 本日はクリスマス恒例のアドベントカレンダー用に記事を書き起こしてみました。 そんなクリスマスのお題ですが・・・