概要 cloudfront等で、AWS WAFによってIPアクセス制限がかかっているリソースに対して、github actions hostedな環境からリクエストを送りたい場合があると思います。 github actionsが利用するグローバルIPの範囲は公開されていて、こちら全てをIP許可リストに追加することも可能ですが、保守面やセキュリティ観点としても推奨されるものではないと思います。 GitHub の IP アドレスはときどき変更されます。 IP アドレスによる許可はお勧めしません GitHubのIPアドレスについて - GitHub Docs そこで、実行中のgithub actio…

どうもー投資ロウトです！ 学習に関して 実施目的 アウトプット セキュリティーに関して(API Gateway) 指摘に関して Fargateについて 色々ごにょごにょやった結果 学習に関して 実施目的 APIサーバーを構築する必要が出ているので、APIサーバーをAWSで構築するための方法を学習していきたいと思います。 アウトプット それではいつも通り学んだことや実施のアウトプットや所感を記載していきます。 セキュリティーに関して(API Gateway) 初期の構築はこちらです。ただまだセキュリティーがざるな可能性が高いので、AWSのサポートの方と相談しながら進めていきたいと思います。 Am…

どうもー投資ロウトです！ 学習に関して 実施目的 アウトプット aws回答 googleに確認する 20230925追記 学習に関して 実施目的 今回は先日メールの問題がありましたが、DSレコードを削除した方がいいということ挙げられたので、確認及び削除対応を実施します。 アウトプット それではいつも通り学んだことや実施のアウトプットや所感を記載していきます。 aws回答 DNSSEC が設定されている場合にドメイン登録を Route 53 に移管すると、DNSSEC パブリックキーも移管されます。DNSSEC をサポートしていないプロバイダーに DNS サービスを 移管する場合、ドメインから …

はじめに 弊社では、基本的にAWSをベースに開発をしており、クラウド・サーバーレスが基本になっています。 この環境は、様々な面でメリットをもたらす一方で、従量課金型のサービスであるパブリッククラウドにて、予期せぬ出来事が起きないように、利用料金の監視はとても重要です。 AWS Cost Explorerを用いて、分析することも重要ですが、日々のモニタリングにおいては運用コストを下げる必要があります。 そこで、今回は AWS利用コストをSlackに通知させるツールの紹介 をしたいと思います。 このツールにより、 予期せぬコスト増大を早めに検知すること 費用負担の大きいサービスを把握すること がで…

AWS認定後に学習する意義 資格認定のための学習で得た知識を定着させるためです。 9月にAWS Certified Developer - Associate(DVA)を認定したことで、SAA、SOAと合わせてアソシエイトレベルの3冠を認定できました。 ただ、認定で得た知識を業務でそのまま活かすことが出来る環境に無い場合は、学習で得た知識を維持・更新させるために上記の様な追加学習が必要だと考えるようになりました。 具体的な方法としては、ハンズオン学習を通してより実践に即した形で習得した知識を定着させたいと考えています。 認定に向けての対策学習ではWeb問題集の回答と解説確認を中心に行ってきたた…

どうもー投資ロウトです！ 学習に関して 実施目的 アウトプット ようやくドメイン問題解決 学習に関して 実施目的 今回は先日google domainの移行で、メールが使えなくなったという内容についてお話ししていきます。 アウトプット それではいつも通り学んだことや実施のアウトプットや所感を記載していきます。 ようやくドメイン問題解決 いやー、地獄でしたね。メールが届かないというのは結構恐怖です。 なんやかんやありましたが、googleさんとamazonさんには大変お世話になりました。 ちょっとビジネスサポートの料金が結構14500円前後と割高ではありますが、今後の障害対応や秘密プロジェクトの…

どうもー投資ロウトです！ 学習に関して 実施目的 アウトプット amazon ビジネスサポートに加入 実際にビジネスサポートを利用してみる。 まだ解決していないが 今後の流れ 学習に関して 実施目的 今回は先日google domainの移行で、メールが使えなくなったという内容についてお話ししていきます。 アウトプット それではいつも通り学んだことや実施のアウトプットや所感を記載していきます。 amazon ビジネスサポートに加入 正直結構ググってもgmailのドメイン移行といった記事がなかったので、詰んでいました。 72時間以内にドメインが反映されるという話もあったので、ホストゾーンを公開し…

はじめに AWS WAFのログ分析を手軽に実現したいと検討していたところ、AWS公式ドキュメント上にAWS WAF ログのクエリ - Amazon Athenaを見つけて試してみました。 ポイントはパーティション射影を利用している点です。 前提 AWS WAFと紐づけ先のCloudFront、ログ出力先のS3はすでに構築済みの状態として本記事は記載しています。 Athenaのクエリ保存先の設定やデータベースの設定についても省略しています。 パーティション射影？ パーティション分割（たとえば今回で言えば日付で分割）は、クエリによってスキャンされるデータ量を制限できるようになり、パフォーマンス向上…

CloudWatchの概念 CloudWatchのデータをブラウザ上で眺めるだけの場合はそこまで気にすることでもないんですが、カスタムメトリクスをCloudWatchに登録したり、CloudWatchのデータをAPIなどで取得する場合には必要な理解についてまとめました。 必須ではない要素は一部省略しているので、それらは公式ドキュメント参照で。 リージョン(region) シングルリージョン利用の場合はほとんど気にすることがないためか、CloudWatchメトリクスの説明でリージョンが出てくることが少ないです。しかしながら実際はリージョン毎にメトリクスが管理されているため、メトリクス管理の分類で…

AWS上に構築したシステムのメトリクスを見ることができるダッシュボードを作ると、自分の仕事がちょっと減って嬉しいので CloudWatch/Telegraf/InfluxDB/Grafanaな構成のダッシュボードを構築してみました、の概要。 構成図 なぜInfluxDBに保存するのか カスタムメトリクスは2週間で検索できなくなるので欲しい値だけ別で残したい ものすごく小規模な内輪向けサービスなのでコンパクトにまとめたい なぜGrafanaを使うのか 非エンジニアがCloudWatchを操作するのはハードルが高い CloudWatchよりいい感じなダッシュボードが作れる ダッシュボードをいっぱい…

毎日投稿チャレンジ7日目。 本日も応用情報技術者試験の話。 試験だが、知識を問う問題も多く、どうしても暗記・詰め込みは必須となる。 ある程度の知識問題は、業界経験者なら、聞いたことあるな〜とか、こういう技術もあるんだ〜と、ゼロベースで積み上げるのではなく自分の経験知に体系立てて有機的に結びつけていけるのでそこまで苦ではない。 ただし、どうしてもマニアックな問題はある。 どんなに試験勉強をしても80問中10問は落とすのはこれが理由である。 特定の業界（ITといっても裾野は富士山の裾野くらい広いのです）でしか使われない、最新の業界ニュースを追いかけていないとわからない問題も出たりするので。 今日は…

足りないパッケージを自分で判断して、インストールして再実行してくれる機能の実装例 yoheinakajima/instagraph 【ChatGPTにできることを正しく理解する③】グノシーのChatGPT活用法とは Open InterpreterをDockerで動かす GPT-3.5-turbo を Fine-tuning して GPT-4 相当の性能を獲得する text-generation-webuiで、ELYZA-japanese-Llama-2-7n-fast-instructのLoRAトレーニングを試す。 シュッと gpt-3.5-turbo-instruct を流してみる Fla…

はじめに 概要 Apache Iceberg(アイスバーグ)とは バージョン [注意] IcebergはTable Specである Icebergの特徴 同時書き込み時の整合性担保 読み取り一貫性、Time Travelクエリ、Rollback Schema Evolution Hidden Partitioning Hidden Partitioningの種類 時間 truncate[W] bucket[N] Partition Evolution Sort Order Evolution クエリ性能の最適化 ユースケース Icebergのアーキテクチャ Iceberg Catalog Ic…

簡易比較表 名称 主目的 Video Streams ストリーム動画の保存、再生、分析 Data Streams ストリームデータを高速に加工、配信 Data Firehose ストリームデータの配信 Data Analytics ストリームデータの分析 便宜上、Amazon Kinesisは省略して記載 Data AnalyticsはAmazon Managed Service for Apache Flink に名称変更 各機能の主な機能およびキーワード Amazon Kinesis Video Streams 取込(カメラ、ゲートウェイ) 保存(フラグメント、チャンク、フレーム、暗号化)…

背景 私は、半年ほど前に仕事でAWS WAFを運用し始めました。 最初の頃は、AWS WAFの概念や挙動の理解に苦しめられました。少しづつ理解を深めた結果、今なら他人に説明できるレベルには達した気がします。 そこで、備忘録もかねてこの記事を書こうと思った次第です。 これから下に書かれている内容は、ラフに書かれているため、公式ドキュメントよりは分かりやすいかもしれませんが正確性は劣ります。 正確性を求める場合は、AWS WAF | AWSドキュメンテーションを参照ください。 以下、AWS WAFを、WAFと記述します。 WAFの概略 WAFでは、webACLというリソースに対してルール（コントロ…

lookoutequipment: 新しいスケジュールされた再トレーニング機能のAPIを追加。 connect: 新しいルールタイプ(OnMetricDataUpdate)が追加されました。 sagemaker: モデルパッケージのモデル検証をスキップする機能を導入。 ivs-realtime: ParticipantTokenの説明の変更のみのドキュメント更新。 appstream: マルチセッションフリートを導入し、顧客が単一のフリートインスタンス上で複数のユーザーセッションをプロビジョニングできるようになりました。 simspaceweaver: APIリファレンスの導入テキストを編集。…