Hatena Blog Tags
はてなブログ トップ
Amazon Athena
このタグでブログを書く
言葉の解説
ネットで話題
関連ブログ

Amazon Athena

このタグの解説についてこの解説文は、すでに終了したサービス「はてなキーワード」内で有志のユーザーが作成・編集した内容に基づいています。その正確性や網羅性をはてなが保証するものではありません。問題のある記述を発見した場合には、お問い合わせフォームよりご連絡ください。
MOTEX TECH BLOG•6ヶ月前

Amazon Athenaを利用して利用状況を可視化するシステムを作ってみた

はじめに こんにちは、アプリケーションチームの辻です。 前回の記事では、ユーザーの利用状況データを収集する部分で活用した「DynamoDB の S3 へのエクスポート」と「S3 のレプリケーション」についてお話をしました。 今回は、収集した利用状況データをどのように可視化しているのかに焦点を当ててお話したいと思います。 はじめに 利用状況データの可視化システム - 全体像 利用状況データの可視化の仕組み 1. 別の AWS アカウントの S3 に利用状況データをレプリケーション DynamoDB テーブル単位で S3 フォルダーを作成した理由 S3 にdate=YYYY-MM-DDというフォル…

#AWS#Amazon Athena

関連ブログ

Techfirm Cloud Architect Blog•1年前

AWS WAFでブロックしたルールをAmazon Athenaで検索する

はじめに AWS WAFの運用では、ログを分析する機会が多いと思います。 前回の記事「AWS WAFでカウントモードで検知したルールをAmazon Athenaで検索する」では、カウントモードで検知したルールをAmazon Athenaで検索するクエリについて紹介しました。 本稿では、ブロックしたルールを検索する方法を紹介したいと思います。 ブロックされたリクエストのログ リクエストがブロックされたとき、下記5つのフィールドにどのような情報が記録されるのか説明します。 なお、action、terminatingruleid、terminatingruletypeの3つは別ruleGroupLi…

#Amazon Web Services#AWS WAF#Amazon Athena
Techfirm Cloud Architect Blog•1年前

AWS WAFでカウントモードで検知したルールをAmazon Athenaで検索する

はじめに AWS WAFで新しいルールを設定したり、ルールを変更する際は、設定した内容で想定通り検知できるか検証が必要です。 検証用のウェブACLで行うのが一般的かと思いますが、本番用のウェブACLでも検証を行うことは可能です。 本番用のウェブACLでの検証では、カウントモードを使用します。 ルールのActionをCountにすることで、誤検知してもリクエストをそのまま通すようにできるため、実際のリクエストに影響がないよう対象のルールを検証することが可能です。 ただし、ルール変更の場合は、既存のルールをCountにするとセキュリティ低下のリスクがあるため、新たにカウントモードの検証ルールを追加…

#Amazon Web Services#AWS WAF#Amazon Athena
のべラボ.blog•2年前

Amazon Athena を AWS SDK for Python ( boto3 ) から使用してみる

前回の記事では、Amazon Athena を AWS CLI から操作してみましたが、今回は AWS SDK for Python 、つまり boto3 を使って Python のコードから Amazon Athena を操作してみます。 操作する内容は、前回の記事のAWS CLI で行った操作と同じことをやってみようと思います。 nobelabo.hatenablog.com なお、この記事の内容は 2023年 1月時点で検証した結果に基づきます。 boto3 で Amazon Athena を操作するにあたって、参考にしたドキュメントは、もちろん boto3 の API リファレンスです…

#Amazon Athena#AWS#AWS SDK#Python
のべラボ.blog•2年前

Amazon Athena を AWS CLI から使用してみる

今回は、AWS CLI を使って Amazon Athena のデータベースとテーブル、ワークグループを作成し、クエリーを発行してみます。 標準 SQL を使用して Amazon S3のバケット内のデータに対して直接クエリーを発行して集計や分析が行えるインタラクティブなサービスです。 aws.amazon.com AWS マネジメントコンソールを使用して容易に操作することもできますが、AWS CLI だとどのようなコマンドになるのか試してみます。 なお、この記事の内容は 下記のドキュメントを参考に、2023年 1月に検証した内容に基づいています。Linux で AWS CLI v2 を使用する…

#AWS#Amazon Athena#DataLake#AWS CLI
株式会社CINC 開発本部(旧：開発部) エンジニアブログ•6年前

Amazon Athena の基本的な使い方

こんにちは、株式会社CINC開発本部です。 S3に溜め込んでいるデータを集計して扱おうと思ったのですが、サイズが膨大なためRedshiftではコスト感が合わなく、結局EMRを利用して処理をして、結果のデータをS3に配置してAthenaを利用して読み込むという形になりました。その際に確認した、配置するデータの形式やパーティションを区切っての利用方法等をまとめておきたいと思います。

#Amazon Athena