Athena

はじめに お久しぶりです。都内でエンジニアをしている nariです。 年末年始なので今年やったことをつらつら備忘録としてためておきたいと思います。 (これ一個で終わっちゃうかも。ご容赦) 作った動機 ある案件でDynamoDBに対してある程度複雑なクエリで抽出したい要件がでてきました。 しかし そもそも本番Data Storeに解析クエリを投げるのはよくない DQL(DynamoDB Query Language)の表現(unix timeの扱いetc)が貧弱/毎回解析用にIndexをはるのがつらい ので、お手軽解析環境をStream/Batchの同期タスクをお守りすることなく手に入れたい思い…

こんにちは、グノシー広告技術部、Adnwチームでマネージャーをやっているサンドバーグです！ この記事は Gunosy Advent Calendar 2020 18日目の物となります。 昨日はsyouitさんの変更に強いリスト面とUICollectionViewの話でした。 内容としては弊社のiOSアプリでUITableViewの代わりにUICollectionViewを使っている理由と利点でした。 自分はiOSの開発やアプリ開発自体には関わることがほぼないのですが、わかりやすい説明だったので、まだ読まれていない方は是非読んでください！ はじめに 使ったツール・サービス・機能 Terrafor…

Athenaのwrapper PyAthenaを試したメモ。10ヶ月前に下書きして放置していたので記憶はもうない SQLAlchemyはノータッチ インスコ pip install PyAthena defaultのdbに対象テーブルが存在する場合 from pyathena import connect cursor = connect(aws_access_key_id='YOUR_ACCESS_KEY_ID', aws_secret_access_key='YOUR_SECRET_ACCESS_KEY', s3_staging_dir='s3://YOUR_S3_BUCKET/path/…

これはなに？ Athenaを利用して別AWSアカウントにあるGlueデータカタログの参照を実施してみます。 通常別AWSアカウントのデータカタログはAthenaで利用できないのですが、2019年にリリースされたAthenaでの外部メタストアの参照機能を利用することで実現できます。 大まかな手順はAWS公式と同様ですが、そのままだとできない部分があったので追記＆修正しています。 Amazon Athena を使用したクロスアカウントの AWS Glue データカタログ | Amazon Web Services ブログ

参考資料 docs.aws.amazon.com データベースの作成 CREATE DATABASE mydatabase テーブル作成 CREATE EXTERNAL TABLE test ( id STRING, name STRING, value INT ) LOCATION 's3://{bucket-name}/athenatest/'; レコード挿入 INSERT INTO test VALUES ('id0', 'Sato', 100); セレクト select * from test;

これはなに？ Athenaを利用して、S3のCSVファイルを読み込むときにヘッター行をスキップするTips

概要 vim-tex利用のために、clientserver機能を有効化したVimをインストールを試みていた Homebrewではclientserver機能を有効化できないため、ソースからコンパイルの必要がある Mac OS 11.1でコンパイルを試みたところ、Huge versionをインストールしているにも関わらずclientserver機能が有効化されない コンパイル時にX11ライブラリのヘッダを見つけられないことが原因のため、読み込めるようにコンパイルオプションを変更し解決 詳細 問題 clientserver機能を有効化したVimのコンパイルを試みた。 下記のビルドスクリプトを作成し…

■awscliのすべてのコマンドとサブコマンドを一覧してみる。 $ aws --version aws-cli/2.1.16 Python/3.7.3 Linux/4.19.0-13-amd64 source/x86_64.debian.10 prompt/off ■以下のような制御文字のために条件式を変えたスクリプトをgithubに置いた。 $ aws help | cat -A | awk '/A.*V.*A.*I/' A^HAV^HVA^HAI^HIL^HLA^HAB^HBL^HLE^HE S^HSE^HER^HRV^HVI^HIC^HCE^HES^HS$ $ git clone htt…

エンジョイ AWS！ サーバーワークス エンジニアの伊藤Kです。 冬。温かい飲み物と、ケーキが美味しい季節です。 最近、 この記事 でS3のサーバーアクセスログを見る機会がありましたが、 S3のサーバーアクセスログは、ログが出力されるS3のバケット内に、1行が横に長いテキスト、かつ複数のファイルに分かれて取られているので、 中身を見るために一つ一つダウンロードし、検索する、などが手間。 S3に格納されたログデータを扱うならAthenaはどうか？ということで調べたところ、AWS公式ドキュメントにも方法が紹介されていました。 それに沿って、Athenaを使ってログを分析してみます。 そもそも、S3…

あけましておめでとうございます。2021年1つ目のブログは、Organizationsシリーズ第三弾です。今回はCloudTrailです。 Organizationsの紹介（はじめに編）はコチラ 前回はコチラ CloudTrailとは AWS上の操作履歴を保存し、可視化できるサービスです。デフォルト状態で、特に何もしなくても過去90日分は操作履歴を確認できます。追加で証跡という設定を行うことで、すべての操作履歴をS3バケットに保存して確認できるようになります。 シングルアカウントの場合、当たり前ですが有効にすると自アカウントの操作証跡が指定したS3バケットに保存されます。 Organizati…

今年もたくさん服を買いました。 在宅がメインになり平日好きな服を着られるようになったのに加えて、残業がいかついことになったせいで買い物が格段に増えました。あまりよくないストレス発散法かもしれないけど、好きな服を毎日選んで生活できるのは本当に楽しい。 2020年の服を振り返ります。 COACH 90年代のショルダーバッグ Athena Designs フィッシャーマンニット levi's 80年代の501デニム converse オールスターハイカット黒 MADE IN JAPAN BARRY BRICKEN チノパンツ Champion リバースウィーブ パーカー TIMEX オリジナルキャン…

はじめに お久しぶりです。都内でエンジニアをしている nariです。 年末年始なので今年やったことをつらつら備忘録としてためておきたいと思います。 (これ一個で終わっちゃうかも。ご容赦) 作った動機 ある案件でDynamoDBに対してある程度複雑なクエリで抽出したい要件がでてきました。 しかし そもそも本番Data Storeに解析クエリを投げるのはよくない DQL(DynamoDB Query Language)の表現(unix timeの扱いetc)が貧弱/毎回解析用にIndexをはるのがつらい ので、お手軽解析環境をStream/Batchの同期タスクをお守りすることなく手に入れたい思い…

前々回記事でお借りしていたWhite Devil 3sは、先方へ支払いを済ませて私の所有となりました。 yuki3.hatenablog.jp 音質については来年に「G Ride Audio White Devil 3s（2）」の記事を立てます。 今回の記事はタイトルの通りです。 1月にCHORD QUTESTとEnigma Acoustics Athena A1を同時購入し、春にLUMIN L1、夏以降はケーブルに興味が移行していきます。 Kimber Select KS1020 RCA High Fidelity Cables MC-0.5 helix+ Syunyata Research…

Hadesの攻略 アテナの恩恵一覧です。 アテナから入手できる恩恵の詳細を記載します。