makopyonの日記

解析系システムをAWSでつくるめも

AWSつかいはじめ

【初心者向け】MacユーザがAWS CLIを最速で試す方法
http://dev.classmethod.jp/cloud/aws/mac-aws-cli/

kinesis application sample

Amazon Kinesis アプリケーションサンプル
http://qiita.com/okuda_h/items/9fc1b271b63775ca7636

kinesis

Kinesis shardの Open/Close を AWS CLI から一発で確認するワンライナー
 http://qiita.com/daikumatan/items/d58fb628d5c03cc8a710

Kinesisの雰囲気をつかむためにawscliで操作する
http://qiita.com/takuan_v2/items/47e6052bbeb5954a69ed

Kinesis Shard Splitting & Merging by Example
https://brandur.org/kinesis-by-example

Amazon kinesisで広がるリアルタイムデータプロセッシングとその未来
http://www.slideshare.net/shot6/amazon-kinesis-32354587

AWS Black Belt Techシリーズ Amazon Kinesis
http://www.slideshare.net/AmazonWebServicesJapan/aws-black-belt-tech-amazon-kinesis

AWS 白帯シリーズ（19）Amazon Kinesis メモ
http://blog.cloudpack.jp/2014/11/06/white-belt-19-amazon-kinesis-with-ruby/

Kinesisの複数PUT対応APIを試してみた
http://dev.classmethod.jp/cloud/aws/kinesis-put-records-cli/

Kinesisってなんじゃ？（Java実装編）
http://memocra.blogspot.jp/2013/12/kinesisjava.html

kinesis connector lib

amazon-cognito-streams-sample
https://github.com/awslabs/amazon-cognito-streams-sample/blob/master/src/com/amazonaws/services/cognito/streams/connector/AmazonCognitoStreamsConnectorExecutor.java

EMRめも

EMRってなんじゃ？（ログ、ゆりかごから墓場まで）
http://memocra.blogspot.jp/2012/12/emr.html

EMR + S3について
http://stackoverflow.com/questions/11479247/how-do-you-make-a-hive-table-out-of-json-data

第4回　Java SDKでEMRを起動する
http://gihyo.jp/dev/serial/01/emr/0004

[AWSマイスターシリーズ] Amazon Elastic MapReduce (EMR)
http://www.slideshare.net/AmazonWebServicesJapan/20130925-aws-meisterregenerateemrpublic

S3 上の大量データを EMR するときは S3DistCp を使うと捗る
"http://im-sei.tumblr.com/post/86392394313/s3-上の大量データを-emr-するときは-s3distcp-を使うと捗る"

ビズリーチにおけるEMR（AWS）活用事例
http://www.slideshare.net/stakeuchi/emr-26774394

hive

hiveのDDL
https://cwiki.apache.org/confluence/display/Hive/LanguageManual+DDL

EMR向け、hive.scriptのサンプル
https://github.com/awslabs/emr-sample-apps/blob/master/hive-ads/libs/twitter-impressions.q

はじめてのEMR／fluentdでS3にアップロードしたログをElastic MapReduceで検索・集計する
http://dev.classmethod.jp/cloud/aws/query-fluentd-logfiles-on-s3-with-emr/

AWSのAmazon Elastic MapReduce(EMR)でHiveを使う手順
http://takemikami.com/archives/1328/

よのなかのアクセス解析メモ

アクセス解析システムの裏側（公開用）
http://www.slideshare.net/shun0102/ss-14408186

Amazon KinesisにFluentdで流し込んだデータをHiveでクエリ
http://qiita.com/imaifactory/items/a21d80f2bc017af0dabe

AWS Black Belt Techシリーズ Amazon Kinesis
http://www.slideshare.net/AmazonWebServicesJapan/aws-black-belt-tech-amazon-kinesis

初めてEMR(Amazon Elastic MapReduce)を使う人が読むページ
http://mgi.hatenablog.com/entry/2014/05/04/085148#section1

CloudFrontのアクセスログを集計・分析したい！
http://dev.classmethod.jp/cloud/aws/analyzing-cloudfront-logs-by-emr-hive/#return-note-2-1[

Run Spark on EMRってどんな仕組みになってるの？
http://www.slideshare.net/n3104/run-spark-on-emr

Getting Started with Real-time Analytics
http://www.slideshare.net/AmazonWebServices/getting-started-with-realtime-analytics

spark

SparkRをEC2上で動かして分散処理してみる
http://engineer.recruit-lifestyle.co.jp/techblog/2015-08-19-sparkr/

DB設計

MySQL Workbench の EER モデリングツールでリレーションシップ検証 1 （Identifying と Non identifying）
http://blog.tpc.jp/2012/07/mysql-workbench-eer-1-identifying-non.html