Hatena::ブログ(Diary)

盆栽日記

2012-11-13

twitter streamingからデータを取得するためのメモン

twitter streamingからデータを取得して分析にかけたい。

MongoDBに入れておくのが楽そうだが、R使ってAPI叩いてMongoDBに入れていくのは結構面倒そうなのでPythonからやる。その後の分析はRでやる。

ということでメモン。

MongoDBのwindowsへのインストール

http://www.nilidea.com/17

Mongo shellから直接叩く場合

http://firn.jp/2010/10/31/streaming-api-to-mongodb

Mongoのチュートリアル和訳(通称薄い本)

http://www.cuspy.org/diary/2012-04-17

pymongoの使い方

http://d.hatena.ne.jp/yutakikuchi/20110819/1313711055

pymongoの使い方(embeded documentについて言及あり)

http://blog.liris.org/2010/10/python3mongodb.html

pymongoを使ったtwitterstreamの取得

https://skyl.org/log/post/skyl/2011/12/use-python-to-store-data-from-twitters-streaming-api-in-mongodb/

一応、rmongodbの使い方

http://stat-you1025.blogspot.jp/2012/04/rmongodb.html

※Rmongoはembeded documentやらなんやらに対応していない上に開発も止まっているようなので使わないことにした。

その他メモン

今回の目的とは異なるがpythonの便利ライブラリがまとまっていたのでメモ。

http://d.hatena.ne.jp/mizchi/20110214/1297679024