Hatena::ブログ(Diary)

ヤルキデナイズドだった

Yarukidenized

2011-06-03

[][][][]スクレイピングするなら ScraperWiki 使うといいよ 19:51 スクレイピングするなら ScraperWiki 使うといいよを含むブックマーク

Web ページからデータを抽出してデータベースに突っ込むことに性的興奮を覚えるみなさん、 ScraperWiki 使うとキモチイイですよ。以上です。

そうではないみなさんには少々の説明が必要かと思いますので少々書きます。

f:id:uasi:20110603193442p:image:w240:right

ScraperWiki はスクレーパ(Web ページをスクレイピングするスクリプト)とスクレイピングで得られたデータを共有しようぜっという Web サービスです。Wiki と名が付いていますが Wiki っぽいページ構成になってるわけではなく、スクレーパやデータを誰でも編集できるようにして成果を共有するという理念Wiki と共通しているのが由来みたいです。

ScraperWiki を使うとスクレーパを作るのがラクになります:

データの保存と再利用もカンタンです:

うまく使えば楽しいことができたり性的に興奮したりするのではないでしょうか。僕も衆議院の議員一覧スクレーパを書いてみましたよ(性的には興奮しませんでした)。

以上です。

追伸:このスクレーパは簡潔なので編集画面を開いてコードを眺めたり実行したりすると感じが掴めるかもしれません。チュートリアルを読みつつ、スクレーパ一覧から maintenance required なコードを探して直してみるのもいいでしょう。

トラックバック - http://d.hatena.ne.jp/uasi/20110603/1307098299