ruby のスクレイピングツールキット scrAPI

2006 09 22

■ruby のスクレイピングツールキット scrAPI

http://blog.labnotes.org/category/scrapi/

ruby でスクレイピングして web の情報を取得するのには、今まで正規表現か xpath でやってたので、わりと面倒でした。で、ふと scrAPI というスクレイピングツールキットを知ったのですが、これがかなり便利そう。

このツールキットを使うと、CSS3 なセレクタを記述することで、要素を取得することができます。たとえばとあるサイトのリンクを全部取得したければ、

require 'rubygems'
require 'scrapi'
require 'open-uri'
require 'nkf'
require 'pp'

$KCODE = 'u'

links = Scraper.define do
  process "a[href]", "urls[]"=>"@href"
  result :urls
end.scrape(URI.parse('http://www.hatena.ne.jp/')).sort.uniq

pp links

な感じですっきり記述することができます。

たとえばはてなダイアリーキーワードページから、タイトル、ふりがな、URL、カテゴリを取得したければこんな感じなコードで。

keyword_scrapper = Scraper.define do
  process 'span.title > a:first-child', :title => :text, :url => '@href'
  process 'span.furigana', :furigana => :text
  process 'ul.list-circle > li:first-child > a', :category => :text
  result :title, :furigana, :url, :category
end

html = NKF::nkf('-w -m0', open('http://d.hatena.ne.jp/keyword/%BA%B0%CC%EE%A4%A2%A4%B5%C8%FE').read)
pp keyword_scrapper.scrape(html, :parser => :html_parser)

結果は構造体として取得できるのでアクセスも楽々です。

#<struct
 title="紺野あさ美",
 furigana="こんのあさみ",
 url="/keyword/%ba%b0%cc%ee%a4%a2%a4%b5%c8%fe?kid=800",
 category="アイドル">

一つはまったのが、デフォルトの html の構文解析では Tidy のライブラリを使うのですが、このライブラリがマルチバイト文字列をエンティティにしちゃうので困るという罠が…。そのため、scrape のオプションで pure ruby の HTMLParser を指定することで回避できます。

追記

HTMLParser を指定せずとも、tidy のオプションで

scrape(html, :parser_options => {:char_encoding=>'utf8'})

と渡せばよしなにはからってくれます。コメントで教えてもらいました。

また様々な方法で Scraper を定義できるのでいろいろできそう。海外じゃやたら流行ってる ruby のメタプログラミングを多用していてクラス定義などなどが行えます。

今まではスクレイピングには断然 perl のほうが便利だったのですが、この scrAPI を使いこなすだけで、だいぶ ruby でも便利になる気が！

Permalink | コメント(9) | トラックバック(1) | 20:16

コメントを書く

歩行者 2006/09/24 03:26 こんにちは、「Gentoo Linux で個人サーバー」という
blog を書いております、歩行者と申します。
先ほどトラックバックさせていただきました。
scrAPI、すごく便利そうですね！
CSS セレクタで要素を指定するというアイディアは脱帽です。
素晴らしい情報ありがとうございます。

磊 2006/09/29 01:10 pp keyword_scrapper.scrape(html, :parser_options => {:char_encoding=>”utf8”)
とやるとマルチバイト文字列がエンティティになっちゃうのがなおるかもしれません。

Edward 2006/11/05 21:25 Well done!
[url=http://zrfswtqt.com/qptf/opuw.html]My homepage[/url] | [url=http://isyeppbp.com/sxcr/daks.html]Cool site[/url]

Alice 2006/11/05 21:25 Great work!
<a href=”http://zrfswtqt.com/qptf/opuw.html”>My homepage</a> | <a href=”http://ginbkdhd.com/aetn/lotn.html”>Please visit</a>

Emma 2006/11/05 21:25 Good design!
http://zrfswtqt.com/qptf/opuw.html | http://bbexhclz.com/ihhz/nwxi.html

Glen 2006/11/09 05:08 Great work!
[url=http://hyzmmtzh.com/aurb/gtwa.html]My homepage[/url] | [url=http://lshbwyuw.com/yugz/xdwi.html]Cool site[/url]

Howard 2006/11/09 05:09 Great work!
<a href=”http://hyzmmtzh.com/aurb/gtwa.html”>My homepage</a> | <a href=”http://fcpyguad.com/poaz/lqdt.html”>Please visit</a>

Andy 2006/11/09 05:09 Well done!
http://hyzmmtzh.com/aurb/gtwa.html | http://jzieayql.com/glwy/lxsg.html

Punk from Taiwan 2007/01/29 23:20 dear sir,
the information about ”set encoding type for tidy” is helpful for me. Thank you very much.
I love Ruby and Ruby on Rails!

スパム対策のためのダミーです。もし見えても何も入力しないでください

画像認証

トラックバック - http://d.hatena.ne.jp/secondlife/20060922/1158923779

idトラックバック

http://d.hatena.ne.jp/Hash/20060924

coﾘ・ー・ﾝ＜2nd life

2006 09 22

■ruby のスクレイピングツールキット scrAPI

追記