2008-12-22
■[覚書][web][モバイル]携帯向けクローラ用robots.txt
携帯用URLとPC用URLを分けている場合のrobots.txtの書き方
とりあえず、携帯用のディレクトリは以下をすべてのクローラからのアクセスを拒否し、携帯用クローラについて適宜許可を出していく方向性
User-agent: * Disallow: /mobile User-Agent: Googlebot-Mobile Disallow: / Allow: /mobile User-agent: Y!J-MBS Disallow: / Allow: /mobile User-agent: Y!J-SRD Disallow: / Allow: /mobile User-agent: LD_mobile_bot Disallow: / Allow: /mobile User-agent: ichiro/mobile Disallow: / Allow: /mobile
Permalink | コメント(0) | トラックバック(0) | 20:38 
トラックバック - http://d.hatena.ne.jp/atyks/20081222/1229945928
リンク元
- 5 http://search.yahoo.co.jp/search?p=クローラ robots.txt&search.x=1&fr=top_ga1_sa&tid=top_ga1_sa&ei=UTF-8&aq=&oq=
- 4 http://rd.yahoo.co.jp/rss/l/blogsearch/search/S=2078379537/P=RSS/Q=robots.txt 書き方/O=ALL/SIG=11khmukgi/*-http://d.hatena.ne.jp/atyks/20081222/1229945928
- 4 http://www.google.co.jp/search?hl=ja&client=firefox-a&rls=org.mozilla:ja:official&hs=Jl&q=携帯+robots.txt&btnG=検索&lr=lang_ja
- 4 http://www.google.co.jp/search?q=robots.txt+書き方 携帯&hl=ja&rlz=1T4GGLL_jaJP327JP328&start=10&sa=N
- 3 http://ezsch.ezweb.ne.jp/search/ezGoogleMain.php?query=ROBOTS.TXT 携帯&ct=&pd=1&sr=0000
- 3 http://www.google.co.jp/search?q=携帯 robots&lr=lang_ja&ie=utf-8&oe=utf-8&aq=t&rls=org.mozilla:ja:official&client=firefox-a
- 3 http://www.google.co.jp/search?sourceid=navclient&hl=ja&ie=UTF-8&rlz=1T4DAJP_jaJP264JP265&q=今日の一言
- 2 http://ask.jp/blog.asp?q=???????????&o=0&qsrc=95&hq=
- 2 http://blog-search.yahoo.co.jp/search?fr=top_ga1&ei=UTF-8&p=xoops
- 2 http://reader.livedoor.com/reader/
