[Data] - Life like a clown

しばらく更新を停止していた転載禁止された 2ch まとめブログのシェアと更新頻度一覧 - Life like a clown の定期レポートですが、2012 年 3 月～ 2013 年 2 月までのデータでいったん終了とします。理由は、3 月下旬辺りに SoGap の観測範囲を広げたため、それまでのデータとは単純に比較する事ができなくなるためです（取得記事数が、1,000 件/日程度から 1,500 件/日程度と 1.5 倍ほどになっています）。2013/04 以降も何らかの形でレポートは投稿していく予定ですが、去年の特定の 2ch まとめブログへの転載禁止騒動以降続けていたこの形でのレポートは、ひとまずこの記事が最終版となります。

調査方法

調査方法は、SoGap の 2012/03/01 から 2013/02/28 までの更新のために収集した記事をサイト毎&月毎に集計したもので、「2ch まとめブログ」とは 2ch.dat のリストで定義されている Web サイトとします（2013/04/01 現在で 888 サイトが登録されています）。

掲載記事数の推移で示している値は、SoGap 更新の際に取得できた記事数を表します。収集漏れ等もあるかと思うので正確ではないですが、大雑把に言うと「Twitter、はてなブックマーク、Facebook いずれかの Web サービス上で対象期間中に話題になった記事数」を表します（各 Web サイトの「更新頻度」の推移を表している訳ではありません）。ただし、SoGap の記事取得方法がはてなブックマーク寄り*1なため、はてなブックマーク数の推移以外のグラフは実際の状況と乖離している可能性があります。各種データに関しては、参考程度でお願いします。

Twitter「リツイート数」の推移、「はてなブックマーク数」の推移、Facebook「いいね！」数の推移で示している値は、SoGap 更新の際に引っかかった記事の各値を合計してサイト毎にまとめたものです。各値は、日々の更新の時点で取得したものをそのまま使用していますので、実際の合計値はこのグラフで示しているものよりも高くなるかと思います。

転載禁止を受けた元 2ch まとめブログに関するデータ

Related Pages

Permalink | トラックバック(0)

*1：はてなブックマークで話題になった記事が取得されやすい

2013-03-26

JavaBlack で紹介されている書籍の統計

Programming, Data

昨日は変なネタ記事を投稿してしまいましたが、本当にやりたかった事はこちら。

カレーなる辛口Javaな転職日記のブログは何度か話題（炎上？）になった時に見ていたので知っていたのですが、このブログを見たときに「紹介されているもの自体は良書が多い、と言う事は確かなので、いつかこのブログの全記事で紹介されている書籍の統計を取ってみたいな」と言う事をずっと思っていました。毎回、やろうと思いつつ忘れてしまっていたので、今度こそ実行してみました。

概要

カレーなる辛口Javaな転職日記の記事中に存在する a タグの href 属性からアマゾンの ASIN と思われるものを抽出し、リンク数の多い順でランキングします。サイドバー等のリンクによる重複を防ぐために、抽出する a タグの対象は div.section の中に限定しています。
画像が貼られている場合、画像のリンクとタイトルのリンクで二重にカウントされているようです。ほとんどの紹介については画像付きのようなので、紹介数の目安としてはリンク数の半分と考えると良さそうです。
対象期間は 2005/03/15 ～ 2013/03/24 の全記事です。
取得できた ASIN は全部で 1187 種類、最もリンク数の多い書籍は内側から見た富士通「成果主義」の崩壊でリンク数 60 でした。
その他、目安となる数字としては……リンク数 10 以上のものは 57 種類、同 5 以上のものは 136 種類、同 3 以上*1 のものは 294 種類、あたりでしょうか。
解析結果の全データ（ASIN とリンク数のみ）は javablack.csv から、リンク数 10 以上のアマゾン商品に関する詳細は javablack.json から取得できます。

おまけ（取得方法）

以下のようなスクリプトを使用して取得しました（メインとなるクラス部分だけ）。

require 'net/http'
require 'uri'
require 'kconv'
require 'rubygems'
require 'nokogiri'

Net::HTTP.version_1_2
class JavaBlack
    attr_reader :asins
    attr_reader :uris
    
    def initialize
        @asins = Hash.new(0)
        @uris = Array.new
    end
    
    def get_recursive(uri)
        response = Net::HTTP.get_response(uri)
        html = Nokogiri::HTML(response.body)
        html.xpath('//div[@class="section"]').each { |node|
            # Amazon へのリンクを見つけて ASIN を抽出
            node.search('a').each { |link|
                href = link['href']
                next if (href == nil || href.match(/(?:www\.)?amazon\.(?:com|co\.jp|jp)\//) == nil)
                asin = href.match(/[B0123489][A-Z0-9]{9}/)
                next if (asin == nil)
                @asins[asin[0]] += 1
            }
        }
        @uris.push(uri.to_s)
        
        head = html.at("//head")
        head.xpath("//link[@rel]").each { |node|
            next if (node['rel'] == nil || node['href'] == nil || node['rel'].gsub(/\s/, '') != "prev")
            link = uri + node['href'].gsub(/\s/, '')
            sleep(10) # 次の記事取得まで適当に間隔をあける
            get_recursive(link) if (link.to_s != uri.to_s)
            break
        }
    end
end

Permalink | トラックバック(0)

*1：少なくとも 2 回紹介されていると思われる商品

2013-03-04

はてなブックマークの成長度合を観測してみる

Web, Data, Hatena

ユーザーの反応に「完全に狼狽した」　はてなブックマーク、リニューアルの意図と背景 (1/2) - ITmedia ニュースと言う記事で、はてなブックマークのリニューアルに対する意見が賑わっていました。この辺りの話題についてもそのうち何か書いてみようかと思いますが、今日は別のお話。この記事の関連記事として、リニューアル前後のはてブからの流入数の変化まとめ | Kousyoublog と言う記事を見つけたのですが、これを読んでいるうちに「そう言えば、はてなブックマークのブックマーク数を調べた事があったな」と言う事を思い出したので、せっかくの機会なので少し真面目にデータを集めてみる事にしました。

調査方法

はてなブックマークのトップページには、現在の「ブックマークされたエントリー総数」および「総ブックマーク数」が常時表示されています。

これらの値を用いて、はてなブックマークの「年間ブックマーク数（エントリー/ブックマーク）」を算出して、その変動を追う事によってはてなブックマークの成長度合を観測してみる事にします。各日付のデータについては、Internet Archive とウェブ魚拓に残っているデータから抽出しています。基本的に毎年 2 月 1 日のデータを使用していますが、前述したサイトに該当日のデータが残っていない関係で年によっては多少、前後する事があります*1。

2006 年以降の年間ブックマーク数の推移

次の表は、毎年 2 月 1 日（元データの関係で、±1日のずれがあります）時点での「ブックマークされたエントリー総数」、「総ブックマーク数」、およびそれらの値から算出できる年間増加量、年間増加量の前年比を表しています。

日付エントリーブックマーク

総計年間増加量前年比総計年間増加量前年比

2006/02/02 1,327,528 - - 2,852,234 - -

2007/02/02 3,864,893 2,537,365 - 10,389,980 7,537,746 -

2008/02/01 7,320,041 3,455,148 136% 20,882,338 10,492,358 139%

2009/02/01 11,924,731 4,604,690 133% 35,207,772 14,325,434 137%

2010/01/31 18,983,568 7,058,837 153% 55,752,858 20,545,086 143%

2011/01/31 28,689,090 9,705,522 137% 81,762,182 26,009,324 127%

2012/02/01 41,233,374 12,544,284 129% 114,961,799 33,199,617 128%

2013/02/01 54,263,977 13,030,603 104% 150,412,620 35,450,821 107%

日付	エントリー	ブックマーク
2006/02/02	1,327,528	-	-	2,852,234	-	-
2007/02/02	3,864,893	2,537,365	-	10,389,980	7,537,746	-
2008/02/01	7,320,041	3,455,148	136%	20,882,338	10,492,358	139%
2009/02/01	11,924,731	4,604,690	133%	35,207,772	14,325,434	137%
2010/01/31	18,983,568	7,058,837	153%	55,752,858	20,545,086	143%
2011/01/31	28,689,090	9,705,522	137%	81,762,182	26,009,324	127%
2012/02/01	41,233,374	12,544,284	129%	114,961,799	33,199,617	128%
2013/02/01	54,263,977	13,030,603	104%	150,412,620	35,450,821	107%

下図は、上表の各「年間増加量」をグラフにしたものです。

表を見ると、はてなブックマークはこれまで（エントリー数/ブックマーク数ベースで）毎年 30% 前後の成長を続けていたのですが、2012 年はともに 10% 以下にまで急落しています。話が少しずれますが、はてなブックマークは 2005 年にリリースされたそうなので、リリース以降ずっと同じような成長スピードを維持し続けていた事になります。これは、SBM の先駆けとも言える Delicious や後発の日本産 SBM サービスの惨状を見ると、個人的には、かなりの善戦と言って良いだろうと思います。

しかし、ここに来てその成長スピードにも急ブレーキがかかる事となりました。

2012-2013年の月間ブックマーク数の推移

2012 年の急ブレーキに関して、「成長スピードが頭打ちになってきたからリニューアル等のテコ入れを考えるようになった」のか「リニューアルしたら爆死した」のかの判断が難しかったので、今度は 2012 年以降の月毎のブックマーク数の推移を調べてみる事にしました。ちなみに、トップページのリニューアルは 2013 年 1 月 8 日のようです。

下表は、毎月 1 日時点での「ブックマークされたエントリー総数」、「総ブックマーク数」、およびそれらの値から算出できる月間増加量、月間増加量の前年同月比を表しています。尚、長くなるので「月間増加量の前年同月比」を算出するためのデータ（2011 年分）については下記には掲載しておりません。詳細については、hatena-abstract.xlsx （エクセルファイル）、もしくは調査元となっている Internet Archive で確認する事ができます。

日付エントリー数ブックマーク数

総計月間増加量前年同月比総計月間増加量前年同月比

2012/01/01 40,126,878 1,080,877 122% 111,923,354 2,551,641 104%

2012/02/01 41,233,374 1,106,496 123% 114,961,799 3,038,445 117%

2012/03/01 42,318,904 1,085,530 123% 117,990,009 3,028,210 129%

2012/04/01 43,489,451 1,170,547 119% 121,088,624 3,098,615 120%

2012/05/01 44,558,306 1,068,855 97% 123,947,951 2,859,327 101%

2012/06/01 45,610,051 1,051,745 96% 127,045,016 3,097,065 102%

2012/07/01 46,654,629 954,578 93% 129,794,911 2,749,895 100%

2012/08/01 47,598,393 1,033,764 96% 129,794,911 2,749,895 93%

2012/09/01 48,782,787 1,184,394 123% 135,806,396 3,274,253 129%

2012/10/01 49,902,087 1,119,300 112% 138,830,206 3,023,810 116%

2012/11/01 50,997,045 1,094,958 101% 141,828,883 2,998,677 103%

2012/12/01 52,153,048 1,156,003 108% 144,843,371 3,014,488 106%

2013/01/01 53,230,085 1,077,037 100% 147,617,008 2,773,637 109%

2013/02/01 54,263,977 1,033,892 93% 150,412,620 2,795,612 92%

2013/03/01 55,237,637 973,660 90% 153,050,487 2,637,867 87%

日付	エントリー数	ブックマーク数
2012/01/01	40,126,878	1,080,877	122%	111,923,354	2,551,641	104%
2012/02/01	41,233,374	1,106,496	123%	114,961,799	3,038,445	117%
2012/03/01	42,318,904	1,085,530	123%	117,990,009	3,028,210	129%
2012/04/01	43,489,451	1,170,547	119%	121,088,624	3,098,615	120%
2012/05/01	44,558,306	1,068,855	97%	123,947,951	2,859,327	101%
2012/06/01	45,610,051	1,051,745	96%	127,045,016	3,097,065	102%
2012/07/01	46,654,629	954,578	93%	129,794,911	2,749,895	100%
2012/08/01	47,598,393	1,033,764	96%	129,794,911	2,749,895	93%
2012/09/01	48,782,787	1,184,394	123%	135,806,396	3,274,253	129%
2012/10/01	49,902,087	1,119,300	112%	138,830,206	3,023,810	116%
2012/11/01	50,997,045	1,094,958	101%	141,828,883	2,998,677	103%
2012/12/01	52,153,048	1,156,003	108%	144,843,371	3,014,488	106%
2013/01/01	53,230,085	1,077,037	100%	147,617,008	2,773,637	109%
2013/02/01	54,263,977	1,033,892	93%	150,412,620	2,795,612	92%
2013/03/01	55,237,637	973,660	90%	153,050,487	2,637,867	87%

下図は、上表の各「月間増加量」をグラフにしたものです。尚、エントリー（青い線）は左軸、ブックマーク（赤い線）は右軸となっています。

印象としては、「うーん、何とも言えないなぁ」と言う感じです。2012 年の春から夏にかけて（前年同月比で見て）成長スピードの鈍化が見られるようになったので、その辺りで「何かしなければ」と考え始めたと見る事もできます。「年間ブックマーク数の推移」の方については、リニューアルによる影響は 1ヶ月分 (2012/01/08～2012/02/01) しか反映されていないので、リニューアルとは関係なく成長スピードに陰りが見えていたのは事実だろうと思います。

一方で、リニューアル後の 2 ヶ月分のデータが芳しくない事も事実です。特に、直近の 1 ヶ月については、データを見るとエントリー数/ブックマーク数ともに月間増加量が過去 1 年間で最低レベルまで落ち込んでいます。そう言った事を考えると、データから読み取れるはてなブックマークの現状としては「成長スピードが頭打ちになってきたのでテコ入れしようとしたら爆死した」と言う感じでしょうか。

まだまだリニューアル後のデータが少ないので、月間ブックマーク数の推移に関しては半年後位に再度調査をしてみようかと思います。ただ、このペースでいくとはてなブックマーク始まって以来の「年間ブックマーク数の前年割れ」と言う事にもなりかねないのでちょっと危険かなと言う気がします。はてなブックマークは個人的にもよく使用していますし、各記事のはてなブックマーク数も（SoGap などで）ランク付け等何らかの処理を行う上で参考になる指標の一つなので、死なない程度に頑張って欲しいなと思います。

Related Pages

Permalink | トラックバック(0)

*1：2 月 1 日と中途半端なのは、Internet Archive のデータの残り具合を考慮して何となく決めた結果です。

2012-11-01

2ch まとめブログ界隈の状況 (2012 年 10 月版)

Web, Data, 2ch

調査方法

調査方法は、SoGap の 2012/10/01 から 2012/10/31 までの更新のために収集した記事をサイト毎に集計したものです。2ch まとめブログは http://sogap.cielquis.net/2ch.dat のリストで定義されている Web サイトとし、2012/11/01 現在で 745 サイト、対象期間中に収集した記事数は 3,763 記事でした。

掲載記事数の推移で示している値は、SoGap 更新の際に引っかかった記事数を表します。収集漏れ等もあるかと思うので正確ではないですが、大雑把に言うと「Twitter、はてなブックマーク、Facebook いずれかの Web サービス上で対象期間中に話題になった記事数」を表します。各 Web サイトの「更新頻度」の推移を表している訳ではありません。

Twitter「リツイート数」の推移、「はてなブックマーク数」の推移、Facebook「いいね！」数の推移で示している値は、SoGap 更新の際に引っかかった記事の各値を合計してサイト毎にまとめたものです。各値は、日々の更新の時点で取得したものをそのまま使用していますので、実際の合計値はこのグラフで示しているものよりも高くなるかと思います。

転載禁止を受けた元 2ch まとめブログについて

SoGap で補足されている記事数に関しては、どのサイトも 8 月以降は横ばいになってきており、各サイトが 1 ヶ月に飛ばすヒット率自体はぼちぼち落ち着いてきたのかなと言う印象です。一方で、下図の Twitter リツイート数の推移を見ると、ヒットした時の反響の大きさについては、ある程度のところで減少を食い止められているサイトと順調に数を減らしているサイトの明暗が何となく見てとれます。もっとも、調査方法の関係で結構誤差も含まれるので、はっきりとした事は言えませんが。

はてなブックマーク数、Facebook の「いいね！」数に関しては、人気のあるサイトとそうではない所では比較できるレベルにない位にまで差が広がりつつあります。いずれも痛いニュース(ﾉ∀`) が順調に数を増やしていっているようで、Twitter 辺りでの反響に比べて、有名サイト群による寡占・独占の強い傾向があるようです。

Permalink | トラックバック(0)

2012-10-04

読売新聞は Twitter でのリツイート数が少ない

Web, Data, Twitter

私が運営している SoGap と言う Web サイトで、 3 月から、出現した記事を Web サイト毎に集計し出現数でランキングすると言う人気サイト月間ランキングを月に一度更新しているのですが、この結果で気になっている点の一つとして「読売新聞の GapRating*1 が、他の大手新聞社に比べて低い」と言うものがありました。

下図は、それぞれ「掲載記事数（SoGap 更新の際に引っかかった記事数）」、「Twitter でのリツイート数の総計値」、「一記事あたりの Twitter での平均リツイート数」の月毎の推移を表しています。これらを見ると、読売新聞は Twitter でのリツイート数が少ない事が分かります。リツイート数の総計値の推移に関しては対象となっている記事数自体が違うので比較する意味は薄いですが、一記事あたりの平均値を見ても、他の新聞社よりもかなり低い値を示しています。

もしかして、読売新聞は各種ソーシャルボタンを設置していないのかな？とも思ったのですが、そう言う訳でもないようで、単純に記事の内容による差なのかなと言う気がします。

ちなみに、下図ははてなブックマーク数の総計値の月毎の推移を表したものなのですが、はてなブックマーク数については読売新聞が特別少ないと言う事はないようです。むしろ、対象となっている記事数の違いを考慮すると、一記事あたりのはてなブックマーク数は他新聞社よりもかなり多いと言う結果になっています。

Permalink | トラックバック(0)

*1：GapRating は大雑把に言うと、Twitter の「リツイート数」とはてなブックマーク数の比率を表しています。詳細については、 http://d.hatena.ne.jp/tt_clown/20120220/sogap を参照下さい。

Programming	List	RSS
C++	List	RSS
C#	List	RSS
Ruby	List	RSS
Development	List	RSS
Git	List	RSS
Web	List	RSS
SoGap	List	RSS
SocialBookMark	List	RSS
Hatena	List	RSS
Twitter	List	RSS
Computing	List	RSS
Joke	List	RSS

Life like a clown

2013-04-02

転載禁止された元 2ch まとめブログに関するレポート

調査方法

転載禁止を受けた元 2ch まとめブログに関するデータ

Related Pages

2013-03-26

JavaBlack で紹介されている書籍の統計

概要

ランキング

おまけ（取得方法）

2013-03-04

はてなブックマークの成長度合を観測してみる

調査方法

2006 年以降の年間ブックマーク数の推移

2012-2013年の月間ブックマーク数の推移

Related Pages

2012-11-01

2ch まとめブログ界隈の状況 (2012 年 10 月版)

調査方法

転載禁止を受けた元 2ch まとめブログについて

2012-10-04

読売新聞は Twitter でのリツイート数が少ない

日付	エントリー			ブックマーク
日付	総計	年間増加量	前年比	総計	年間増加量	前年比
2006/02/02	1,327,528	-	-	2,852,234	-	-
2007/02/02	3,864,893	2,537,365	-	10,389,980	7,537,746	-
2008/02/01	7,320,041	3,455,148	136%	20,882,338	10,492,358	139%
2009/02/01	11,924,731	4,604,690	133%	35,207,772	14,325,434	137%
2010/01/31	18,983,568	7,058,837	153%	55,752,858	20,545,086	143%
2011/01/31	28,689,090	9,705,522	137%	81,762,182	26,009,324	127%
2012/02/01	41,233,374	12,544,284	129%	114,961,799	33,199,617	128%
2013/02/01	54,263,977	13,030,603	104%	150,412,620	35,450,821	107%

日付	エントリー数			ブックマーク数
日付	総計	月間増加量	前年同月比	総計	月間増加量	前年同月比
2012/01/01	40,126,878	1,080,877	122%	111,923,354	2,551,641	104%
2012/02/01	41,233,374	1,106,496	123%	114,961,799	3,038,445	117%
2012/03/01	42,318,904	1,085,530	123%	117,990,009	3,028,210	129%
2012/04/01	43,489,451	1,170,547	119%	121,088,624	3,098,615	120%
2012/05/01	44,558,306	1,068,855	97%	123,947,951	2,859,327	101%
2012/06/01	45,610,051	1,051,745	96%	127,045,016	3,097,065	102%
2012/07/01	46,654,629	954,578	93%	129,794,911	2,749,895	100%
2012/08/01	47,598,393	1,033,764	96%	129,794,911	2,749,895	93%
2012/09/01	48,782,787	1,184,394	123%	135,806,396	3,274,253	129%
2012/10/01	49,902,087	1,119,300	112%	138,830,206	3,023,810	116%
2012/11/01	50,997,045	1,094,958	101%	141,828,883	2,998,677	103%
2012/12/01	52,153,048	1,156,003	108%	144,843,371	3,014,488	106%
2013/01/01	53,230,085	1,077,037	100%	147,617,008	2,773,637	109%
2013/02/01	54,263,977	1,033,892	93%	150,412,620	2,795,612	92%
2013/03/01	55,237,637	973,660	90%	153,050,487	2,637,867	87%

		2013/06
日	月	火	水	木	金	土
						1
2	3	4	5	6	7	8
9	10	11	12	13	14	15
16	17	18	19	20	21	22
23	24	25	26	27	28	29
30