へぼいいいわけ このページをアンテナに追加 RSSフィード Twitter

2014年04月19日

2ch.scの書き込み数をカウントするWEBサービスを作った

http://geri.unko.in/the/2chsc/kancolle.cgi


名前は「かっこう」と言います。デザインは2ch.netの「すずめ」のパクリです。

楽しく使ってね!


名前について

2ch.netの書き込み数をまとめるサイトが「すずめ」だったのと、2ch.scの書き込み数を測ってみたら思ったよりも寂れていたので、鳥系の名前で寂れているなら閑古鳥でしょと言うことで「かっこう」としました。

かっこうが持つ托卵の性質については特に考えてなかったです。


URLについて

元々こういう風に使うつもりで「unko.in」というドメインを取得したのですが、全く有効活用できていませんでしたので、第一弾としてとびきり下品URLにしてみました。

CGIスクリプト名が「kancolle.cgi」なのは、「閑古鳥」を「艦娘撮り」に誤変換する可能性を考慮したのと、昨年末、艦隊これくしょんの通信を監視する「艦娘撮り」という名前のプログラム作っていたんですが、途中で艦隊これくしょんに飽きたのもあって作りかけで放置していた*1ので、名前だけ再利用した形になります。

まあ大した意味は無いです。


機能


ソースコード

いつ飽きて閉鎖するかわからないのでソースコードへのリンクを貼っておきます。


2ch.scは2ch.netと殆ど同じ仕様のようなので、2ch.netのプログラムが全体的に流用出来てあっさり出来ました。

うまくやれば、2ch.netと2ch.scのスレッド一覧(subject.txt)だけを定期的にクロールすれば2ch.scの書き込み数が分かるかもとは思いましたが、今回のクローラーはとりあえず全てのスレッドの中身(dat)までクロールしています。

クローラーでは板別の書き込み数をRAMで持ち、定期的にファイルに書き出すことによってCGIの方に伝える仕組みにしています。


2ch.scにはバーボンハウスが存在しないようなので、全速力でクロールすれば短時間でクロールできますが、流石にDoS攻撃はマズイと思ったので、1サーバー1スレッドに絞って動作するようにしているつもりです。ちゃんと確認してないので、サブドメインバーチャルホストやら仮想サーバーやらで管理されていたらこの限りではないです。


2ch.scについて

新しい2chの公開が公表された際には、既存の2chとは全く異なる掲示板、例えばRedditみたいな形式にして既存のツールを使用不可にして、攻撃用のツールが2ch.netで広まる前に2ch.netを完膚なきまでに荒らしに来て移住させるような戦争になると思っていたのですが、そんなことは無くてがっかりしました。


unkarの最近

有能なJIMによってunkar検索用の(2ch.scに比べると)かなり低速でクロールを行っていたsakura鯖のアクセスが遮断されたので、unkar検索の新規データ追加が止まっています。これを機にシステムを入れ替えて検索機能を強化しようと思っていますが、unkarが潰れる前に新しくできたらいいな、くらいに考えているのでそれまでに最近のスレッドを検索したい場合はGoogle先生にでも聞いて下さい。

*1:卑猥な名前に満足して放置したパターン

名無し名無し 2014/06/18 19:49 scに新しくニュース板が出来たので、かっこう観測所への対応をお願いします

ニュース速報α@2ch掲示板
http://ai.2ch.sc/newsalpha/

名無し名無し 2014/07/19 12:05 いつもかっこう使わせてもらってます。
scに新板が設立されたのでかっこうへの対応をお願いできないでしょうか。
よろしくお願いします。

http://sweet.2ch.sc/test/read.cgi/laplace/1402992271/17
http://sweet.2ch.sc/test/read.cgi/laplace/1402992271/28

ダンサーダンサー 2014/07/23 21:49 いつもありがとうございます。
うんかーが無くなると困ります。特に古いスレッドは価値があります。

アンチクロールシステム"ACS"ついに始動か アフィカス達、絶賛Jim叩き中【効いてる】
http://maguro.2ch.sc/test/read.cgi/poverty/1406103304/
451 名前:Code Monkey ★ :2014/07/23(水) 16:39:13.77 ID:???
>>448
I blocked l.ogsoku, u.nkar, and S.C last night.

SC was using ONE residential IP address to do their crawling.

Already l.ogsoku and SC have new IP addresses and have continued their crawl.

It wont be so easy for u.nkar to continue crawling.

4 :番組の途中ですがアフィサイトへの\(^o^)/です:2014/07/23(水) 17:18:43.97 ID:b3oZO1Fj0.net ?2BP(1000)
.
>>1の英文訳

私は昨夜、ログ速とうんかーとSCをブロックした
SCは一般家庭のIPアドレスをクロールに使っている
すでにログ速とSCは別のIPアドレスを使ってクロールしている
うんかーにとってクロールを続けることを容易では無いだろう

185 :番組の途中ですがアフィサイトへの\(^o^)/です:2014/07/23(水) 20:34:50.08 ID:WwAwjtxK0.net
この手の防衛システムは最終的には通用しなくなるよな
User-Agent偽装して普通に接続することを防げはしない
アクセス頻度を人間の頻度にまで落としたらいよいよ識別の手段もない

も 2014/07/26 01:01 「閑古鳥」を「艦娘撮り」に誤変換する可能性を考慮

寒すぎ。

スパム対策のためのダミーです。もし見えても何も入力しないでください
ゲスト


画像認証

トラックバック - http://d.hatena.ne.jp/heiwaboke/20140419/1397910361
リンク元
Connection: close