Unchained Life

$KCODE = 'u'
require 'rubygems'
require 'active_record'
require 'MeCab'

ActiveRecord::Base.establish_connection(
  :adapter => 'sqlite3',
  :dbfile => '/Users/username/Library/Application Support/Echofon/tweets_db.sql' #usernameを自分の環境に合わせて変更
)

class Status < ActiveRecord::Base
end

def calculate_statuses_tfidf
  t = Time.now.strftime('%s').to_i #現在時刻をEchofonに合わせてUNIX時間に変換
  all_statuses = []
  recent_statuses = []
  past_time = 24 #とりあえず24時間前までのログを過去ログの対象とする
  (1..past_time).each do |i|
    lower_limit = t - 3600 * i
    upper_limit = t - 3600 * (i - 1)
    statuses = Status.find(:all, :conditions => ['created_at >= ? and created_at < ?', lower_limit, upper_limit])
    word_count = Hash.new(0)
    statuses.each do |st|
      st.text.split(/,、。 　/).each do |s| #句読点や半角スペースと全角スペースがあったらそこでいったん区切る
        c = MeCab::Tagger.new
        n = c.parseToNode(s)
        words = ''
        while n do
          #抽出する単語を名詞や記号などに限定して、それらが連続していればくっつける
          if (n.feature.split(',').first == '名詞') || (n.feature.split(',')[1] == '連体化') || ((n.feature.split(',').first == '記号') && (n.feature.split(',')[1] == '一般'))
            words += n.surface
          else
            if words != ''
              word_count[words] += 1
              words = ''
            end 
          end
          n = n.next
        end
      end
    end
    recent_statuses = word_count.to_a if i == 1
    all_statuses << word_count.to_a
  end
  result = []
  recent_statuses.sort{|a, b| b[1] <=> a[1]}.each do |w|
    break if w.last < 3 #1時間以内の発言数が3未満の単語は対象外とする
    tf = w.last
    df = all_statuses.flatten(1).select{|i| i.first == w.first}.size #ruby 1.8.7以上からflattenに引数をとれるようになった！
    idf = Math::log(past_time / df.to_f)
    tfidf = tf * idf
    result << [w.first, tfidf]
  end
  result.sort {|a, b| b[1] <=> a[1]}
end

if __FILE__ == $0
  calculate_statuses_tfidf.each do |i|
    puts i.first + ': ' + i.last.to_s
  end
end

コードを読んでもらえれば大体どんなことをやっているか分かると思いますが、tf-idfというキーワード抽出のためのアルゴリズムを使っています。tf-idfとは簡単に言ってしまえば、ある文書中によく出てくる単語にはキーワードになりそうなので高スコアを割り当てたいけれども、その単語が他の文書中にも出てくるようならばそれはキーワードというよりも一般的な単語と見なせるのでその分スコアを差し引く、という考え方です。

参考: [を] 形態素解析と検索APIとTF-IDFでキーワード抽出

今回は1時間ごとのログを1つの文書とし、24時間分なので全体で24の文書があるとしてtf-idfを適用しています。

ログがあれば48時間分とかにしたほうがもう少し正確なキーワード抽出ができるかもしれません。

このプログラムを実行するとこんな感じになります。

Twitterクライアントは常時起動しているとは限らないのでどうしても取りこぼしなどが出てきてしまうのは仕方のないことですが、ログをきちんと保存するクライアントであれば、今回紹介したEchofonではなくても上記と同様の手法が適用できると思うので試したりしてください！

Permalink | コメント(0) | トラックバック(1) | 19:10

		2012/02
日	月	火	水	木	金	土
			1	2	3	4
5	6	7	8	9	10	11
12	13	14	15	16	17	18
19	20	21	22	23	24	25
26	27	28	29

Unchained Life

2010-10-13

■私的大岡山ランチスポット

2010-06-24

■そのカレー、リトルショップにつき

2010-02-08

■ニコニコ動画のコメントをGrowlで作業中にも前面に表示する

こんなときに

ソースコード

注意点

弱点

参考記事

2009-12-06

■Twitter研究会で話してきました

2009-10-04

■自分がフォローしている人たちだけのbuzztterみたいなものを実現する with Echofon