1台のマシンで並列実行するためのMapReduceフレームワークを作ってみた

ブックマークのコメントに

1台でもGbyte単位のデータを処理可能なプログラムを簡単に書けるのは十分なメリットだと思う。

とあったので、ついカッとなって作ってみた。


サンプルは前と同じく、クラスがJavaソース中でimportされている回数を数えるもの。
mapreduceメソッドを適当に呼び出せばおっけーです。
こんな感じの結果ファイルが生成されました。

java.io.FileOutputStream	1
java.io.FileReader	1
java.awt.Graphics	1
java.io.Reader	1
java.awt.event.*	3
java.io.BufferedReader	3


書いてみたら動いたというレベルなので、実際に使うにはちゃんと例外処理とかをやってください。
ソースはこんな感じ

続きを読む