naoyaのはてなダイアリー

kiyokap 2008/06/05 00:08 先日は、たいへん勉強になる発表ありがとうございました。
以前から、ネットなどでGoogleのMapReduceの資料を読んでわかった気になっていましたが、naoyaさんの発表を聞いて、本質的なところが理解できていなかったことに気づきました。

見逃していた点は、次の点です。
1. 分散ファイルシステムは必須で、それが無いと、MapReduceはパフォーマンスを発揮しない。（最初からデータが分散されているからスケールする。計算要求のたびに巨大データをコピーしていたらネットワーク帯域がいくらあっても足りない）
2. reducerがボトルネックになると思いきや、reducerも複数プロセスでスケールする。（reducerはスケールしないと思っていました）

今後とも、Kansai.pmで最新テクノロジを紹介してください。

はてなユーザーのみコメントできます。はてなへログインもしくは新規登録をおこなってください。