スティルハウスの書庫

hidemon 2010/03/25 16:47 いや，オリジナルのMapReduceだって，ある種のタスクキューシステムですよ．Hadoopの実装もそう．そこにそんなに乖離はないです．

実装も別に難しくはなさそうです．どうやったら多くのユーザにメリットのある見せ方ができるか，と言う方が問題ですよね．

いずれにしても期待，ですが，このcommitってsvnとかcvsにコミットしたって意味じゃないんじゃないでしょうかね．開発はしているのでしょうが．

kazunori_279 2010/03/25 16:57 しかし今のTQって最大50/sくらいだし、オリジナルMRみたいな大規模並列処理って感じでもないですよね。。

commitですが、文脈からすると「svnにコミットした」じゃなくて「Googleはコミットしてる」って感じと思います。

hidemon 2010/03/25 18:00 まあアプリケーション次第だと思いますが，たとえば30秒のマップタスクが100個あったとして，2秒以内に全部起動すれば十分でしょう．Hadoopだってそんなもんです(^_^;). むしろ同時に走るインスタンスの数が少ないことのほうが問題ですね．30並列じゃなあ．．．

それはともかくMapReduceの本質は並列処理をいかに簡単に書かせるか，と言うところのあるのだと思うのです．だから実際の並列性がたかだか30並列だったとしても，それなりに意味があるのではないかと．．．

＃もちろんもっと並列度が上がってくれればうれしいですが．

kazunori_279 2010/03/25 18:12 そうですね、30並列はあくまで論理的な制限だし、私も30制限外してってグーグルに依頼したりそれでTQ試したことはないので、制限外されたApp Engineは本来MapReduceみたいに簡単に数1000ノードとかにスケールしてしまえるのかもしれませんね。。要するに「お試し」じゃないリアルな案件がないと試せない！ってことかな。

おっしゃるとおり、MRの本質は「簡単さ」にあり！と思います。誰でも書ける並列処理って感じで。その簡単さとApp Engineのコストの低さによって思いもよらなかった応用例が出てくるのに期待ですね。

はてなユーザーのみコメントできます。はてなへログインもしくは新規登録をおこなってください。