MapReduce

MapReduce まっぷりでゅーす コンピュータ

極めて大規模なデータを並列分散処理するために、Googleが開発したフレームワーク

ある値とリストのkey-valueペアをデータ単位とし、

Mapフェーズ
1つのkey-valueペアから1つ以上のkey-valueペアを生成する
Reduceフェーズ
keyが同じ複数のkey-valueペアから1つないし少数のkey-valueペアを生成する

という2つのフェーズそれぞれについて適当なプログラムを書くと、MapReduceのシステムが自動的に与えられたホスト上で各フェーズの操作を分散処理する。

オリジナルは非公開だが、このシステムに関する論文が公開されており (http://labs.google.com/papers/mapreduce.html)、それを基にしたオープンソース実装としてHadoop MapReduceがある。

このキーワードを共有する

はてなダイアリーに投稿 このエントリーをはてなブックマークに追加

リンクスコア: 50

このキーワードを含むブログ RSSフィード

2013年05月19日 05時05分 現在