MapReduce

(コンピュータ)
まっぷりでゅーす

極めて大規模なデータを並列分散処理するために、Googleが開発したフレームワーク。

ある値とリストのkey-valueペアをデータ単位とし、

Mapフェーズ
1つのkey-valueペアから1つ以上のkey-valueペアを生成する
Reduceフェーズ
keyが同じ複数のkey-valueペアから1つないし少数のkey-valueペアを生成する

という2つのフェーズそれぞれについて適当なプログラムを書くと、MapReduceのシステムが自動的に与えられたホスト上で各フェーズの操作を分散処理する。

オリジナルは非公開だが、このシステムに関する論文が公開されており (http://labs.google.com/papers/mapreduce.html)、それを基にしたオープンソース実装としてHadoop MapReduceがある。

このタグの解説についてこの解説文は、すでに終了したサービス「はてなキーワード」内で有志のユーザーが作成・編集した内容に基づいています。その正確性や網羅性をはてなが保証するものではありません。問題のある記述を発見した場合には、お問い合わせフォームよりご連絡ください。

ネットで話題

もっと見る

関連ブログ