Hatena Blog Tags
はてなブログ トップ
MapReduce
このタグでブログを書く
言葉の解説
ネットで話題
関連ブログ

MapReduce

(コンピュータ)
【まっぷりでゅーす】

極めて大規模なデータを並列分散処理するために、Googleが開発したフレームワーク。

ある値とリストのkey-valueペアをデータ単位とし、

Mapフェーズ
1つのkey-valueペアから1つ以上のkey-valueペアを生成する
Reduceフェーズ
keyが同じ複数のkey-valueペアから1つないし少数のkey-valueペアを生成する

という2つのフェーズそれぞれについて適当なプログラムを書くと、MapReduceのシステムが自動的に与えられたホスト上で各フェーズの操作を分散処理する。

オリジナルは非公開だが、このシステムに関する論文が公開されており (http://labs.google.com/papers/mapreduce.html)、それを基にしたオープンソース実装としてHadoop MapReduceがある。

このタグの解説についてこの解説文は、すでに終了したサービス「はてなキーワード」内で有志のユーザーが作成・編集した内容に基づいています。その正確性や網羅性をはてなが保証するものではありません。問題のある記述を発見した場合には、お問い合わせフォームよりご連絡ください。
ken3peiのブログ•1ヶ月前

データレイク周りの用語整理

データウェアハウスとデータレイクの違い データウェアハウス 加工後のデータのみを格納する ゆえに何のためのデータかが明確に決められた状態で格納される（目的指向） Amazon Redshiftなど 基本的なデータウェアハウスの構成 %%{init:{'theme':'forest'}}%% graph LR DataSources1[Data Source 1] --> ETL DataSources2[Data Source 2] --> ETL DataSources3[Data Source 3] --> ETL ETL --> DataWarehouse DataWarehouse -…

ネットで話題

もっと見る
552ブックマークGoogleのMapReduceアルゴリズムをJavaで理解するatmarkit.itmedia.co.jp
520ブックマークMapReduce - naoyaのはてなダイアリーnaoya-2.hatenadiary.org
514ブックマークAmazon Elastic MapReduceを使ってみた - moratoriumAmazon Elastic MapReduceを使ってみた 2009-04-03 (Fri) 3:06 Amazon EC2 連日のEC2ネタです。本日、AmazonからElastic MapReduceというサービスがリリースされました。大規模データ処理技術が一気に民間の手に下りてくる、まさに革命的なサービスだと思います。 Amazon Elastic MapReduce Amazon ElasticMapReduce 紹...kzk9.net
489ブックマーク分散システム処理モデルに関する動向について（MapReduceからBorgまで）techblog.yahoo.co.jp
384ブックマークFacebook、分散SQLエンジン「Presto」公開。大規模データをMapReduce/Hiveの10倍効率よく処理するとwww.publickey1.jp
380ブックマークGoogle、大規模データをリアルタイムに分析できるクラウドサービス「Google Cloud Dataflow」を発表。「1年前からMapReduceは使っていない」。Google I/O 2014www.publickey1.jp
354ブックマークグーグルが構築した大規模システムの現実、そしてデザインパターン（1）～MapReduce編www.publickey1.jp
317ブックマークMapReduceできる10個のアルゴリズム - データサイエンティスト上がりのDX参謀・起業家iisssseeiiii.hatenablog.com
311ブックマークグーグルによるMapReduceサービス「BigQuery」が登場。SQLライクな命令で大規模データ操作www.publickey1.jp

関連ブログ

Python転職初心者向けエンジニアリングブログ•2ヶ月前

HDFSの基本概念：応用情報技術者試験（レベル3）シラバス（変更箇所）

Hadoop Distributed File System (HDFS)は、Apache Hadoopプロジェクトの一部として開発された、分散ファイルシステムです。HDFSは、ビッグデータのストレージと処理に特化して設計されており、大量のデータを効率的に管理・保存するための機能を提供します。以下に、HDFSの主要な特性や仕組みについて詳しく説明します。 HDFSの基本概念 分散ストレージ HDFSは、データを複数のサーバーに分散して保存します。このため、単一のノードに依存せず、データの冗長性と可用性を高めます。ファイルは複数のブロックに分割され、それぞれが異なるノードに保存されます。 ブロッ…

アーシの毎日インプット•3ヶ月前

AWSはElasticが大好き

クラウドサービスのAWSですが、Elasticっていう単語が大好きです。 AWSが提供するサービスの中で、10種もElasticから始まるサービスが提供されています。 Elastic TranscoderElastic BeanstalkElastic Container ServiceElastic Container RegistryElastic Kubernetes ServiceElastic Disaster RecoveryEC2 (Elastic Compute Cloud)EMR (Elastic MapReduce)EFS (Elastic File System)Elas…

idubmorganのブログ•4ヶ月前

AWS Certified Solutions Architect (SAA-C03) 認定試験向けのメモ

サービス 分析 Amazon Athena S3 上のデータに対して 標準SQL を実行できるデータ分析サービス (サーバレス) Amazon EMR (Amazon Elastic MapReduce) ビッグデータの処理や分析 ビッグデータフレームワーク(= Hadoop, Spark, Presto)を用いて、データを複数のサーバーに分散配置して並列に処理することで、迅速かつ効率的なデータ処理を実現 Amazon Redshift DWH (ペタバイト級のストレージに対応) AWS Data Exchange AWS Data Pipeline AWS Glue ETLツール (フルマネ…

なんちゃってプログラマーの日記•4ヶ月前

Apache Spark: ビッグデータ処理の革新者

Apache Spark（アパッチ・スパーク）は、ビッグデータ処理のための高速で汎用的なクラスタコンピューティングシステムです。従来のHadoop MapReduceよりもはるかに高速なパフォーマンスを提供し、多様なデータ処理タスクに対応しています。今回は、Apache Sparkの概要、特徴、そしてその利点について詳しく解説します。 Apache Sparkとは？ Apache Sparkは、分散処理フレームワークであり、膨大なデータセットを効率的に処理するために設計されています。主にビッグデータ分析や機械学習、リアルタイムデータ処理のために使用され、Hadoopと同様にクラスタ上で動作しま…

地方エンジニアの学習日記•4ヶ月前

【HIVE】入門する

はじめに：HIVEとは？ HIVE（High-level Intermediate Virtual Engine）は、ビッグデータの処理や分析を容易にするためのデータウェアハウス・ソフトウェアです。Hadoop上で動作し、SQLライクなクエリ言語であるHiveQLを使ってデータを操作します。HIVEは、大規模なデータセットを扱う場合でも、従来のRDBMS（リレーショナルデータベース管理システム）と似た感覚でクエリを実行できるため、データサイエンティストやエンジニアに人気があります。 特徴 HiveQL: SQLに似た言語で、学習コストが低い。 Hadoopとの統合: HIVEはHadoop上で…

体験とデザイン、スタートアップについて•6ヶ月前

【翻訳】Google検索の内部エンジニアリング文書を読んでアルゴリズムを丸裸に（iPullRank, Mike King）

ipullrank.com Googleさん、もしこれを読んでいるのなら、手遅れですよ😉 では、さっそく始めましょう。Google SearchのContent Warehouse APIの内部文書が流出しました。Googleの内部マイクロサービスは、Google Cloud Platformが提供するものを反映しているように見えます。また、廃止されたDocument AI Warehouseの内部版文書が、クライアントライブラリのコードリポジトリに誤って公開されていました。このコードのドキュメントは、外部の自動ドキュメントサービスでも取得されていました。 変更履歴によると、このコードリポジト…

mnagaaのメモ•6ヶ月前

データベース #2 ~行/列志向とか圧縮とかの周辺~

行/列志向とか圧縮とかその辺の話 列指向データベース（Columnar Database）と行指向データベース（Row-Oriented Database）について書いていく。 とりあえず、列？行？という感じな人もいると思うが、どういうまとまりでデータを保存するか？というところの違いがある。 前に書いた内容では、OLTP, OLAPなどの分類方法での説明をしたが、今回は列志向、行志向という分類の話をする。 mnagaa.hatenablog.com 行指向データベース（Row-Oriented Database） 行指向データベースは、データが行単位で格納されるデータベースの一種。各行はテーブ…

APC 技術ブログ•7ヶ月前

Part4：Data + AI Summit 2024のご紹介（Data Intelligence Platformが生まれるまで）

はじめに GLB事業部Lakehouse部の阿部です。 Databricks社が主催するDATA + AI SUMMIT（DAIS）が今年も開催されます！ Databricksは去年の秋ごろに、レイクハウスプラットフォームというシステムからData Intelligence Platformという新世代のシステムを発表しました。 今年のDAISのセッションもそのキーワードで検索すると11セッションもあり、この言葉を広めて行こうという思惑も伺えます。 https://www.databricks.com/dataaisummit/agenda?page=1&query=Data+Intellig…

nozaki takahiroのテックブログ•8ヶ月前

AWS Certified Data Engineer - Associate(DEA-C01)試験対策資料

内容 試験には次の内容ドメインと重み付けがあります。 ドメイン 1: データの取り込みと変換 (34%) ドメイン 2: データ ストア管理 (26%) ドメイン 3: データの運⽤とサポート (22%) ドメイン 4: データ セキュリティとガバナンス (18%) ドメイン 1: データの取り込みと変換 1.1: データの取り込みを実⾏ データを取り込むAWSサービスのスループットとレイテンシの特性 Kinesis Data Streams - TB/時のスループットで、数十万のソースから大量のデータを取り込むことができます。データは1秒以内に処理できるため、待ち時間が短くなります。KCLま…

やわらかテック•9ヶ月前

【書評】データ指向アプリケーションデザインを読了して見える世界

1ヶ月ほど読み進めていた「データ指向アプリケーションデザイン」を読了しました。 オライリーから出版されている本の中でも、かなり分厚い部類の書籍だったのと、章ごとの情報量が凄かったので結構、時間がかかってしまいました。 データ指向アプリケーションデザイン ―信頼性、拡張性、保守性の高い分散システム設計の原理作者:Martin KleppmannオライリージャパンAmazon 個人的には難易度の高い書籍だと思うのですが、それでも多くの方からオススメされてきた書籍でもあります。 今まで読んでは飽き...読んでは飽き...を繰り返していましたが、ようやく一貫して読了したので簡単に書評を書いてみたいと思…

サーバーワークスエンジニアブログ•9ヶ月前

【初級編】 Amazon EMRとはなんぞや？（概要と他社SaaS比較）

こんにちは、近藤（りょう）です！社内で複数の近藤さんがいますので識別するために（）付きにしています。 ソリューションアーキテクトでも問題としてピックアップされていますね。EMRについていくつ調べましたので概要と他社SaaS比較についてご紹介していきます～！ EMRとは？ Hadoop, Spark, Hive, Presto などの オープンソースフレームワークを使⽤した ペタバイトスケールのビッグデータ分析が可能なAWSサービス です。 データ処理以外にも相互分析、機械学習を行なう業界をリードするクラウドビッグデータソリューションとなります。 参考 aws.amazon.com EMRで利用…

流沙河鎮•10ヶ月前

Fundamentals of data engineering 輪読会「Chapter 11.The Future of Data Engineering」まとめ

datatech-jpで開催中のFundamentals of Data Engineering (English Edition)読書会に向けた、「Chapter 11.The Future of Data Engineering」のまとめ。 以下は基本的には本文の要約であり、★マークがついている部分は私のコメントや付加情報である。 全体のあとがき/エピローグ的なChapter データエンジニアリングの未来への洞察が語られる(同書が刊行されたのは2022年6月22日) Introduction データエンジニアリングのライフサイクルはなくならないだろう 複雑性は低下し使いやすいデータツールが…

kaeken(嘉永島健司)Techブログ•10ヶ月前

１章： Fundamentals of Data Engineering まとめ

Fundamentals of Data Engineering まとめ Link Fundamentals of Data Engineering [Book] 目次en I. Foundation and Building Blocks 1. Data Engineering Described 2. The Data Engineering Lifecycle 3. Designing Good Data Architecture 4. Choosing Technologies Across the Data Engineering Lifecycle II. The Data Eng…

VA Linux エンジニアブログ •10ヶ月前

「ディスアグリゲーテッドコンピューティング」とは何か? (4)　講演リスト

執筆者 : 佐藤 友昭 ※ 「ディスアグリゲーテッドコンピューティングとは何か?」連載記事一覧はこちら 「ディスアグリゲーテッドコンピューティング」とは何か? (4) で言及した略語数順の講演リストを以下に記します。 「一次記憶の共有」の観点で2023年9月から12月にかけて実施した、登場しつつあるテクノロジと議論されているそのユースケース調査の対象講演リスト （登場する略語数順。全174講演） 本リストは CDI情報サイト(https://www.cdi-info.jp) で更新しています。 また、更新は X (@cdi_info_jp) でお知らせしています。（追記） タイトル ソース 内…