MapReduce

このタグでブログを書く

言葉の解説

ネットで話題

MapReduce

(コンピュータ)

【まっぷりでゅーす】

極めて大規模なデータを並列分散処理するために、Googleが開発したフレームワーク。

ある値とリストのkey-valueペアをデータ単位とし、

Mapフェーズ: 1つのkey-valueペアから1つ以上のkey-valueペアを生成する
Reduceフェーズ: keyが同じ複数のkey-valueペアから1つないし少数のkey-valueペアを生成する

という2つのフェーズそれぞれについて適当なプログラムを書くと、MapReduceのシステムが自動的に与えられたホスト上で各フェーズの操作を分散処理する。

オリジナルは非公開だが、このシステムに関する論文が公開されており (http://labs.google.com/papers/mapreduce.html)、それを基にしたオープンソース実装としてHadoop MapReduceがある。

このタグの解説について

この解説文は、すでに終了したサービス「はてなキーワード」内で有志のユーザーが作成・編集した内容に基づいています。その正確性や網羅性をはてなが保証するものではありません。問題のある記述を発見した場合には、お問い合わせフォームよりご連絡ください。

Lee's Tech Blog•6日前

Javaにおける並行処理と並列処理の理解

Javaプログラミングでは、高性能で効率的なアプリケーションを構築するために、「並行処理」と「並列処理」の概念が欠かせません。本記事では、これらの違いを解説し、それぞれが実現できる順次実行プログラムでは不可能なニーズについて説明します。並行処理と並列処理の概念並行処理（Concurrency）並行処理とは、プログラム内で複数のタスクを同時期に管理する能力を指します。これは、タスクが同じ時間枠内で交互に実行されることを意味し、実際には1つのCPUがリソースを共有して複数のタスクを切り替えて実行します。 Javaでは、ThreadクラスやExecutorフレームワークを使用して、並行処理を実…

ネットで話題

552ブックマーク GoogleのMapReduceアルゴリズムをJavaで理解する

atmarkit.itmedia.co.jp

520ブックマーク MapReduce - naoyaのはてなダイアリー

naoya-2.hatenadiary.org

514ブックマーク Amazon Elastic MapReduceを使ってみた - moratorium Amazon Elastic MapReduceを使ってみた 2009-04-03 (Fri) 3:06 Amazon EC2 連日のEC2ネタです。本日、AmazonからElastic MapReduceというサービスがリリースされました。大規模データ処理技術が一気に民間の手に下りてくる、まさに革命的なサービスだと思います。 Amazon Elastic MapReduce Amazon ElasticMapReduce 紹...

kzk9.net

489ブックマーク分散システム処理モデルに関する動向について（MapReduceからBorgまで）

techblog.yahoo.co.jp

384ブックマーク Facebook、分散SQLエンジン「Presto」公開。大規模データをMapReduce/Hiveの10倍効率よく処理すると

www.publickey1.jp

380ブックマーク Google、大規模データをリアルタイムに分析できるクラウドサービス「Google Cloud Dataflow」を発表。「1年前からMapReduceは使っていない」。Google I/O 2014

www.publickey1.jp

354ブックマークグーグルが構築した大規模システムの現実、そしてデザインパターン（1）～MapReduce編

www.publickey1.jp

317ブックマーク MapReduceできる10個のアルゴリズム - データサイエンティスト上がりのDX参謀・起業家

iisssseeiiii.hatenablog.com

311ブックマークグーグルによるMapReduceサービス「BigQuery」が登場。SQLライクな命令で大規模データ操作

www.publickey1.jp

関連ブログ

ken3peiのブログ•10日前

【AWS Step Functions】大規模なCSVデータ処理に使う例から学ぶ

Step Functions ワークフローのユースケースを確認する docs.aws.amazon.com データ処理 S3などに格納されている大規模データを数百万回の同時実行による並列処理が可能。ファイル、ビデオ、画像の大規模処理、CSVなどの大規模ファイル ETLジョブと組み合わせたワークフロー管理バッチ処理とハイパフォーマンスコンピューティング (HPC) ワークロード機械学習データの前処理、後処理、特徴エンジニアリング、データ検証、およびモデル評価といった機械学習におけるワークロードを構築し自動化することができる。マイクロサービスのオーケストレーション実行手順のあるマイクロ…

ken3peiのブログ•1ヶ月前

データレイク周りの用語整理

データウェアハウスとデータレイクの違いデータウェアハウス加工後のデータのみを格納するゆえに何のためのデータかが明確に決められた状態で格納される（目的指向） Amazon Redshiftなど基本的なデータウェアハウスの構成 %%{init:{'theme':'forest'}}%% graph LR DataSources1[Data Source 1] --> ETL DataSources2[Data Source 2] --> ETL DataSources3[Data Source 3] --> ETL ETL --> DataWarehouse DataWarehouse -…

Python転職初心者向けエンジニアリングブログ•3ヶ月前

HDFSの基本概念：応用情報技術者試験（レベル3）シラバス（変更箇所）

Hadoop Distributed File System (HDFS)は、Apache Hadoopプロジェクトの一部として開発された、分散ファイルシステムです。HDFSは、ビッグデータのストレージと処理に特化して設計されており、大量のデータを効率的に管理・保存するための機能を提供します。以下に、HDFSの主要な特性や仕組みについて詳しく説明します。 HDFSの基本概念分散ストレージ HDFSは、データを複数のサーバーに分散して保存します。このため、単一のノードに依存せず、データの冗長性と可用性を高めます。ファイルは複数のブロックに分割され、それぞれが異なるノードに保存されます。ブロッ…

アーシの毎日インプット•4ヶ月前

AWSはElasticが大好き

クラウドサービスのAWSですが、Elasticっていう単語が大好きです。 AWSが提供するサービスの中で、10種もElasticから始まるサービスが提供されています。 Elastic TranscoderElastic BeanstalkElastic Container ServiceElastic Container RegistryElastic Kubernetes ServiceElastic Disaster RecoveryEC2 (Elastic Compute Cloud)EMR (Elastic MapReduce)EFS (Elastic File System)Elas…

idubmorganのブログ•4ヶ月前

AWS Certified Solutions Architect (SAA-C03) 認定試験向けのメモ

サービス分析 Amazon Athena S3 上のデータに対して標準SQL を実行できるデータ分析サービス (サーバレス) Amazon EMR (Amazon Elastic MapReduce) ビッグデータの処理や分析ビッグデータフレームワーク(= Hadoop, Spark, Presto)を用いて、データを複数のサーバーに分散配置して並列に処理することで、迅速かつ効率的なデータ処理を実現 Amazon Redshift DWH (ペタバイト級のストレージに対応) AWS Data Exchange AWS Data Pipeline AWS Glue ETLツール (フルマネ…

なんちゃってプログラマーの日記•4ヶ月前

Apache Spark: ビッグデータ処理の革新者

Apache Spark（アパッチ・スパーク）は、ビッグデータ処理のための高速で汎用的なクラスタコンピューティングシステムです。従来のHadoop MapReduceよりもはるかに高速なパフォーマンスを提供し、多様なデータ処理タスクに対応しています。今回は、Apache Sparkの概要、特徴、そしてその利点について詳しく解説します。 Apache Sparkとは？ Apache Sparkは、分散処理フレームワークであり、膨大なデータセットを効率的に処理するために設計されています。主にビッグデータ分析や機械学習、リアルタイムデータ処理のために使用され、Hadoopと同様にクラスタ上で動作しま…

地方エンジニアの学習日記•5ヶ月前

【HIVE】入門する

はじめに：HIVEとは？ HIVE（High-level Intermediate Virtual Engine）は、ビッグデータの処理や分析を容易にするためのデータウェアハウス・ソフトウェアです。Hadoop上で動作し、SQLライクなクエリ言語であるHiveQLを使ってデータを操作します。HIVEは、大規模なデータセットを扱う場合でも、従来のRDBMS（リレーショナルデータベース管理システム）と似た感覚でクエリを実行できるため、データサイエンティストやエンジニアに人気があります。特徴 HiveQL: SQLに似た言語で、学習コストが低い。 Hadoopとの統合: HIVEはHadoop上で…

体験とデザイン、スタートアップについて•6ヶ月前

【翻訳】Google検索の内部エンジニアリング文書を読んでアルゴリズムを丸裸に（iPullRank, Mike King）

ipullrank.com Googleさん、もしこれを読んでいるのなら、手遅れですよ😉 では、さっそく始めましょう。Google SearchのContent Warehouse APIの内部文書が流出しました。Googleの内部マイクロサービスは、Google Cloud Platformが提供するものを反映しているように見えます。また、廃止されたDocument AI Warehouseの内部版文書が、クライアントライブラリのコードリポジトリに誤って公開されていました。このコードのドキュメントは、外部の自動ドキュメントサービスでも取得されていました。変更履歴によると、このコードリポジト…

mnagaaのメモ•7ヶ月前

データベース #2 ~行/列志向とか圧縮とかの周辺~

行/列志向とか圧縮とかその辺の話列指向データベース（Columnar Database）と行指向データベース（Row-Oriented Database）について書いていく。とりあえず、列？行？という感じな人もいると思うが、どういうまとまりでデータを保存するか？というところの違いがある。前に書いた内容では、OLTP, OLAPなどの分類方法での説明をしたが、今回は列志向、行志向という分類の話をする。 mnagaa.hatenablog.com 行指向データベース（Row-Oriented Database）行指向データベースは、データが行単位で格納されるデータベースの一種。各行はテーブ…

APC 技術ブログ•7ヶ月前

Part4：Data + AI Summit 2024のご紹介（Data Intelligence Platformが生まれるまで）

はじめに GLB事業部Lakehouse部の阿部です。 Databricks社が主催するDATA + AI SUMMIT（DAIS）が今年も開催されます！ Databricksは去年の秋ごろに、レイクハウスプラットフォームというシステムからData Intelligence Platformという新世代のシステムを発表しました。今年のDAISのセッションもそのキーワードで検索すると11セッションもあり、この言葉を広めて行こうという思惑も伺えます。 https://www.databricks.com/dataaisummit/agenda?page=1&query=Data+Intellig…

nozaki takahiroのテックブログ•9ヶ月前

AWS Certified Data Engineer - Associate(DEA-C01)試験対策資料

内容試験には次の内容ドメインと重み付けがあります。ドメイン 1: データの取り込みと変換 (34%) ドメイン 2: データストア管理 (26%) ドメイン 3: データの運⽤とサポート (22%) ドメイン 4: データセキュリティとガバナンス (18%) ドメイン 1: データの取り込みと変換 1.1: データの取り込みを実⾏データを取り込むAWSサービスのスループットとレイテンシの特性 Kinesis Data Streams - TB/時のスループットで、数十万のソースから大量のデータを取り込むことができます。データは1秒以内に処理できるため、待ち時間が短くなります。KCLま…

やわらかテック•9ヶ月前

【書評】データ指向アプリケーションデザインを読了して見える世界

1ヶ月ほど読み進めていた「データ指向アプリケーションデザイン」を読了しました。オライリーから出版されている本の中でも、かなり分厚い部類の書籍だったのと、章ごとの情報量が凄かったので結構、時間がかかってしまいました。データ指向アプリケーションデザイン ―信頼性、拡張性、保守性の高い分散システム設計の原理作者:Martin KleppmannオライリージャパンAmazon 個人的には難易度の高い書籍だと思うのですが、それでも多くの方からオススメされてきた書籍でもあります。今まで読んでは飽き...読んでは飽き...を繰り返していましたが、ようやく一貫して読了したので簡単に書評を書いてみたいと思…

サーバーワークスエンジニアブログ•9ヶ月前

【初級編】 Amazon EMRとはなんぞや？（概要と他社SaaS比較）

こんにちは、近藤（りょう）です！社内で複数の近藤さんがいますので識別するために（）付きにしています。ソリューションアーキテクトでも問題としてピックアップされていますね。EMRについていくつ調べましたので概要と他社SaaS比較についてご紹介していきます～！ EMRとは？ Hadoop, Spark, Hive, Presto などのオープンソースフレームワークを使⽤したペタバイトスケールのビッグデータ分析が可能なAWSサービスです。データ処理以外にも相互分析、機械学習を行なう業界をリードするクラウドビッグデータソリューションとなります。参考 aws.amazon.com EMRで利用…

流沙河鎮•10ヶ月前

Fundamentals of data engineering 輪読会「Chapter 11.The Future of Data Engineering」まとめ

datatech-jpで開催中のFundamentals of Data Engineering (English Edition)読書会に向けた、「Chapter 11.The Future of Data Engineering」のまとめ。以下は基本的には本文の要約であり、★マークがついている部分は私のコメントや付加情報である。全体のあとがき/エピローグ的なChapter データエンジニアリングの未来への洞察が語られる(同書が刊行されたのは2022年6月22日) Introduction データエンジニアリングのライフサイクルはなくならないだろう複雑性は低下し使いやすいデータツールが…