Hatena Blog Tags
はてなブログ トップ
Dataproc
このタグでブログを書く
言葉の解説
ネットで話題
関連ブログ

Dataproc

このタグの解説についてこの解説文は、すでに終了したサービス「はてなキーワード」内で有志のユーザーが作成・編集した内容に基づいています。その正確性や網羅性をはてなが保証するものではありません。問題のある記述を発見した場合には、お問い合わせフォームよりご連絡ください。
okpy•2ヶ月前

データ処理自動化の選択：AWS Data Pipeline vs GCP Dataproc

AWS Data Pipeline vs GCP Dataproc: ビッグデータ処理の比較 1. サービス概要 AWS Data Pipeline AWS Data Pipelineは、データの移動・変換・処理を自動化するETL（Extract, Transform, Load）サービスです。 AWS Data Pipelineの主な特徴 スケジュールベースのデータ処理 定期的なデータ処理ジョブのスケジューリングが可能。 AWSサービスとの統合 S3、DynamoDB、RedshiftなどのAWSデータストアと連携。 ワークフロー管理 依存関係のあるデータ処理ワークフローを定義。 オンプレミ…

#Data Pipeline#Dataproc#AWS#GCP#Cloud

関連ブログ

Lean Baseball•3年前

Sparkをサーバー管理せずに使う方法 - Dataproc ServerlessでPySparkを動かしてみました

仕事もプライベートもサーバレスなアーキテクチャでなるべく便利にCloudを使いたいと思ってる人です*1. 最近は趣味の開発（個人開発）の方で, MLBのトラッキングデータ「Baseball Savant」からStatcastのCSVデータを取得 取得したCSVデータを集計・クレンジングしてBigQueryに集約 BigQuery上のデータを元にメジャーリーガーのパフォーマンス可視化・分析をしたり, 成績予測に活かしたりetc...これはまだ実現していない. という計画を立てており, 今の所「取得したCSVデータを集計・クレンジングしてBigQueryに集約」というところまでいい感じに実現できま…

#Google Cloud#Dataproc#Spark#serverless