Hatena Blog Tags
はてなブログ トップ
データプラットフォーム
このタグでブログを書く
言葉の解説
ネットで話題
関連ブログ

データプラットフォーム

このタグの解説についてこの解説文は、すでに終了したサービス「はてなキーワード」内で有志のユーザーが作成・編集した内容に基づいています。その正確性や網羅性をはてなが保証するものではありません。問題のある記述を発見した場合には、お問い合わせフォームよりご連絡ください。
シー・エス・エス イノベーションラボ（ブログ）•1年前

【データプラットフォーム】データウェアハウスとデータレイクの役割を理解する

データプラットフォームの種類を理解しよう！ それぞれのメリット・デメリット データウェアハウスとデータレイクの活用事例 データ活用の「土台」を理解し、次なるステップへ この記事を書いた人 こんにちは！デジタル・マーケティング部の山内です。業務を行う中で、「データ」を使用する、使用したことがある、そんな方も多いのではないでしょうか。近年では、ビッグデータやクラウド、AIなどの技術が急速に進化し、それに伴って企業が扱うデータの量は爆発的に増えています。加えて、データの形式や種類もますます多様化しており、この膨大で複雑なデータをいかに効果的に分析・活用できるかが、今や企業の成長を大きく左右する重要な…

#データウェアハウス#データレイク#データプラットフォーム

関連ブログ

Hanatare's PaPa •1年前

【Architecture】データメッシュアーキテクチャの基本概念と従来データアーキテクチャの課題

最近、「データメッシュアーキテクチャ」という言葉を知りました。今後、何回かに分けてこのテーマについて記事を書いていく予定ですが、今回はその基本的な概念を紹介したいと思います。 一度にすべてを書くことができないのは、調べれば調べるほど簡単にまとめられる内容ではなく、まるで大学の卒業論文を何本か書くようなボリュームと複雑さがあるためです。そこで、少しずつ分けて紹介できればと考えています。 記事のポイント データメッシュアーキテクチャの基本的概念 データメッシュアーキテクチャの提唱 データメッシュアーキテクチャが解決しようとしている従来型データアーキテクチャ（データウェアハウス、データレイクなど）の…

#データプラットフォーム#データメッシュ
Hanatare's PaPa •1年前

【Architecture】データプラットフォームの構成要素

今回の記事では、書籍を読むにあたり、読む前の私が考えるデータプラットフォームの構成要素についてメモを残しておきたいと思います。内容はあまり読者の方にとって有用でないかもしれませんが、あくまで読む前の自分の考えを記録することが目的ですので、ご理解いただければ幸いです。 記事のポイント データプラットフォームの構成要素 データプラットフォームの構成要素4つ データプラットフォームが構築される目的 データの収集 データの統合 データの公開 メタデータの共有 まとめと今後読み進めていく予定の書籍 データプラットフォームの構成要素4つ 私が考えるデータプラットフォームの構成要素は、以下の4つです。 デー…

#Architecture#データプラットフォーム#メモ
LIVESENSE ENGINEER BLOG•3年前

ECSでDigdagからEmbulkを並列実行する

これは Livesense Advent Calendar 2023 DAY 20の記事です。 データ分析基盤で開発をしている晝間です。 マサカリが怖くてブログ執筆を避けてましたが、初めての記事投稿になります。 リブセンスのデータ基盤では、RDSからRedshiftへのデータ同期に、DigdagとEmbulkを使っています。 Embulkで複数の事業部からDB情報を取得し、Redshiftへデータを投入しています。 DigdagとEmbulkは長年1つのVM上で長年運用してきましたが、それをECS化したという記事になります。 だいぶ前にはなりますが、DigdagとEmbulkについて書かれた記…

#データプラットフォーム#データサイエンス#分析基盤