Hatena Blog Tags
はてなブログ トップ
データレイクハウス
このタグでブログを書く
言葉の解説
ネットで話題
関連ブログ

データレイクハウス

このタグの解説についてこの解説文は、すでに終了したサービス「はてなキーワード」内で有志のユーザーが作成・編集した内容に基づいています。その正確性や網羅性をはてなが保証するものではありません。問題のある記述を発見した場合には、お問い合わせフォームよりご連絡ください。
シー・エス・エス イノベーションラボ（ブログ）•6日前

Databricksで実現する「データレイクハウス」〜「データがバラバラで使えない」を終わらせる、次世代の統合基盤〜

こんにちは！デジタル・マーケティング部の神子です。 多くの企業でDXが進む中、特に建設・不動産業界でネックとなるのが「データの保管場所がバラバラ」という問題です。 現場のデータ（写真・図面）と経営データ（売上・原価）が分断されているため、「図面と収支を掛け合わせて分析したい」と思っても、正確な分析ができず、結局は担当者の勘に頼ってしまう――。 今回は、こうした課題を解決する新しい管理構造「データレイクハウス」と「Databricks」について解説します。集めるだけの管理から使える管理へ。自社のデータ戦略を見直すきっかけにしてみてください。 データの「サイロ化」と二者択一の限界 次世代の解「レイ…

#データレイク#データウェアハウス#データレイクハウス#Databricks

関連ブログ

仕様です、それバグじゃないです•4ヶ月前

「しろくまと学ぶデータレイクハウス入門 ― 構造化も非構造化もまとめておうちに！」

🐻しろくまと学ぶ！データレイクハウス「構造化／非構造化データの統合」 〜氷も魚のログも、一つの屋根の下で仲良く眠ろう！〜 1. データレイクハウスとは？起源と背景 「データレイクハウス（data lakehouse）」は、**データウェアハウス（構造化データを格納・分析する）とデータレイク（非構造化/生データを低コストに保存）**を合体させた新しいデータ構造です。 この概念が登場したきっかけは―― データウェアハウス（1980年代）：Bill Inmonが提唱した「意思決定を支えるための統合・構造化データ格納庫」。 データレイク（2010年代）：IoTやSNSなど多様なデータが爆発。構造化やス…

#データレイクハウス#データ統合#ビッグデータ#AI活用#クラウドデータ基盤
connecting the dots•3年前

Delta Lake とは何か

はじめに 環境情報 Delta Lake (デルタレイク) とは Delta Lake の実体 Delta Lake の構造 Parquet と Delta の相違点 Parquetとは何か Parquetの構造 Parquet と Delta の違い Delta Lake が生まれた経緯: データレイクと Delta Lake の違い データレイクのメリット データレイクの課題 *Parquetで構築した場合 Delta Lake の特徴 ACIDトランザクションの担保 スケーラブルなメタデータ管理 バッチとストリーミングワークロードの統合 タイムトラベル (バージョン管理) CONSTRA…

#データレイク#データレイクハウス#Delta Lake#デルタレイク#Databricks#データ分析
connecting the dots•3年前

Deep Dive: Delta Log について理解する

はじめに 環境情報 前提: Delta Lakeとは何か Delta Log とは何か _delta_logディレクトリの構成 1. JSONトランザクションログ: 2. Checkpoint ファイル: 3. Last Checkpoint ファイル: 4. CRC (Cyclic Redundancy Check) ファイル: JSONトランザクションログ JSONトランザクションログのスキーマ アトミックコミットを構成するアクション metaData: メタデータの更新 add: ファイルの追加 remove: ファイルの削除 txn: トランザクションの設定 protocol: プロト…

#Databricks#データ分析#Delta Lake#データレイク#データレイクハウス
Gunosyデータ分析ブログ•4年前

Athena view と Terraform による宣言的データモデリングとレイクハウスへの道標

はじめに こんにちは、DR&MLOps*1 チームの楠です！ こちらの記事は Gunosy Advent Calendar 2021 の 13 日目の記事です。 昨日の記事は大曽根さんの『Gunosyの施策運用におけるインスティチューショナルメモリ』でした。 本日は、データ分析の民主化を促進するためのデータレイク上での分析用データマートとしての Athena view の利用方法と、IaC のための Terraform による宣言的な Athena view の定義方法をご紹介します！ はじめに 背景 前提知識: Athena における view Athena view の利点 利点1. SQ…

#Athena#データレイク#データレイクハウス#Terraform#分析基盤