Hatena Blog Tags
はてなブログ トップ
LakeFormation
このタグでブログを書く

LakeFormation

このタグの解説についてこの解説文は、すでに終了したサービス「はてなキーワード」内で有志のユーザーが作成・編集した内容に基づいています。その正確性や網羅性をはてなが保証するものではありません。問題のある記述を発見した場合には、お問い合わせフォームよりご連絡ください。
KiRAMEX Tech Blog•昨年

LakeFormationで作るデータレイク

こんにちは、開発チームの松原です。 今回はAWSのサービスであるLakeFormationを使ったデータレイクづくりについてご紹介いたします☺️ データレイクとは LakeFormationとは 早速つくってみる 事前準備 LakeFormationの初期設定 S3バケットの作成 データベース作成 DBへの接続設定（Glue） Permissionの設定 BluePrintsの設定 できあがり Athenaで確認 おわりに 参考資料 データレイクとは ざっくりいうと、構造化データ（DBのデータなど）も非構造化データ（動画など）もまるっといれて置いておける場所です。 DWH（データウェアハウス）…

#LakeFormation#AWS#Glue#データレイク

関連ブログ

Taste of Tech Topics•7 か月前

AWS Lake Formationでデータレイク体験！ #1 何がうれしいのか？

機械学習アプリケーションエンジニアの@yktmです。 最近、実際の仕事でも、データレイクに関する話を耳にするようになってきました。私自身、あまり経験がない分野だったので、「安全なデータレイクを数日で簡単にセットアップできる」という、うたい文句にひかれて、今回、AWS Lake Formation ＋ Athena による、簡易なデータレイク構築を試してみました。 実際に構築をしてみたところ、つまづいたポイントなどもいくつかあり、特にIAMの扱いや権限の考え方などは重要だと感じました。そこで、実際に構築してみた流れや、つまづいたポイントなどを中心に、記事にまとめていきたいと思います。 ひとつの記…

Gunosyデータ分析ブログ•10 か月前

Athena view と Terraform による宣言的データモデリングとレイクハウスへの道標

はじめに こんにちは、DR&MLOps*1 チームの楠です！ こちらの記事は Gunosy Advent Calendar 2021 の 13 日目の記事です。 昨日の記事は大曽根さんの『Gunosyの施策運用におけるインスティチューショナルメモリ』でした。 本日は、データ分析の民主化を促進するためのデータレイク上での分析用データマートとしての Athena view の利用方法と、IaC のための Terraform による宣言的な Athena view の定義方法をご紹介します！ はじめに 背景 前提知識: Athena における view Athena view の利点 利点1. SQ…

Gunosy Tech Blog•10 か月前

更新できるデータレイクを作る 〜Apache Hudiを用いたユーザデータ基盤の刷新〜

広告技術部のUT@mocyutoです。 こちらの記事はGunosy Advent Calendar 2021の4日目の記事です。 昨日は内田さんの その設定、pyproject.tomlに全部書けます - Gunosyデータ分析ブログ でした 今回はApache Hudiを用いたユーザデータ基盤の刷新を紹介します。 背景 仕組み 課題 対応策 データの持ち方を変える Apache Hudiとは 構成 Glue + PySpark Athenaによる抽出 移行し終えて 背景 Gunosyの広告システムではユーザに対して最適な広告を届けるために、接触済みのユーザに対して何度も同じ広告を出さないよう…