Hatena Blog Tags
はてなブログ トップ
DataLake
このタグでブログを書く
言葉の解説
ネットで話題
関連ブログ

DataLake

このタグの解説についてこの解説文は、すでに終了したサービス「はてなキーワード」内で有志のユーザーが作成・編集した内容に基づいています。その正確性や網羅性をはてなが保証するものではありません。問題のある記述を発見した場合には、お問い合わせフォームよりご連絡ください。
のべラボ.blog•2年前

Amazon Athena を AWS CLI から使用してみる

今回は、AWS CLI を使って Amazon Athena のデータベースとテーブル、ワークグループを作成し、クエリーを発行してみます。 標準 SQL を使用して Amazon S3のバケット内のデータに対して直接クエリーを発行して集計や分析が行えるインタラクティブなサービスです。 aws.amazon.com AWS マネジメントコンソールを使用して容易に操作することもできますが、AWS CLI だとどのようなコマンドになるのか試してみます。 なお、この記事の内容は 下記のドキュメントを参考に、2023年 1月に検証した内容に基づいています。Linux で AWS CLI v2 を使用する…

#AWS#Amazon Athena#DataLake#AWS CLI

ネットで話題

もっと見る
24ブックマークDevelopers.IO 2019 Tokyoで「Effective Datalake 〜基礎からわかるデータレイクの定義と実践〜」というタイトルで発表してきました #cmdevio | DevelopersIOdev.classmethod.jp
23ブックマーク【初データレイク体験】AWS Loft Osakaで DataLake ハンズオンを受けてきた（公開資料URLあり） | DevelopersIOdev.classmethod.jp
8ブックマーク医療データレイクで分析基盤の構築 / JAWS DAYS 2021 JMDC DATALAKEspeakerdeck.com
7ブックマークLeoFS - A Storage System for a DataLake and the WebLeoFS v1.4 Released LeoFS v1.4.3 on February 20, 2019 Status: Stable New features: Improve AWS S3-API Compatibility AWS Signature v4 support Custom metadata support Improve NFS v3 support Improving the performance and stability Integration Improving Spark integration Data Lake LeoFS moved a step ...leo-project.net
6ブックマークamazon-s3-datalake-handson/JP at master · aws-samples/amazon-s3-datalake-handsongithub.com
5ブックマークamazon-s3-datalake-handson/JP/README.md at master · aws-samples/amazon-s3-datalake-handsongithub.com
5ブックマークLeoFS - A Storage System for a DataLake and the WebLeoFS v1.4 Released LeoFS v1.4.3 on February 20, 2019 Status: Stable New features: Improve AWS S3-API Compatibility AWS Signature v4 support Custom metadata support Improve NFS v3 support Improving the performance and stability Integration Improving Spark integration Data Lake LeoFS moved a step ...leo-project.net

関連ブログ

JTP Technology Port•3年前

データエンジニアリング実践シリーズ　第一回【データエンジニアリングとは】

「データエンジニアリング」という言葉を聞いたことがあるでしょうか。 昨今、デジタルトランスフォーメーションが推し進められていることにより、データ活用の重要性がますます高まっています。中長期的な経営方針や意思決定のためにデータを活用するためには高度なデータ分析を行う必要があり、そのためにはデータ分析を行うための分析基盤が必要となります。このデータ基盤を構築・管理する技術および関連領域をデータエンジニアリングといい、これらを行う技術者はとりわけデータエンジニアなどと呼ばれることがあります。 データ分析を行うデータアナリストや、数理・統計学を用いてデータを活用するデータサイエンティストのために、ビッ…

#DataEngineering#DataLake#DataWarehouse
肉球でキーボード•6日前

AWS Glueでicebergテーブルのスキーマを動的に変更する

本記事は datatech-jp Advent Calendar 2024 の13日目の記事です。 はじめに Glue Catalogに登録したiceberg tableにAWS GlueJobでデータの書き込みを行うケースは多いかと思います。 通常、Glue Catalogのスキーマに登録されていないカラムを持つデータをGlue Jobで書き込もうとするとエラーとなります。 そのため、新しいカラムを持つデータを書き込む前に alter table add columns をAthenaなどで実行し、iceberg tableのスキーマ変更を行う必要があります。 ALTER TABLE ADD…

DMM Developers Blog•7日前

Google Analytics 4 / Google Tag Managerを活用したエンドユーザー行動ログ取得の取り組み

はじめに CDPグループについて CDPシステム基盤の全体 なぜ GA4 GTMを選定したのか 全体としての選定理由 GTM 選定理由 Google Analytics4 選定理由 CDPシステム基盤の詳細 i3-CDP-Tracking-Tag-API 実際の配信タグ 既存システム Server Container なぜサーバ経由でイベントデータを送信するのか GA4/GTM GTM GA4 イベントデータ構造 イベントデータモデルを定義するうえで注意している点 まとめ はじめに この記事はDMMグループ Advent Calendar 2024の12日目の記事です。 はじめまして、こんにち…

NTT Communications Engineers' Blog•13日前

生成AIはデータサイエンティストの仕事を奪うか？

こんにちは。NTTコミュニケーションズでエバンジェリストをやっている西塚です。今日が10年目の結婚記念日です。 この記事は、NTT Communications Advent Calendar 2024 6日目の記事です。 情報通信白書によると、デジタルデータの活用が企業経営に対して効果があると複数の先行研究で明らかにされています。 ビッグデータを活用している企業はそうでない企業に比べて、イノベーションの創出が統計学的に有意な差で多いと言われています。 私自身もNTTコミュニケーションズにおいて全社データ基盤を立ち上げて、社内システムからデータを収集し、 データサイエンティストと協力しながら、…

ken3peiのブログ•1ヶ月前

データレイク周りの用語整理

データウェアハウスとデータレイクの違い データウェアハウス 加工後のデータのみを格納する ゆえに何のためのデータかが明確に決められた状態で格納される（目的指向） Amazon Redshiftなど 基本的なデータウェアハウスの構成 %%{init:{'theme':'forest'}}%% graph LR DataSources1[Data Source 1] --> ETL DataSources2[Data Source 2] --> ETL DataSources3[Data Source 3] --> ETL ETL --> DataWarehouse DataWarehouse -…

Taste of Tech Topics•4ヶ月前

Amazon DataZone でデータカタログを実現する

はじめに こんにちは一史です。最近自動給水器を買い、ベランダで育てているバジルの水やりを自動化しました。テクノロジーは素晴らしいですね。さて、AWSにはAmazon DataZoneという組織が蓄積した膨大なデータに対して、データの発見、アクセス制御、管理を簡素化するデータ管理サービスがあります。 データドリブンが重要視される昨今、今回はDataZone上にデータカタログの作成を行ってみます。 はじめに 概要 データレイクとは データカタログとは なぜAmazon DataZoneが必要か（AWS Guleとの違い） Amazon DataZoneとは サービス概要 DataZoneのデータカ…

NTT Communications Engineers' Blog•5ヶ月前

DeltaLake Universal Formatを使ったクロスプラットフォーム分析

本記事では6月に開催されたDATA+AI Summit 2024でGeneral Availabilityが発表されたDatabricksのDeltaLake Universal Formatの機能を使ってクロスプラットフォームでの分析を実現する方法について紹介します。 DeltaLake Universal FormatはDeltaLakeに保存されたデータをApache Icebergなどの異なるフォーマットで読み出すことができるようにする機能です。本記事では実際にDatabricks上でDeltaLake Universal Formatの機能を有効にしたテーブルを作成し、Amazon …

ときどき起きる•6ヶ月前

Berlin Buzzwords 2024 & MICES 2024 参戦記

本記事はデータ・検索システムのインダストリアルなカンファレンスとして有名なBerlin Buzzwordsとそれに付随して開催されたMICESに参加してきた体験記です。 bbuzz会場 面白かったセッション Learning to Rank for Reddit Search - A Project Retro Hybrid Search with Apache Solr Reciprocal Rank Fusion Rediscover your keyword search: Expand, Enrich and Rewrite Lessons learned writing 10+ Ku…

WOR(L)D ワード｜大和総研の用語解説サイト•7ヶ月前

Oracle Database Developer Tech Daysに参加しました

こんにちは、大和総研 システムインフラ設計部の天野です。 大和総研ではクラウドを通じてお客様に価値を提供すべく、2021年度よりパブリッククラウドの推進組織（CCoE: Cloud Center of Excellence）を設置し、クラウド活用を推進しています。 私は現在、Oracle Cloud Infrastructure（以下、OCI）をはじめとした、パブリッククラウドを用いたシステム構築プロジェクトに参画しています。 パブリッククラウドでは次々と新しいサービスや機能が提供／変更／廃止されます。これらのアップデート情報のキャッチアップに課題を感じているエンジニアがたくさんいると思います…

ミツモア Tech blog•1年前

ミツモアの数十万ランディングページを支える技術

※こちらはミツモアAdvent Calendar 2023の25日目の記事です。 メリークリスマス、ミツモアエンジニアの @teradonburiです。 今回はミツモアの数十万のランディングページ（以下LP）を支える技術に関して紹介します。 ミツモアでは多種多様のサービス提供事業者様と依頼者様を結びつけるため、 地域×提供サービスの組み合わせにて40万を超えるLPが存在しています。 これらのページは検索からの依頼に直結する導線となり、 プラットフォーマーとしての要となるため、 弊社はSEOに力を入れています。 LPの変遷 弊社のLPでは多岐にわたるサービスに登録している事業者様のコンテンツ、口…