Hatena Blog Tags
はてなブログ トップ
DWH
このタグでブログを書く
言葉の解説
ネットで話題
関連ブログ

DWH

このタグの解説についてこの解説文は、すでに終了したサービス「はてなキーワード」内で有志のユーザーが作成・編集した内容に基づいています。その正確性や網羅性をはてなが保証するものではありません。問題のある記述を発見した場合には、お問い合わせフォームよりご連絡ください。
asoview! Tech Blog•9日前

アソビューのDWH一本化プロジェクト：BigQuery・Snowflake 検討のプロセス

はじめに こんにちは。 アソビューでデータエンジニアをしている山野です。 アソビューのデータ基盤ではこれまでBigQueryとSnowflakeの２つのDWHを利用してきました。 しかしながらこのシステム構成を見直し、DWHを一本化することを決め、今年の初めから半年ほどかけ選定検証を行ってきました。 今回はアソビューで実際にどのような検証を行ったか共有したいと思います。 この内容がDWHの変更や移行を検討しているデータエンジニアの方々にとって少しでも参考になれば幸いです。 前提 - アソビューのデータ基盤のこれまで アソビューのデータ基盤については過去テックブログでもご紹介してきましたが、 当…

#データエンジニア#DWH

関連ブログ

JTP Technology Port•4ヶ月前

Snowflake Document AI を使用した自然言語によるドキュメントクエリ

こんにちは、ハルミト・セニ です。 クラウドコンピューティング、機械学習、そしてコードを通じて現実世界の問題を解決することに情熱を注いでいます。最近、Snowflake Snow Pro Core Certificationを取得し、このブログを始めるきっかけとなりました。私の目標は、私が学んだことを共有し、複雑なトピックを分解し、Snowflakeの旅で他の人をサポートすることです。これからSnowflakeを始める方にも、すでにプロとして活躍されている方にも、このブログがお役に立ち、何かヒントが見つかることを願っています。 目次 Snowflakeとは Document AIとは Docu…

#Snowflake#DataWarehouse#DWH#Document AI
FLINTERS Engineer's Blog•1年前

Snowflake『Hands-On Essentials: Data Warehousing Workshop』のススメ

はじめに この記事はFLINTERS＼梅雨にも負けないブログ祭り／企画での執筆であり、テーマは #FLINTERS #Snowflake #DWH #データエンジニアリング です。 私が所属するデータチームではSnowflakeによるデータ基盤構築をしております。 私は最近このチームに配属となったため、Snowflakeをイチから学ぶところから始まりました。 ※ Snowflakeとは何か、の説明は本稿の趣旨とは異なるので省略します。 今回はチームオンボーディングとして、Snowflakeが提供しているハンズオンである Badge 1: Data Warehousing Workshop を受…

#FLINTERS#Snowflake#DWH#データエンジニアリング
PLAY DEVELOPERS BLOG•2年前

Snowflake のクラスタリングキーを設定したらデータの集計が爆速になった話

こんにちは、SaaS プロダクト開発部の池田です。 主に視聴動向データの分析を行うサービスの開発・運用を担当しております。 視聴動向データの分析基盤で採用している Snowflake において、クラスタリングキーの設定をすることで、クエリの応答速度が爆速になった話を紹介したいと思います。 もし、Snowflake をご利用中で、クラスタリングキーの設定をした覚えがない人は必見です！この記事を読んだ後は、クラスタリングキーを設定したくてウズウズしていると思います（笑） そもそも Snowflake の導入をご検討中の方は、以前丸山が紹介した記事がとても役立つと思うので参考にしてください。 dev…

#DWH#Snowflake#データ分析
FLINTERS Engineer's Blog•2年前

Snowflake in Streamlit（SIS）が来たので触ってみる

はじめに こんにちは、データチームにてデータ基盤開発を行なっています、井山です。 10周年記念として133日間ブログリレー50日目の投稿です。 以前Snowflake x Streamlit の記事を書きましたが blog.flinters.co.jp 2023/09/19 に 遂にStreamlitの開発と実行がSnowflake上で可能になりました。（※まだ PublicPreviewの段階） 若干遅くなってしまったけど、早速触ってみましょう。 Snowflake in Streamlit とは？ www.snowflake.com はい、読んで字の如く、Snowflake上でStream…

#Snowflake#DWH#データエンジニアリング
データエンジニアのものこと•2年前

【Redshift】ユーザーにアクセス権を付与するときのハマったこと

目的 Redshiftにおいて、あるユーザーでSELECTを実行したときに以下のように怒られました。 Invaild operation: permission denied for schema このエラーを解決するしたときのメモとして残しておきます。 概要 上記のエラーは現在使用しているユーザーに権限がなく、クエリが実行できないことを示しています。これを解決するためにはユーザ―に権限を与えます。 解決方法 GRANTを実行して、指定のユーザーに指定の権限を付与します。 以下のクエリを実行します。 GRANT USAGE ON SCHEMA [権限許可をするスキーマ名] TO [権限付与をさ…

#AWS#Redshift#DWH#権限
FLINTERS Engineer's Blog•2年前

TreasureData -> Snowflake へのデータ基盤移行のお話

こんにちは、データマネジメント部でデータエンジニアをしている井山です。 この記事は10周年記念として133日間ブログを書き続けるチャレンジの15日目の投稿になります。 今回は、現在FLINTERSデータチームで行っているデータ基盤移行PRJ（実施中）についてのお話をしたいと思います。 はじめに データ基盤の現状 移行の背景 発生していた問題点 暫定的な対策 移管対応でやったこと等 まとめ Snowflakeにしてよかった点 リソース問題はほぼ解消 格納できるデータ量も無制限なのでライフサイクルも廃止（全期間のデータを格納できる） コスト的な部分でのメリット DWHの構成管理ができるように（一部…

#DWH#Snowflake#データエンジニアリング
PLAY DEVELOPERS BLOG•2年前

視聴動向データの分析基盤を Redshift から Snowflake に乗り換えた話

こんにちは、SaaS プロダクト開発部テックリードの丸山 @maruyamaworks です。 先日、プライベートで使用している AWS アカウントに 15 万円の請求書が届きました。AWS Batch を使用して動画を GPU エンコードする仕組みを構築して運用していたのですが（構築したのは 5 年前）、プログラムの例外処理に不適切な点があり、プロセスが実行中のまま終了しない状態になってしまいました。そのため、コンピューティング環境（GPU を搭載した EC2 インスタンス）が動きっぱなしになり、高額請求される結果となりました。これを教訓に現在は毎日 AWS の料金を Slack に通知する…

#DWH#Snowflake#Redshift#データ分析
FLINTERS Engineer's Blog•2年前

トライコーンとの合同勉強会でSepDBについて紹介しました

こんにちは、津布久です。先日「新卒入社社員によるプロダクト紹介LT会（最近導入・気になる技術を添えて）」を題材とした、トライコーン × FLINTERS合同勉強会に参加しました。私からはSepDBというプロダクトについて紹介しましたので、その内容を簡単にですがまとめようと思います。 SepDBは「デジタルマーケターが様々なデータを簡単に活用できる様にする」というコンセプトのもと開発したビッグデータ基盤です。2017年から開発され、現在では様々なプロジェクトで利用される重要なプロダクトとなっています。

#DWH#ELT#DB
ENGINEERING BLOG ドコモ開発者ブログ•3年前

ドコモ3年目社員がRedshiftの10年モノの技術負債解消にチャレンジしてみた

はじめに システム概要 長時間Vacuumの回避 列指向データベース Vacuumが走りにくい処理への変更 Truncateの積極活用 時系列テーブルの使用 ディープコピーの実行 Vacuumの頻度・範囲見直し 他にも改善策として挙げられるもの Concurrency Scalingの導入 Redshift Serverlessの導入 おわりに はじめに NTTドコモ データプラットフォーム部（以下DP部）木村です。 NTTドコモでは「通信」だけでなく「決済・保険・投資」「エンタメ」をはじめとした様々なサービスをコンシューマー向けに提供しています。 DP部では様々なサービスに対して、データドリ…

#Redshift#DWH#AWS