Snowflake

日本ビジネスシステムズでデータエンジニアをしている土井です。データモデリングの勉強をしている過程で、『Data Modeling with Snowflake』という良書に出会いました。同書を読破したアウトプットとして、本記事ではSlowly Changing Dimension（以下、SCD）のType 2をSnowflakeネイティブの機能で実装してみたいと思います。 SCD概要 SCDとは？ SCD Type 2とは？ 事前準備 前提条件 オブジェクト作成 処理実行 業務システムの変更～DWHへのロード Type 2処理 まとめ SCD概要 SCDとは？ 一言でいうと、「データウェアハウ…

こんにちは。バクラク事業部 機械学習・データ部 データグループの@civitaspoです。LayerXの新オフィスは東銀座に位置しているのですが、築地に近いこともあり、お魚が美味しいです。今日はマグロのカマ焼きを食べました。脂が乗っていて非常に美味しかったです。 さて、先週に引き続き、Snowflakeに関する記事を書こうと思います。先週はSnowpipe StreamingとAmazon Data Firehoseを使用してSnowflakeにストリームデータをロードする方法を紹介しました。 tech.layerx.co.jp 今回の記事は、dbt-snowflakeでSingle Sign…

こんにちは。バクラク事業部 機械学習・データ部 データグループの@civitaspoです。みなさんは「人生で一番美味しいと思ったキムチ」に出会ったことはありますか？キムチって美味しいですが、あまり強い感情は抱かないですよね。ところが先日、近所のスーパーの駐車場の端っこに、謎のプレハブ小屋があるのを発見しました。興味本位で中を覗いてみると、そこはキムチ屋でした。そのキムチ屋が販売する自家製キムチは絶品で、私にとって「人生で一番美味しいと思ったキムチ」でした。みなさんも「人生で一番美味しいと思ったキムチ」を探してみてください。 さて、先週に引き続き、Snowflakeに関する記事を書こうと思います…

こんにちは。バクラク事業部 機械学習・データ部 データグループの@civitaspoです。最近、仕事で使用するPCを新調したのですが、Nixとhome-managerを使って環境構築していたおかげで、爆速で環境移管が完了しました。MacOSのセットアップをする場合は、nix-darwinというnix moduleを使うのですが、MacOSのdefaultsコマンドを使用して変更するパラメータ（たとえばInitialKeyRepeatやKeyRepeatなど）も宣言的に書けるので便利です。PAMの設定を変更してsudo実行時にTouch IDを使えるようにする設定もあったりします。非常に便利なの…

1.概要 2.構築したdbt実行環境 3.最恐に至る道 4.最強に至る道 4-1.Snowflakeへの実行制御 4-2.並列処理の理解 4-3.クエリタグの設定 4-4.その他 5.まとめ 1.概要 NTTドコモ データプラットフォーム部(以下DP部)の外山です。 NTTドコモではプロダクトの改善及びシームレスなマーケティング施策を実施するために、全社でデータ活用を進めていますが、その実現において利用しやすいデータがあることは欠かせません。 それに関し、前回のブログでは、まずは、「イシューから始めよ」に則り、初期段階では解決の質にはこだわらず、分析者が利用しやすいデータを高速に整備するための…

データチームの出口です。 この記事はFLINTERSブログ祭りの記事です。テーマは #Snowflake #技術 #データパイプライン です。 今回はデータチームが現在取り組んでいるSnowflakeを活かしたデータパイプラインの構築について紹介したいと思います。 現状の問題点 現状の構成では以下の点に問題が生じていました。 格納データに不正なデータが混ざり(レコードの重複や主キーのNULLなど)、後続での利用に影響が生じるリスクがある 加工された値の格納のため、過去のAPIバージョンで取得した値をDWH上で確認できない そのため、取得データを確認するためにはS3上のAPI取得データを確認する…

はじめに この記事はFLINTERS＼梅雨にも負けないブログ祭り／企画での執筆であり、テーマは #FLINTERS #Snowflake #DWH #データエンジニアリング です。 私が所属するデータチームではSnowflakeによるデータ基盤構築をしております。 私は最近このチームに配属となったため、Snowflakeをイチから学ぶところから始まりました。 ※ Snowflakeとは何か、の説明は本稿の趣旨とは異なるので省略します。 今回はチームオンボーディングとして、Snowflakeが提供しているハンズオンである Badge 1: Data Warehousing Workshop を受…

2024年9月6日に、QYResearchは「エンタープライズ・データ・マネジメント―グローバル市場シェアとランキング、全体の売上と需要予測、2024～2030」の調査資料を発行しました。本報告書は、エンタープライズ・データ・マネジメントの世界市場を分析し、主要企業の売上、動向、市場規模、市場シェア、ランキングなどを掲載しています。また、地域別、国別、製品タイプ別、用途別に市場を分析しています。2019-2030年の売上に基づいて、エンタープライズ・データ・マネジメントの市場規模を推計と予測しています。企業が事業成長戦略を策定し、競争環境を評価し、市場ポジションを分析し、エンタープライズ・デー…

こんにちは、のび汰です。 転職して久しぶりに電車通勤をしています。少しでもITに関する知識をインプットしようと、 本を読んだり、雑誌を読んだりしていますが、通勤中は Youtube に限ります。 今日、おもしろかったのはこの動画↓↓youtu.beSnowflakeというデータウェアハウスのサービス（といえばいいのかな）で 使用しているテクノロジーの解説動画。 この中で説明されている「マイクロパーティション」という技術。 はじめて知ったけど、めちゃめちゃすごくないですか？ データのコピーをせずに、データをバックアップしたりシェアしたり、、、 上手く説明できないから詳しくは動画をご覧ください。 …

Snowflakeのアラート機能を使用して、不正ログインを監視・通知する機能を実装してみました。 Snowflakeアラートとは 実施概要 実施前提 実施手順 アラートの作成 アラートの開始 アラートの確認 アラートの動作確認 おわりに Snowflakeアラートとは 「Snowflakeアラート」は、Snowflakeの一機能で、ユーザーが特定の条件に基づいてリアルタイムでアラートを受け取ることができる機能です。 この機能は、データの監視とトリガー条件の設定を通じて、ビジネス上重要なイベントや異常なデータパターンに対して、迅速に対応できるように設計されています。 主な特徴は以下の通りです。 …

■LINEヤフーの「Yahoo!ショッピング」が25周年、最大23.5％のPayPayポイント付与「ヤフービッグボーナス」実施 https://news.yahoo.co.jp/articles/7b2f01dff0914dde7a2049d5de2cb5598794e9a4 ■「楽天トラベル」、「楽天トラベル スーパーSALE」を 9/4（水）より開催 https://corp.rakuten.co.jp/news/update/2024/0902_02.html ■d払い、Amazonアカウント連携で最大2万ポイント当たるキャンペーン https://k-tai.watch.impres…

こんばんは、のび汰です。 今日はコンサル3日目（実質2日目）です。さて、きょうは僕を含めて3名のコンサルタントの歓迎会を夜してくれるということで、 昨日のように横浜ではなく東京都内のオフィスで仕事をすることになりました。昨日、脳みそが沸騰するほど本案件の情報を詰め込んだ（50%）僕ですが、 本日も残りの50%の情報を詰め込むべく、インプットに励みました。そして今日は、同じ案件に入っているコンサルタントさんとリアルで会うことができました。 朝、新人らしくみなさんよりちょっと早く出社。 ところが、先に案件に入っている先輩コンサルはもう仕事についていました。「はじめまして」の挨拶したところ、気さくに…

2024年8月27日-8月28日の日程で玉置浩二が「Concert Tour 2024 Resume ~レジューム 新たな始まり」と言うタイトル名のツアー コンサート ライブ 公演を「フェスティバルホール」で開催したらしいよ。 インターネット上で話題になってたから、この公演のセットリスト(セトリ)情報を集めてlive-setlist2ブログに掲載するよ。 では、この記事に「2024/8/27-8/28 玉置浩二 Concert Tour 2024 Resume ~レジューム 新たな始まり ツアー ライブ 大阪 公演」の曲目や曲順があるからブログ読者さんは注意してね。

・引き続き同じプロジェクト。データ分析系がメイン。今月から基本設計に入った。 ・moveeとしてはデータ活用というビジョンをベースにしてやっていくぞ、となっている。とはいえソフトウェア開発の特にバックエンドはデータ活用にも必要不可欠な技術なのでバックエンド（特にデータベース周り）は力を入れていきたい 業務で学んだこと ・要件定義で要件を洗い出すことはなかなか難しい。要件定義は基本的には顧客側が要件を出すことが前提だが、出してもらうための工夫が必要だったりする ・Snowflake色々触れていて楽しい。自社でも勉強用に契約してみようかなと思ったりしている 業務以外で学んだこと ・MR時代の友人と…

AI Chat に課金をしているので、サブスクが多くなりすぎたので、Google Colab Pro を解約しました。Google Colab のインターフェースは便利な事も多いので、 今後はローカルランタイムを使っていこうと思い、ChatGPT に次のような質問をしました。 オレ Google colab をローカルランタイム(Windows WSL) で使用しています。(Python 3.12.3) venv 環境を使い pip install jupyter で Jupyter Notebook をインストールし jupyter notebook --NotebookApp.allow_…

こんにちは。 estie でソフトウェアエンジニアをしている @Ryosuke839 です。弊社ではデータウェアハウスとして Snowflake を採用しており、データ移送に dbt を使いだしています。dbt では SQL クエリからデータを生成する SQL model の他に Python コードでデータを生成する Python model も使うことができ、複雑なデータ変換や外部 API 呼び出しなどが絡む処理では Python model が役に立ちます。しかし、Python model には様々な制約や落とし穴があり、今回紹介する型指定もその 1 つになります。仕様を探る中で型指定の…

datatech-jp.connpass.com 本記事はイベント参加時のメモ・書き散らしとなります。 アーカイブ残るとのことです。 www.youtube.com No1:BigQueryからSnowflakeへ移管して作る最強のデータ基盤 layerx.co.jp speakerdeck.com 途中から視聴開始 1分以内にs3->BQに格納か。ここまで速さ求められることなかった。。。 snowflake使うと複数サービス連携させているところシンプルになってて良さげ ネイティブにサポートもされるとつなぎ込みが楽 スピード重視はFivetran、それ以外は他のソリューションで bigqeur…