DataEngineering

1.概要 2.構築したdbt実行環境 3.最恐に至る道 4.最強に至る道 4-1.Snowflakeへの実行制御 4-2.並列処理の理解 4-3.クエリタグの設定 4-4.その他 5.まとめ 1.概要 NTTドコモ データプラットフォーム部(以下DP部)の外山です。 NTTドコモではプロダクトの改善及びシームレスなマーケティング施策を実施するために、全社でデータ活用を進めていますが、その実現において利用しやすいデータがあることは欠かせません。 それに関し、前回のブログでは、まずは、「イシューから始めよ」に則り、初期段階では解決の質にはこだわらず、分析者が利用しやすいデータを高速に整備するための…

こちらは バイセルテクノロジーズ Advent Calendar 2022 の 16 日目の記事です。 前日の記事は 福田さんの「負荷対策（パフォーマンスチューニング）の運用を 0 から作って定例化する知見」でした。 はじめに テクノロジー戦略本部データサイエンス部の田村です。 今年 5 月に入社して以来、データエンジニアとしてデータ基盤の構築を行なってきました。 その中で構築した仕組みの 1 つとして、リレーショナルデータベースのトランザクションログを使って BigQuery に変更履歴テーブルを作成した話をご紹介します。

概要 コアデータの概念を探る コアデータの概念を調べる データ形式 ファイル形式 Avro ORC (Optimized Row Columnar) Parquet データベースの詳細 リレーショナル データベース 非リレーショナル データベース トランザクション データ処理 原子性 (Atomicity) 一貫性 (Consistency) 分離性 (Isolation) 持続性 (Durability) 分析データ処理 データ ロールとサービスを調べる データの世界における仕事上の役割について調べる データベース管理者 データ エンジニア データ アナリスト その他 データ サービスを特定…

「データエンジニアリング」という言葉を聞いたことがあるでしょうか。 昨今、デジタルトランスフォーメーションが推し進められていることにより、データ活用の重要性がますます高まっています。中長期的な経営方針や意思決定のためにデータを活用するためには高度なデータ分析を行う必要があり、そのためにはデータ分析を行うための分析基盤が必要となります。このデータ基盤を構築・管理する技術および関連領域をデータエンジニアリングといい、これらを行う技術者はとりわけデータエンジニアなどと呼ばれることがあります。 データ分析を行うデータアナリストや、数理・統計学を用いてデータを活用するデータサイエンティストのために、ビッ…