DataEngineering

はじめに エーピーコミュニケーションズGDAI事業部Lakehouse部の鄭(ジョン)です。 この記事では、DatabricksのUnity Catalogを活用したMLOpsの実践方法をご紹介します。 シリーズ第2回となる今回は、Databricks の Unity Catalog（UC）を活用してシンプルな ALS （Alternating Least Squares）推薦モデルを構築し、そのプロセスを MLOps によって自動化したデモを紹介します。さらに、実際に MLOps ワークフローを設計・実行する手順を、コードとあわせて解説します。 シリーズ第1回 : DatabricksのUn…

1. 背景 2. 構築したデータパイプライン 3. テスト実装 基本的なテスト source freshness dbt_expectationsを使ったテスト 4. 工夫したポイント・ハマったポイント 外部APIからの取得値に対するテスト StagingモデルのMaterialization 正規表現のコンパイル テスト基準の厳格さについて 5. 今後に向けて さらなる改善 まとめ 1. 背景 NTTドコモ データプラットフォーム部の外山です。NTTドコモでは、ビジネスユーザーに使いやすいデータ活用環境を実現するために、Streamlitアプリを介したデータ活用を推進しています。 お客様の声…

こんにちは、株式会社CARTA MARKETING FIRMのVP of Dataの @pei0804 です。 CARTA MARKETING FIRMのデータ基盤Vision では、DataOpsを推進しています。DataOpsとは、データ分析やAI/ML開発のライフサイクル全体を最適化し、品質と速度を向上させるプラクティスです。 speakerdeck.com 弊社の考えるDataOpsが実現されている世界観は、「利用者は価値創出に集中でき、基盤チームは仕組み作りに集中できる状態である。」です。 過去に発表した資料があるので、直近どういう取り組みをしているのか興味がある方は、こちらのスライ…

1.概要 2.構築したdbt実行環境 3.最恐に至る道 4.最強に至る道 4-1.Snowflakeへの実行制御 4-2.並列処理の理解 4-3.クエリタグの設定 4-4.その他 5.まとめ 1.概要 NTTドコモ データプラットフォーム部(以下DP部)の外山です。 NTTドコモではプロダクトの改善及びシームレスなマーケティング施策を実施するために、全社でデータ活用を進めていますが、その実現において利用しやすいデータがあることは欠かせません。 それに関し、前回のブログでは、まずは、「イシューから始めよ」に則り、初期段階では解決の質にはこだわらず、分析者が利用しやすいデータを高速に整備するための…

概要 コアデータの概念を探る コアデータの概念を調べる データ形式 ファイル形式 Avro ORC (Optimized Row Columnar) Parquet データベースの詳細 リレーショナル データベース 非リレーショナル データベース トランザクション データ処理 原子性 (Atomicity) 一貫性 (Consistency) 分離性 (Isolation) 持続性 (Durability) 分析データ処理 データ ロールとサービスを調べる データの世界における仕事上の役割について調べる データベース管理者 データ エンジニア データ アナリスト その他 データ サービスを特定…

「データエンジニアリング」という言葉を聞いたことがあるでしょうか。 昨今、デジタルトランスフォーメーションが推し進められていることにより、データ活用の重要性がますます高まっています。中長期的な経営方針や意思決定のためにデータを活用するためには高度なデータ分析を行う必要があり、そのためにはデータ分析を行うための分析基盤が必要となります。このデータ基盤を構築・管理する技術および関連領域をデータエンジニアリングといい、これらを行う技術者はとりわけデータエンジニアなどと呼ばれることがあります。 データ分析を行うデータアナリストや、数理・統計学を用いてデータを活用するデータサイエンティストのために、ビッ…