Hatena Blog Tags
はてなブログ トップ
Data Engineering
このタグでブログを書く
言葉の解説
ネットで話題
関連ブログ

Data Engineering

このタグの解説についてこの解説文は、すでに終了したサービス「はてなキーワード」内で有志のユーザーが作成・編集した内容に基づいています。その正確性や網羅性をはてなが保証するものではありません。問題のある記述を発見した場合には、お問い合わせフォームよりご連絡ください。
テクテク日記•11日前

Fabric Spark notebookを試す①

Microsoft FabricのSpark notebook*1を使用して、Lakehouseの「Files」セクションにあるデータを「Tables」セクションにテーブルとしてロードするプロセスを見ていきます。 learn.microsoft.com Fabricにはデータ処理を効率化するための強力なツールが多数ありますが、特にSpark*2を活用すると柔軟性とスケーラビリティが大幅に向上します。Power BIのPower Queryエクスペリエンスに慣れている方の中には、この作業に馴染みがない方もいるかもしれません。そこで、本記事ではその方法をステップ・バイ・ステップで解説し、備忘録とし…

#notebook#Apache Spark#Data Engineering

関連ブログ

enechain Tech Blog•1ヶ月前

外部データ取得と利用のテクニック

はじめに enechain データプラットフォームデスク エンジニアの鳥山です。 enechainでは電力取引に必要な情報（例えば電力需給や燃料価格）を外部から収集し、社内外に公開しています。 このデータ収集はAPI経由で有償購入しているものもあれば、オープンデータとしてwebサイトに公開されているものもあります。電力自由化以降、電力需給に関する情報の公開が進んでおり色々なデータが参照可能となっていますが、それらは必ずしもマシンフレンドリーなデータばかりであるとは限りません。これは電力に限らず、特定の業界特化のドメインデータにおいてはよくある状態です。 本稿では、このような不確実性の高いデータ…

#Data Engineering#Data Quality#Python
enechain Tech Blog•3ヶ月前

Application Integrationを用いたSalesforceへのデータ連携

この記事はenechain Advent Calendar 2024の11日目の記事です。 はじめに enechainのデータプラットフォームデスクでエンジニアをしている菱沼です。現在はデータエンジニアとしてデータ基盤の構築をしています。 社内で活用できるデータ量が増加し、データ活用の場面が多様化する中で、業務の現場でデータをいかに効率的に活用できるかが重要な課題となっています。 本記事では、Google CloudのiPaaSであるApplication Integrationを活用し、 BigQueryからSalesforceにデータを連携する仕組みをどのように設計・実装したかをご紹介しま…

#Salesfoce#Data Engineering#BigQuery#enechainアドカレ2024
Sansan Tech Blog•3ヶ月前

Cloud ComposerとCloud Run Jobsを組み合わせたデータパイプラインの構築

こんにちは。研究開発部 Architectグループの中村です。 本記事は、Sansan Advent Calendar 2024の2日目の記事です。 今回は、Cloud ComposerとCloud Run Jobsを組み合わせたデータパイプラインの実装について紹介します。

#Google Cloud#R&D#Data Engineering
APC 技術ブログ•4ヶ月前

dbt × Databricksによるデータ処理と品質管理の最適化②【継続的な運用のための仕組み】

はじめに GLB事業部Lakehouse部の長尾です。 これから始まる本ブログシリーズでは、Databricks上でのdbt活用に役立つ実践的なTipsをお届けします。 初めてdbtに触れる方から、既に使い慣れている方まで、幅広い層に向けた内容となっています。 また、11月には本シリーズに関連したウェビナーも予定していますので、ぜひご期待ください。 これからの投稿をお見逃しなく！ ウェビナーへのお申し込みはこちらからお願い致します。 本ブログは、dbt × Databricksによるデータ処理と品質管理の最適化①の続編です。 前回同様に本ブログもDatabricks社の「Best Practi…

#Databricks#dbt cloud#Data Engineering
APC 技術ブログ•4ヶ月前

dbt × Databricksによるデータ処理と品質管理の最適化①【データ処理・モニタリング】

はじめに GLB事業部Lakehouse部の長尾です。 これから始まる本ブログシリーズでは、Databricks上でのdbt活用に役立つ実践的なTipsをお届けします。 初めてdbtに触れる方から、既に使い慣れている方まで、幅広い層に向けた内容となっています。 また、11月には本シリーズに関連したウェビナーも予定していますので、ぜひご期待ください。 これからの投稿をお見逃しなく！ ウェビナーへのお申し込みはこちらからお願い致します。 本ブログは、Databricks社の「Best Practices for Super Powering Your dbt Project on Databric…

#Databricks#dbt cloud#Data Engineering
CARTA TECH BLOG•1年前

Snowflakeの力を引き出すためのdbtを活用したデータ基盤開発の全貌

当記事は、dbtのカレンダー | Advent Calendar 2023 - Qiita の23日目の記事です。 こんにちは、株式会社CARTA MARKETING FIRMのデータエンジニア、@pei0804です。データエンジニアリングのほか、組織運営やデータエンジニア育成にも携わっています。 本記事では、Snowflakeを中心とした当社のデータ基盤「Vision」と、その中核であるdbtの利用について深掘りします。dbtを活用することで、SQLのみでデータパイプラインを効率的に構築し、作業の効率化を図っています。 dbt導入の詳しい導入背景は以下のスライドでご覧いただけます：広告レポー…

#CARTA HOLDINGS#Snowflake#Data Engineering
FLINTERS Engineer's Blog•1年前

AirflowのDAG実行時にパラメータを渡す

こんにちは、株式会社FLINTERSに出向中の松田です。 10周年記念として133日間ブログを書き続けるチャレンジの27日目の投稿になります。 本記事はAirflow Paramsを利用して各DAG実行に対してパラメータを渡す・参照する方法について紹介する入門的な記事になります。 ※ 本記事のスクリーンショット、コードはAirflow 2.5で確認しています。 はじめに DAG実行時にパラメータを渡す パラメータの仕様を設定する パラメータを参照する パラメータ参照で躓いた点 おわりに 参考 はじめに AirflowのDAGを実行する際に、実行毎に何らかのパラメータを与えて実行したい場面がある…

#Airflow#Data Engineering#データエンジニアリング
CCCMKホールディングス TECH LABの Tech Blog•2年前

Azure Data Factoryに入門してみました！

こんにちは、技術開発の三浦です。 "Minecraft"というゲームが好きで、かれこれ1年以上時間があれば遊んでいます。次の日が休みの夜は、パソコンを開き、Minecraftを立ち上げてもくもくと洞窟の中をピッケルで掘り進めます。何時間も暗い洞窟を掘り進めながら、この1週間あったことなどを振り返るのが週末の私のルーティンになりました。(はてなブログでは今週のお題「マイルーティン」で記事を募集しているそうなので、私のルーティンを紹介させて頂きました！) さて今回の記事も、ルーティンワークの見直しに少し関係しています。最近深層学習の領域に力を入れていて、テキストや画像といったデータを自分たちでアノ…

#Azure#Data Engineering