Hatena Blog Tags
はてなブログ トップ
ETL
このタグでブログを書く
言葉の解説
ネットで話題
関連ブログ

ETL

このタグの解説についてこの解説文は、すでに終了したサービス「はてなキーワード」内で有志のユーザーが作成・編集した内容に基づいています。その正確性や網羅性をはてなが保証するものではありません。問題のある記述を発見した場合には、お問い合わせフォームよりご連絡ください。
業務の隙間を埋める技術メモ。•9日前

ETLツール、本当に要りますか? ――NetSuiteのCSV抽出ツールを、自分で作ってみて思ったこと

先日、NetSuiteの中にあるデータを外へ出すための小さなツールを作りました。世間でいうETLツールに近い領域のものです。名前は nETLite（ネットライト）。Python製で、GitHubに MITライセンス・無料で公開しています。 https://github.com/getnetlite/netlite 開発はClaude Codeと一緒に進めました。動くものが仕上がるまで半日――6時間くらいしかかかっていません。長年この業界にいる身からすると、「え、こんなにあっさり動くの?」というのが本音でした。ただ、これも後で書きますが、AIは「使い勝手」のところまでは面倒を見てくれません。動く…

関連ブログ

フレクトのクラウドblog•1ヶ月前

ETLだけじゃない！Informatica IDMCの4本柱をざっくり解説

こんにちは。エンジニアの馬上です。 データが増え続ける今、みなさんの現場では「データをどう整えるか」が課題になっていませんか？ フレクトでは、Informatica領域のエンジニア育成に力を入れています。 近年はAI活用が当たり前になりつつありますが、そのAIは「良いデータ」があってこそ力を発揮します。 だからこそ、データの統合・品質管理・ガバナンスといった土台づくりは、以前にも増して重要になっています。 こうした背景から、Informaticaのプラットフォームを理解し活用できるエンジニアを社内で育てていくことは、お客様へ提供できる価値を広げるうえで欠かせない取り組みだと考えています。 その…

#Informatica#IDMC#ETL#iPaaS#データカタログ#MDM
LayerX エンジニアブログ•3ヶ月前

Python製ETL「dlt」を選んだ話 - Azure Cosmos DB for PostgreSQL × Container App Jobでいい感じにDatalakeを構築する

こんにちは。LayerX Ai Workforce事業部でSREをしています @shinyorke（しんよーく）と申します。 最近はAi Workforceのデータ周りの基盤を作る仕事をしながら、個人としては野球解説AI Agentの開発を頑張っています。 本ブログでは、Ai Workforceのデータ周りの基盤のコンポーネントの一部であるELTの選定をどうしたかについて執筆します。 特に今回は、 マネージドサービス（Azure Data Factory、通称ADF）での構築・実装を検討していたが なぜ断念したのか ADF の代替として dlt + Container App Job を選んだ…

#データ分析基盤#ETL#Azure#Ai Workforce事業部
Zenet Tech Blog•4ヶ月前

AWS Glue Job Bookmarkで重複処理を防ぐ！ETLジョブの効率化ガイド

AWS Glue を使って ETL 処理を自動化していると、「同じデータを何度も処理してしまう」という問題に直面することがあります。そんなときに役立つのが Glue Job Bookmark（ジョブブックマーク） 機能です。 この記事では、Job Bookmark の仕組み・実装方法・注意点 を、実際のジョブログ例とともにわかりやすく解説します。 はじめに Job Bookmark とは 具体的な仕組み メリット Bookmarkのモード 実装してみた Step 1：S3にデータを格納 Step 2：Glueジョブの設定 Step 3：ジョブ実行 Step 4：Bookmark動作の確認 注意…

#AWS Glue#ETL#データエンジニアリンク#データレイク#サーバレス
every Tech Blog•4ヶ月前

データ品質担保のために取り組んだこと

はじめに こんにちは！ 開発1部デリッシュキッチンの蜜澤です。 現在はデリッシュリサーチという、食トレンド分析ツールの開発を行っています。 本記事では、デリッシュリサーチで提供するデータの品質担保をするために行なったことを紹介させていただきます。 データ品質担保の必要性 デリッシュリサーチは食トレンドを分析するために、ダッシュボードで様々なデータを提供しています。 データが間違っていると、誤った意思決定につながるおそれがあるため、データの正確性に細心の注意を払う必要があります。 また、提供するデータが多岐にわたるため、テーブルの依存関係が複雑になっていきつつあり、放置しておくと集計のロジックを…

#データ品質#ETL#Databricks
Zenet Tech Blog•5ヶ月前

AWS Glueでノーコード/ローコードETLを実践！S3データを自動変換・集計する方法

はじめに ETLジョブの概要 実装手順（GUIでの操作） Glue Studioで新規ジョブ作成 S3データの読み込みノード追加 Change Schema（旧Apply Mapping）で型変換と列マッピング SQLノードで月判別列を追加 Change Schema（列名変更ノード） S3出力ノードの設定 実行確認 データ品質チェック（Data Quality） まとめ 参照資料 はじめに ゼネットシステム事業部の方です。 AWS Glueは、データの抽出・変換・ロード（ETL）をサーバーレスで簡単に実行できるサービスです。従来のETLツールと異なり、ほとんどコードを書くことなく、S3上のC…

#AWS Glue#ETL#Parquet#データ基盤
okpy•9ヶ月前

Petlライブラリを使ったデータ処理効率化

Python Petl: データ処理、まだ手作業で消耗してるの？🤯 こんにちは、皆さん！Pythonの魅力に取り憑かれている人気ブロガーの〇〇です。😊 今日は、データ処理をもっとスマートに、もっと簡単にこなしたいと願うすべてのPython初心者さんに朗報です！✨ 私たちのデータとの格闘を劇的に変えてくれるかもしれない素晴らしいライブラリ「Petl」をご紹介します。 「データ、多すぎてどこから手をつければいいかわからない…」 「Excel作業、もう限界！自動化したい！」 「SQLは難しそう…もっと手軽にデータを扱いたい！」 もしこんな悩みを抱えているなら、このブログはあなたのためのものです。Pe…

#Python#Petl#データ処理#ETL#データ分析入門
Nealle Developer's Blog•1年前

BigQueryとTROCCOを利用したお手軽リバースETL事例紹介

BigQueryとTROCCOを利用したお手軽リバースETL事例紹介 本記事はニーリーアドベントカレンダー2024の24日目の記事です🎅 はじめに こんにちは。Analyticsチームに所属する五十嵐です。 2024年も早くもクリスマス・イブですね。 2024年、ニーリーではデータ基盤の整備が進み、Park Direct事業のさまざまなデータを統合し分析する環境が整ってきました。 nealle-dev.hatenablog.com こうした取り組みの中で、データ基盤で集計したデータをPark DirectのDBに転送しアプリケーション側で活用してもらう、いわゆるリバースETLの運用が始まってい…

#ETL#リバースETL#BigQuery#trocco#アドベントカレンダー2024
サーバーワークスエンジニアブログ•2年前

AWS Glue DataBrew入門ガイド

こんにちは！アプリケーションサービス部の濱岡です！ 暑い日が続きますね。。。 皆様も熱中症には気をつけてくださいね。。。 今回はAWS Glue DataBrewについてブログを書きました。 AWS Glue DataBrewとは AWS Glue DataBrewの特徴 1. ビジュアルインターフェース 2. 多様なデータソースと接続が可能 AWS Glue DataBrewの基本機能 プロジェクト レシピ ジョブ AWS Glue DataBrewの使い方 Step 1: データセットの作成 Step 2: プロファイルジョブの実行 Step 3: プロジェクトの作成 Step 4: レシ…

#AWS Glue DataBrew#DataBrew#ノーコード#ETL#ETLツール#データ分析