Hatena Blog Tags
はてなブログ トップ
ETL
このタグでブログを書く
言葉の解説
ネットで話題
関連ブログ

ETL

このタグの解説についてこの解説文は、すでに終了したサービス「はてなキーワード」内で有志のユーザーが作成・編集した内容に基づいています。その正確性や網羅性をはてなが保証するものではありません。問題のある記述を発見した場合には、お問い合わせフォームよりご連絡ください。
every Tech Blog•10日前

データ品質担保のために取り組んだこと

はじめに こんにちは！ 開発1部デリッシュキッチンの蜜澤です。 現在はデリッシュリサーチという、食トレンド分析ツールの開発を行っています。 本記事では、デリッシュリサーチで提供するデータの品質担保をするために行なったことを紹介させていただきます。 データ品質担保の必要性 デリッシュリサーチは食トレンドを分析するために、ダッシュボードで様々なデータを提供しています。 データが間違っていると、誤った意思決定につながるおそれがあるため、データの正確性に細心の注意を払う必要があります。 また、提供するデータが多岐にわたるため、テーブルの依存関係が複雑になっていきつつあり、放置しておくと集計のロジックを…

#データ品質#ETL#Databricks

関連ブログ

Zenet Tech Blog•2ヶ月前

AWS Glueでノーコード/ローコードETLを実践！S3データを自動変換・集計する方法

はじめに ETLジョブの概要 実装手順（GUIでの操作） Glue Studioで新規ジョブ作成 S3データの読み込みノード追加 Change Schema（旧Apply Mapping）で型変換と列マッピング SQLノードで月判別列を追加 Change Schema（列名変更ノード） S3出力ノードの設定 実行確認 データ品質チェック（Data Quality） まとめ 参照資料 はじめに ゼネットシステム事業部の方です。 AWS Glueは、データの抽出・変換・ロード（ETL）をサーバーレスで簡単に実行できるサービスです。従来のETLツールと異なり、ほとんどコードを書くことなく、S3上のC…

#AWS Glue#ETL#Parquet#データ基盤
okpy•5ヶ月前

Petlライブラリを使ったデータ処理効率化

Python Petl: データ処理、まだ手作業で消耗してるの？🤯 こんにちは、皆さん！Pythonの魅力に取り憑かれている人気ブロガーの〇〇です。😊 今日は、データ処理をもっとスマートに、もっと簡単にこなしたいと願うすべてのPython初心者さんに朗報です！✨ 私たちのデータとの格闘を劇的に変えてくれるかもしれない素晴らしいライブラリ「Petl」をご紹介します。 「データ、多すぎてどこから手をつければいいかわからない…」 「Excel作業、もう限界！自動化したい！」 「SQLは難しそう…もっと手軽にデータを扱いたい！」 もしこんな悩みを抱えているなら、このブログはあなたのためのものです。Pe…

#Python#Petl#データ処理#ETL#データ分析入門
Nealle Developer's Blog•1年前

BigQueryとTROCCOを利用したお手軽リバースETL事例紹介

BigQueryとTROCCOを利用したお手軽リバースETL事例紹介 本記事はニーリーアドベントカレンダー2024の24日目の記事です🎅 はじめに こんにちは。Analyticsチームに所属する五十嵐です。 2024年も早くもクリスマス・イブですね。 2024年、ニーリーではデータ基盤の整備が進み、Park Direct事業のさまざまなデータを統合し分析する環境が整ってきました。 nealle-dev.hatenablog.com こうした取り組みの中で、データ基盤で集計したデータをPark DirectのDBに転送しアプリケーション側で活用してもらう、いわゆるリバースETLの運用が始まってい…

#ETL#リバースETL#BigQuery#trocco#アドベントカレンダー2024
サーバーワークスエンジニアブログ•2年前

AWS Glue DataBrew入門ガイド

こんにちは！アプリケーションサービス部の濱岡です！ 暑い日が続きますね。。。 皆様も熱中症には気をつけてくださいね。。。 今回はAWS Glue DataBrewについてブログを書きました。 AWS Glue DataBrewとは AWS Glue DataBrewの特徴 1. ビジュアルインターフェース 2. 多様なデータソースと接続が可能 AWS Glue DataBrewの基本機能 プロジェクト レシピ ジョブ AWS Glue DataBrewの使い方 Step 1: データセットの作成 Step 2: プロファイルジョブの実行 Step 3: プロジェクトの作成 Step 4: レシ…

#AWS Glue DataBrew#DataBrew#ノーコード#ETL#ETLツール#データ分析
qtatsuの週報•2年前

【AWS CDK】Amazon DynamodbとAmazon OpenSearch Serverless のzero-ETL integrationを AWS CDK で構築する

前書き 注意点 参考リンク 環境 全体像 0. 事前準備 1. CDKのプロジェクト作成 2. S3 3. DynamoDB 4. IAM Role 5. Amazon OpenSearch Service Data Access Policy Encryption Policy Network Policy 6. IAM Policy 7. Pipeline デプロイとテスト 削除 まとめ CDKの定義全体 前書き 昨年末に公開された、DynamoDBとOpenSearch Serviceのzero-ETL integrationを AWS CDK で構築する例です。 本記事は、こちらのCL…

#AWS#CDK#OpenSearch Service#DynamoDB#ETL
APC 技術ブログ•2年前

Scaling Marketing and Docs with a Privacy-Safe RAG Model（プライバシー・セーフのRAGモデルでマーケティングとドキュメントの規模を拡大する）

プライバシーセーフなRAGモデルを用いたコンテンツ作成のスケール化：新たな可能性 プライバシーとセキュリティの強化：カスタムソリューションによるアプローチ 世界のプライバシー規制を渡り歩く カスタムソリューションの必要性 VerbiGPTのセキュアなコンテンツ作成への実装 VerbiGPTの紹介と目的 プライバシーとセキュリティ 細かいアクセス制御の重要性 セクション4: VerbiGPTでコンテンツ作成を効率化 コンテンツ生成におけるプライバシー準拠の確保 コンテンツ生成におけるプライバシー準拠の確保 まとめ プライバシーセーフなRAGモデルを用いたコンテンツ作成のスケール化：新たな可能性 …

#Databricks#Data + AI SUMMIT#dais2024#生成AI/LLM#Delta Lake#ETL
APC 技術ブログ•2年前

Rapid LLM Prototyping with OpenAI, Databricks, and Streamlit (OpenAI、Databricks、およびStreamlitを使用した迅速なLLMプロトタイピング(試作づくり))

セッションの要約 ノルウェー最大の保険会社Gjensidigeは、OpenAI、Databricks、Streamlitを活用し、リスク予測や資産管理のためのインタラクティブなデータビジュアライゼーションとシミュレーションを実装済みです。国家移民局との戦略的パートナーシップを築き、サービス能力を強化しています。これにより異なる分野での協力が促進され、革新と協力の道が開かれています。Gjensidigeの技術活用はプロセス最適化とパートナーシップ強化を目指しており、今後の戦略的パートナーシップと技術革新が期待されています。 イントロダクション OpenAI、Databricks、Streamli…

#Databricks#Data + AI SUMMIT#dais2024#ETL#生成AI/LLM#SQL Analytics#BI#Visualizations
APC 技術ブログ•2年前

LLMs in Production Fine-Tuning, Scaling, and Evaluation (LLMの実用化：ファインチューニング、スケーリング、および評価)

セッションの要約 本セッションは、企業が大規模言語モデル（LLM）をファインチューニングし、ビジネスアプリケーションに最適化する方法に焦点を当てました。具体的には、ビジネス課題の理解、データセットの生成、ハイパーパラメータの調整、モデル評価のステップを経てLLMの効果を最大化するプロセスが紹介されました。また、LLMの評価と展開についても議論され、Retrieval-Augmented Generation（RAG）の使用が推奨されました。内部評価とデータ収集の重要性、顧客データのプライバシー保護、AIガバナンスの採用も強調され、これらの戦略を通じてLLMの運用効率とセキュリティを向上させる方…

#Databricks#dais2024#Data + AI SUMMIT#ETL#生成AI/LLM