Hatena Blog Tags
はてなブログ トップ
データパイプライン
このタグでブログを書く
言葉の解説
ネットで話題
関連ブログ

データパイプライン

このタグの解説についてこの解説文は、すでに終了したサービス「はてなキーワード」内で有志のユーザーが作成・編集した内容に基づいています。その正確性や網羅性をはてなが保証するものではありません。問題のある記述を発見した場合には、お問い合わせフォームよりご連絡ください。
暇さえあればアルゴリズムいじり•3ヶ月前

PettingZooのボクシングを強化学習で勝利を目指す(2)

目次 昨日のボクシングゲームをMARLで経験学習するネットワークを構築していきます。 ここまでの関連記事 petting-zooの導入(MARL環境の導入) yoshishinnze.hatenablog.com 解くためのアルゴリズム選定 yoshishinnze.hatenablog.com 解法のシナリオ 以下の流れに沿って今回のボクシングゲームの解決を行っていきます。 データパイプライン構築: ゲームの画像から「集中クリティック用の入力」を作成し、バッファに正しく保存・取り出しができる仕組みを作ります。 ネットワーク設計: 210x160の画像を処理するための畳み込み層を設計します。 …

#MARL#ボクシング#データパイプライン

関連ブログ

ENGINEERING BLOG ドコモ開発者ブログ•8ヶ月前

Snowflake CLIで実現するdbt Project on Snowflakeでのモダンな開発フロー

はじめに こんにちは、NTTドコモ データプラットフォーム部の田中です。 私が所属する組織では、データ変換パイプラインの中核として dbt (data build tool) を活用しています。 dbtはSQLベースでデータ変換ロジックを記述でき、テストやドキュメント生成も可能な非常に強力なツールです。しかし、大規模に運用するには実行環境の構築・運用課題が常につきまといます。これまではAWS上でECSとAirflowを組み合わせて運用してきましたが、インフラ管理やバージョンアップ対応などの運用負荷は無視できないコストとなっていました。 基盤構築時の記事：MWAA、dbt、ECSを利用したデータ…

#Snowflake#データパイプライン#ETLツール#NTTドコモ
ENGINEERING BLOG ドコモ開発者ブログ•8ヶ月前

Iceberg × dbt × BigQuery × Snowflakeでつくる、マルチDWHパイプライン

1. はじめに NTTドコモ データプラットフォーム部の田中です。 近年、データ基盤のオープン化と相互運用性を背景に、OTF（Open Table Format）が話題になっています。 OTFは、クラウドストレージにあるデータレイク上のファイル群をDWHのテーブルのように安全かつ一貫性を保って扱うことができるオープン仕様であり、複数エンジンからの共通利用が可能になります。 その主要なフォーマットの一つであるApache Icebergは、主要クラウドDWH/エンジンでのネイティブ対応が進んでおり、ドコモ内でも活用検討がなされているところです。 本記事では、ドコモのデータパイプラインで、Snow…

#IceBerg#データパイプライン#NTTドコモ
Hanatare's PaPa •1年前

【Architecture】dbtとSnowflakeを使ってデータパイプライン構築する（実践編）

前回の記事ではSnowflakeとdbt Cloudの無料枠を使って環境の構築を行いました。今回の記事では、dbtの機能を使い実際の開発を行っていきたいと思います。 www.hanatare-papa.jp 記事のポイント dbtの基本的な開発サイクル（モデル作成 → テスト → ドキュメント生成）を体験する。 dbtのコア機能であるref()を使い、SQLの依存関係を管理する。 作成したデータ変換処理をdbt Cloudのジョブ機能で自動化する。 dbt Cloud IDEを操作する 開発準備 プロジェクトの初期化 初期コミット 補足 dbtモデルを構築する Sourceの定義 Stagin…

#Snowflake#データパイプライン
Hanatare's PaPa •1年前

【Architecture】dbtとSnowflakeを使ってデータパイプライン構築する（基盤構築編）

生成AIの台頭によって、エンジニアに求められるスキルは、生成AIを含む様々なアプリケーションをインテグレートさせてクライアントの業務を実現させるための力が求められいるように感じます。その中で、個人的にデータインテグレーションはよりその重要度を増してきています。こうしたデータ分析基盤を作るという分野に興味を持たれている方も増えてきているのではないかなと思います。ただ、一方でこうしたことを学ぶための環境は、限られていて一個人では様々なサービスを使うことは難しかったりします。そういった中で、今回は、可能な限り無料で利用できるサービスを使い、データ変換パイプラインの構築を行っていきたいと思います。 少…

#Snowflake#データパイプライン#ELT
MonotaRO Tech Blog•1年前

『言えば作れる』時代の到来：AI×データパイプラインで実現した次世代開発スタイル

こんにちは！ コアシステムエンジニアリング部門 商品ドメイングループの流川です。普段は商品管理に関わるシステムの開発・保守を担当しています。 ※以前公開した記事はこちら：基幹システム運用安定化のアプローチ戦略~困難から見つけた解決の糸口~ - MonotaRO Tech Blog 皆さん、AI使いこなしていますか？昨年11月末から今年の3月末まで育休を取得しており、復帰すると社内にAIムーブメントが到来していてびっくりしました！オフィスのあちこちでAIツールが活用されている光景を目の当たりにし、約4か月ちょっとのお休みの間にすっかり別世界になったような感じで、「乗り遅れるわけにはいかない！」と…

#モノタロウ#AI#AI駆動開発#データパイプライン#GitHub Actions
UPSIDER Techblog•2年前

BigQuery から Salesforce への Reverse ETL パイプラインの紹介

こんにちは、UPSIDER のデータチームです。 UPSIDER では、複数の事業を展開する中で、事業間のシナジーを最大化を目指し、昨年から Salesforce の導入を進めています。このプロジェクトは、単なるツール導入にとどまらず、営業やカスタマーサポート、事業開発といった各チームのデータを一元管理し、情報共有をスムーズにすることで、業務効率化や事業成長を後押しする重要な取り組みです。 Salesforce の導入に伴い、データチーム側では次のようなタスクに取り組みました。 既存クエリの参照テーブルを以前に使用していた CRM から Salesforce のものへ書き換え Salesfor…

#salesforce#BigQuery#データパイプライン
FLINTERS BASE BLOG•2年前

YouTube Data APIを使用したデータパイプラインの構築

はじめに 本記事の目的 本記事で紹介すること/ 紹介しないこと 使用技術とツールの紹介 アーキテクチャ概要 全体のフローの説明 各コンポーネントの役割 手順詳細 ステップ1: スケジューラによるCloud Runの実行 スケジューラの設定 ステップ2: YouTube Data APIからのデータ取得 Secret ManagerからAPIキーを取得 YouTubeData APIのコール ステップ3: 取得データをJSON形式で保存 Google Cloud Storage（GCS）への保存 PubSubへメッセージをPublish ステップ4: GCSの格納をトリガーにメッセージを配信 S…

#データエンジニアリング#GCP#データパイプライン#マイクロサービスアーキテクチャ
JBS Tech Blog•2年前

Azure Stream Analytics 構築編

前回の記事において、Stream Analyticsの基礎的な情報をご紹介させていただきました。 今回は実際にStream Analytics ジョブの作成およびデータ連携を行っていきます。 シナリオ Stream Analytics ジョブ作成 プロジェクトの詳細 インスタンスの詳細 ストリーミングユニットの詳細 入力、出力、クエリの作成 入力の作成 認証モード イベントシリアル化形式 イベントの圧縮タイプ 出力の作成 認証モード イベントシリアル化形式 フォーマット 書き込みモード パスパターン クエリの作成 動作確認 ジョブの開始 ジョブ実行結果 日付形式によるデータの出力 クエリによる…

#Azure#データエンジニアリング#データパイプライン
FLINTERS Engineer's Blog•2年前

Cloud Composer(Airflow)の代わりにCloud Workflowsを使う

こんにちは、石橋です。FLINTERSで開発者をしています。 本記事はFLINTERSブログ祭りの一環で、Cloud Composer(Airflow)1の代わりにCloud Workflows2でETLフローを作成した話です。 Cloud Workflowsなんぞや?については、公式がCloud Composerとの比較を行っていますので3、そちらが参考になるかと思います。 私の所属するチームでは広告データのETLフロー管理にCloud Composerを使っていますが、近年の円安も相まってコストに対する課題感が高まっています。 弊チームだとCloud Composer1環境あたり~8万/月…

#データパイプライン#Cloud Workflows#Google Cloud