Hatena Blog Tags
はてなブログ トップ
データエンジニアリング
このタグでブログを書く
言葉の解説
ネットで話題
関連ブログ

データエンジニアリング

このタグの解説についてこの解説文は、すでに終了したサービス「はてなキーワード」内で有志のユーザーが作成・編集した内容に基づいています。その正確性や網羅性をはてなが保証するものではありません。問題のある記述を発見した場合には、お問い合わせフォームよりご連絡ください。
CARTA TECH BLOG•3日前

【6月2日〜5日サンフランシスコ開催 】“AIとアプリの未来を築く。”「SNOWFLAKE SUMMIT 25」に、CARTA MARKETING FIRM 近森淳平・竹内晴貴の登壇が決定！～グローバルカンファレンスで“現場主導のデータ基盤構築”を紹介～

株式会社CARTA HOLDINGSのグループ会社で、マーケティング特化の事業を展開する株式会社CARTA MARKETING FIRM（東京都港区虎ノ門、代表取締役：西園 正志、以下CARTA MARKETING FIRM）は、2025年6月2日（月）〜5日（木）にサンフランシスコで開催されるAIデータクラウド企業Snowflake（ニューヨーク証券取引所：SNOW）主催のカンファレンス「SNOWFLAKE SUMMIT 25」に、CARTA MARKETING FIRMのVPoD（Vice President of Data）近森 淳平および竹内 晴貴が登壇することをお知らせいたします。 …

#データエンジニアリング#CARTA MARKETING FIRM#Snowflake#Snowflake SUMMIT 2025

関連ブログ

CARTA TECH BLOG•4ヶ月前

SnowflakeのALTER TABLEで100万溶かした顔になった

株式会社CARTA MARKETING FIRMでDSP(Demand-Side Platform)の開発をしている機械学習エンジニアのmikanfactoryです。特にMLOpsを担当しています。 背景 当社のDSPでは、配信ログを用いた機械学習モデルによる配信最適化を行っています。データパイプラインはSnowflake+dbtで構築し、Prefectを使用して機械学習モデルの構築・デプロイを実施しています。 サービスの成長に伴い、データパイプラインのコストは徐々に上昇傾向にありました。特に12月中旬には大幅なコスト増加が発生し、さらに年末年始の繁忙期を控えていたため、早急なコスト対策が必要…

#Snowflake#データエンジニアリング
CADDi Tech Blog•5ヶ月前

dbt × BigQuery でスプレッドシートを source としてコード管理する

この記事は dbt Advent Calendar 2024 の15日目の記事です。 Data Management チームの森岡です。 スプレッドシート便利ですよね。スプレッドシートをデータソースとして、BigQuery に取り込んでいるケースも多いと思います。ただ、スプレッドシートを外部テーブルとして BigQuery に取り組むとき、Google Cloud のコンソールで操作するの面倒じゃないですか。 シートの範囲を間違えたり、カラム名がイマイチで作り直したら、今度は「あれ？ヘッダー行のスキップ指定、忘れてた...」となってやり直しになること、ありますよね？ 今回は、そういった煩わしさ…

#データエンジニアリング#BigQuery
LIVESENSE ENGINEER BLOG•5ヶ月前

内製ログ収集ツールの GA4 化で学んだこと

これは Livesense Advent Calendar 2024 DAY 9 の記事です。 技術部データプラットフォームグループの池谷です。最近はフルマラソンのタイムを縮めるべく走り込んでいます。 長期間に渡るプロジェクトは多くの学びを与えてくれるものですよね。2 年以上かけて進めてきた、内製されたログ収集ツールを GA4 に置き換えるプロジェクトも、自分にとっては大きな成長機会となりました。本記事では、この経験を通して学んだことや、大事だと考えるようになったことをまとめました。 GA4 化プロジェクト 背景 アプリログの GA4 化 学んだこと 一連のデータフローを理解しよう データは網…

#データエンジニア#データエンジニアリング#GA4#GA4移行
LIVESENSE ENGINEER BLOG•5ヶ月前

技術的負債解消LT会で「データ基盤の負債解消のためのリプレイス」を発表しました

これは Livesense Advent Calendar 2024 DAY 4 の記事です。 概要 はじめに 以前の分析基盤 現在の分析基盤 少し未来の分析基盤 最後に 概要 技術部データプラットフォームグループでデータエンジニアをしている富士谷です。 さて、11/28に開催されたやってやったぜ！技術的負債解消 LT会 〜コードの整理整頓から未来の基盤構築まで〜（yabaibuki.dev #3）で発表しました。 発表資料を抜粋しつつ、簡単に内容を紹介します。 はじめに speakerdeck.com リブセンスのデータ基盤は大きく分けて、収集・蓄積などデータ分析が主目的のLivesense…

#データエンジニアリング#データエンジニア#データ基盤#データ基盤構築
CARTA TECH BLOG•6ヶ月前

リーンなソリューション開発を支えるためのデータ組織戦略

執筆者 ohyan : 2022年 CARTA HOLDINGSに入社。株式会社テレシーにて機械学習・ML Opsを主担当。現在、開発本部 データプランニングチーム リーダー。 はじめに はじめまして。株式会社テレシー でデータサイエンスエンジニアとして働いている ohyan (@ohyan) です。現在は、データプランニングチームのチームリーダーを兼務しており、データ基盤周りの開発を担当しています。 今回は、テレシーが推進するリーンなソリューション開発を支えるデータ組織戦略についてお話しします。 リーンなソリューション開発 まず、テレシー開発本部のミッションについてご紹介します。テレシーでは…

#運用型テレビCM#TELECY#テレシー#CARTA HOLDINGS#データエンジニアリング
i-plug Tech Blog•7ヶ月前

新たなデータ分析基盤のアーキテクチャの紹介

はじめに こんにちは、データエンジニアリングチームの山野です。今回は、我々のチームが昨年から取り組んできた新しいデータ分析基盤のアーキテクチャについてご紹介し、プロジェクト中に直面した課題とその解決策、そして得られた学びについて共有します。 はじめに 背景と目的 1. データのサイロ化と一貫性の欠如 2. データ増加に伴うパフォーマンスの低下 3. 分析環境のデータ整備が進まない アーキテクチャ概要 Data Source Data Lake Data Ware House 分析と可視化 直面した課題とその解決策 課題1: データの整合性の確保 課題2: パフォーマンスの最適化 課題3: 個人…

#データエンジニアリング#データ分析基盤
Leverages データ戦略ブログ•7ヶ月前

データ分析基盤再構築への道！～レバレジーズの挑戦～

はじめに こんにちは！レバレジーズ株式会社 データ戦略室 データアーキテクトグループ リーダー兼データアナリストの田代です。 今回は、2024年4月頃から取り組んでいるデータ分析基盤再構築プロジェクトについて、概要や苦労した点、現時点での知見などを共有したいと思います。 これからデータ分析基盤の再構築を検討している方の参考になれば幸いです！ 課題 入社以来、様々な分析業務に携わる中で、大きく二つの課題を感じてきました。 1. 指標の定義が曖昧な分析が行われていること： データ戦略室では「データ民主化」を推進しており、営業や企画職のメンバーもアドホックにデータ分析をする機会が多くあります。しかし…

#分析基盤#データ分析基盤#データエンジニアリング
Classi開発者ブログ•10ヶ月前

なれる！データエンジニア

はじめに こんにちは。データプラットフォームチームのマイン(id:manhnguyen1998)です。 2024年1月からデータエンジニア留学（第1期）という制度を利用して、データプラットフォームチームに配属されています。第1期生として、このデータエンジニア留学制度について、自分の経験をもとに紹介したいと思います。 データエンジニア制度とは データエンジニア留学制度は基本的にSRE留学と同じですが、留学先はデータプラットフォームチームです。SRE留学に関する記事はいくつかありますのでご覧ください。 tech.classi.jp tech.classi.jp tech.classi.jp なぜ留…

#データエンジニアリング
hacomono TECH BLOG•1年前

hacomonoデータ基盤におけるデータ転送の課題と今後の対応

こんにちは。hacomono データ基盤部のうまちゃん ( @i9wa4_ ) です。 hacomono データ基盤におけるデータ転送の課題と今後の対応の話を通じて hacomono のデータ基盤部の業務内容の一部をお伝えできればと思います！ hacomono データ基盤のデータ転送システム構成 Embulk で hacomono 環境の Amazon RDS もしくは Amazon Aurora のデータを抽出しお客様環境の BigQuery へ転送する構成となります。 データ転送システム全体は GitHub・Terraform で管理しています。 hacomono データ基盤におけるデータ…

#データ基盤#データエンジニアリング#データエンジニア#Embulk#RDS#BigQuery