Hatena Blog Tags
はてなブログ トップ
データエンジニアリング
このタグでブログを書く

データエンジニアリング

このタグの解説についてこの解説文は、すでに終了したサービス「はてなキーワード」内で有志のユーザーが作成・編集した内容に基づいています。その正確性や網羅性をはてなが保証するものではありません。問題のある記述を発見した場合には、お問い合わせフォームよりご連絡ください。
CARTA TECH BLOG•17日前

lake.biにおけるTROCCOを使った広告配信の進捗管理の自動化

こんにちは、CCIの阿部です！ CCIではGoogleやYahooなどの広告プラットフォームを運用していますが、予算の消化や配信実績の確認のために必要な進捗管理の手作業が、負担となっていました。 社内の広告運用担当者からも「本来の業務の時間確保のために、この作業を効率化したいが手が回らない」との声があり、リソースの制約も課題でした。 進捗管理の業務内容と課題 進捗管理を行うためには、本来以下の作業が必要になります。 各広告プラットフォームの管理画面へログイン 広告の配信実績をダウンロード 代理店や広告主毎に、複数のデータを統合し、Excelやスプレッドシートで集計・分析 これらの作業には大きな…

#CARTA HOLDINGS#cci#データエンジニアリング

関連ブログ

CARTA TECH BLOG•1ヶ月前

「技術選定を突き詰める〜 Online Conference 2025〜」登壇レポート

技術広報しゅーぞーです。CARTA HOLDINGSは「技術選定を突き詰める〜 Online Conference 2025〜」に登壇しました！今回はその模様をお届けします。 「技術選定を突き詰める〜 Online Conference 2025〜」とは 「技術選定を突き詰める〜 Online Conference 2025〜」は、Findyが主催するオンラインテックカンファレンスです。3000名を集客した注目度の高いイベントで、技術選定における成功事例や失敗事例の共有を通じて、より良い選択を導くための知見を深める場として開催されました。詳細は以下ページをご覧ください。 https://fin…

#CARTA HOLDINGS#CARTA MARKETING FIRM#技術選定#データエンジニアリング
CARTA TECH BLOG•1ヶ月前

【国際カンファレンス】新卒3年目データエンジニアがSnowflake Summit2025で初登壇してきた！

こんにちは！CARTA MARKETING FIRMでエンジニアをしているharukiです。 2025年6月2日から6月5日にかけてサンフランシスコで開催されたSnowflake Summit 2025に参加し、スピーカーとしてSessionで登壇してきたので、そこに至るまでの経緯やこの体験を通して感じたことなどについてレポートしていきます。 私にとって今回が初めての海外カンファレンス参加であり、かつ初の登壇でした。 2023年に新卒で入社してからずっとSnowflakeを使った開発に携わっていたので、参加したいなーと思っていました。 昨年からSnowflake Summitへの参加意欲を表明…

#CARTA MARKETING FIRM#データエンジニアリング#Snowflake#Snowflake SUMMIT 2025
電通総研 テックブログ•2ヶ月前

Databricksで実現するデータ名寄せ【確率的マッチング編】

こんにちは。エンタープライズ第三本部 マーケティングIT部の熊倉です。 このブログでは、高速に動作する分散処理エンジン「Apache Spark」とオープンテーブルフォーマット「Delta Lake」を基盤としたレイクハウス環境を構築できるDatabricks上で管理しているデータセットに対して、名寄せ処理を行うアプローチについて紹介します。 実際のノートブックの処理についても紹介しようと思っていますが、想定よりも内容が多くなってしまったので、名寄せの概要を紹介する「概要編」、ソースコードなど具体的な名寄せ処理の具体的な内容を紹介する「決定論的マッチング編」「確率的マッチング編」の三部作にしよ…

#Databricks#データエンジニアリング#名寄せ
電通総研 テックブログ•2ヶ月前

Databricksで実現するデータ名寄せ【決定論的マッチング編】

こんにちは。エンタープライズ第三本部 マーケティングIT部の熊倉です。 このブログでは、高速に動作する分散処理エンジン「Apache Spark」とオープンテーブルフォーマット「Delta Lake」を基盤としたレイクハウス環境を構築できるDatabricks上で管理しているデータセットに対して、名寄せ処理を行うアプローチについて紹介します。 実際のノートブックの処理についても紹介しようと思っていますが、想定よりも内容が多くなってしまったので、名寄せの概要を紹介する「概要編」、ソースコードなど具体的な名寄せ処理の具体的な内容を紹介する「決定論的マッチング編」「確率的マッチング編」の三部作にしよ…

#Databricks#名寄せ#データエンジニアリング
電通総研 テックブログ•2ヶ月前

Databricksで実現するデータ名寄せ【概要編】

こんにちは。エンタープライズ第三本部マーケティングIT部の熊倉です。 このブログでは、高速に動作する分散処理エンジン「Apache Spark」と オープンテーブルフォーマット「Delta Lake」を基盤としたレイクハウス環境を構築できるDatabricks上で管理しているデータセットに対して、名寄せ処理を行うアプローチについて紹介します。 実際のノートブックの処理についても紹介しようと思っていますが、想定よりも内容が多くなってしまったので、名寄せの概要を紹介する「概要編」、ソースコードなど具体的な名寄せ処理の具体的な内容を紹介する「決定論的マッチング編」「確率的マッチング編」の三部作にしよ…

#Databricks#名寄せ#データエンジニアリング
CARTA TECH BLOG•2ヶ月前

【イベント開催レポート】データ活用の最前線と熱気をお届け！Snowflake x Salesforce User Group (SF2UG) オンサイト ミーティング #2

こんにちは、技術広報しゅーぞーです！ SnowflakeとSalesforceユーザー、そしてデータ活用に関心のある皆様が待ち望んだ「Snowflake x Salesforce User Group (SF2UG) オンサイト ミーティング #2」が開催されました。本記事では、データ活用のリアルな事例と参加者同士の活発な交流が生まれた当日の模様をお伝えします！ 「Snowflake x Salesforce User Group (SF2UG) オンサイト ミーティング #2」とは 「Snowflake x Salesforce User Group (SF2UG) オンサイト ミーティング…

#Snowflake#salesforce#SF2UG#データエンジニア#データエンジニアリング#CARTA HOLDINGS#CARTA MARKETING FIRM
CARTA TECH BLOG•2ヶ月前

【6月2日〜5日サンフランシスコ開催 】“AIとアプリの未来を築く。”「SNOWFLAKE SUMMIT 25」に、CARTA MARKETING FIRM 近森淳平・竹内晴貴の登壇が決定！～グローバルカンファレンスで“現場主導のデータ基盤構築”を紹介～

株式会社CARTA HOLDINGSのグループ会社で、マーケティング特化の事業を展開する株式会社CARTA MARKETING FIRM（東京都港区虎ノ門、代表取締役：西園 正志、以下CARTA MARKETING FIRM）は、2025年6月2日（月）〜5日（木）にサンフランシスコで開催されるAIデータクラウド企業Snowflake（ニューヨーク証券取引所：SNOW）主催のカンファレンス「SNOWFLAKE SUMMIT 25」に、CARTA MARKETING FIRMのVPoD（Vice President of Data）近森 淳平および竹内 晴貴が登壇することをお知らせいたします。 …

#データエンジニアリング#CARTA MARKETING FIRM#Snowflake#Snowflake SUMMIT 2025
CARTA TECH BLOG•6ヶ月前

SnowflakeのALTER TABLEで100万溶かした顔になった

株式会社CARTA MARKETING FIRMでDSP(Demand-Side Platform)の開発をしている機械学習エンジニアのmikanfactoryです。特にMLOpsを担当しています。 背景 当社のDSPでは、配信ログを用いた機械学習モデルによる配信最適化を行っています。データパイプラインはSnowflake+dbtで構築し、Prefectを使用して機械学習モデルの構築・デプロイを実施しています。 サービスの成長に伴い、データパイプラインのコストは徐々に上昇傾向にありました。特に12月中旬には大幅なコスト増加が発生し、さらに年末年始の繁忙期を控えていたため、早急なコスト対策が必要…

#Snowflake#データエンジニアリング
CADDi Tech Blog•7ヶ月前

dbt × BigQuery でスプレッドシートを source としてコード管理する

この記事は dbt Advent Calendar 2024 の15日目の記事です。 Data Management チームの森岡です。 スプレッドシート便利ですよね。スプレッドシートをデータソースとして、BigQuery に取り込んでいるケースも多いと思います。ただ、スプレッドシートを外部テーブルとして BigQuery に取り組むとき、Google Cloud のコンソールで操作するの面倒じゃないですか。 シートの範囲を間違えたり、カラム名がイマイチで作り直したら、今度は「あれ？ヘッダー行のスキップ指定、忘れてた...」となってやり直しになること、ありますよね？ 今回は、そういった煩わしさ…

#データエンジニアリング#BigQuery