Hatena Blog Tags
はてなブログ トップ
BigQuery
このタグでブログを書く
言葉の解説
ネットで話題
関連ブログ

BigQuery

このタグの解説についてこの解説文は、すでに終了したサービス「はてなキーワード」内で有志のユーザーが作成・編集した内容に基づいています。その正確性や網羅性をはてなが保証するものではありません。問題のある記述を発見した場合には、お問い合わせフォームよりご連絡ください。
ITANDI Engineer Blog•2日前

1,600テーブルを支えるデータ転送の最適化：3つのパターンによるBigQuery集約の実践

はじめに イタンジ株式会社のデータチームでマネージャーをしている山崎です。 私のチームで整備してきたデータ基盤は社内のKPIダッシュボードや問い合わせの調査対応で日々使われています。また、基盤側で作った成果物をプロダクトで活用したり、お客様向けのデータをさまざまな形で届けたりするための土台にもなっています。 今回は稼働中のデータベースからBigQueryへデータを集約する仕組みの全体像と、テーブルの規模や更新頻度に合わせて使い分けている3つの転送パターンを紹介します。 システム全体像 イタンジのデータ基盤はAirflowとBigQueryを中心にした構成です。 現在、プロダクトのバックエンドと…

#BigQuery#データ基盤#Airflow

関連ブログ

無駄と文化•9日前

BigQueryまわりのロール - これが足りない/これが過剰

Google Cloud にはいろいろな組み込みロールが用意されていて便利です。 一方で、 クエリは実行できるのに結果が見れない データは見れるのにクエリが打てない テーブルを作りたいのに作れない など、思ってたのと権限が違ってしまうこともあります。 この記事ではよく使うロールと権限をピックアップし、 このロールはどういうときに付けたくなるか どの権限が足りない／過剰に感じるか という観点で整理します。 ※ 各ロールの詳細な定義は公式ドキュメントを参照してください。この記事では全ての権限を列挙・解説することはせず、実務上の振る舞いにフォーカスします Google Cloud コンソールを使える…

#Google Cloud#BigQuery
UPSIDER Techblog•11日前

Building a Real-Time Data Pipeline with GCP (In About 15 Minutes)

*日本語版は下記にあります。 1. Introduction: Why Data Pipelines Exist (and Why You Care) Let’s start with a situation most teams run into sooner or later. Your app stores fruit inventory in Firestore. The app is happy. Firestore is happy. Then the analytics team shows up and asks: “Can we get this data in BigQue…

#GCP#Data Pipeline#Firestore#BigQuery#dataflow
エンジニアの思い立ったが吉日•1ヶ月前

Google発の次世代IDE「Antigravity」とMCP完全ガイド - BigQuery分析が自動化される衝撃

「Cursorも便利だけど、Google Cloudとの連携設定が毎回面倒…」 「BigQueryのデータを参照しながらコードを書きたいけど、スキーマをコピペするのが手間…」 そんな悩みを抱えるエンジニアの皆様、お待たせしました。ついにGoogleが本気を出しました。 2025年11月にパブリックプレビューとして登場したGoogle発のAIファーストIDE「Antigravity」。そして、それを裏側で支えるMCP (Model Context Protocol) の連携により、AI開発は「コード補完」の枠を超え、「自律的なデータ分析・実装」のフェーズへと突入しています。 本記事では、Anti…

#GoogleAntigravity#Gemini3#MCP#BigQuery#業務効率化
エニグモ開発者ブログ•2ヶ月前

【BigQuery】過去データの再作成が超絶楽になる！ループ処理でシャーディングテーブルを一気に作成する方法

こんにちは、エニグモの嘉松です。普段はデータ活用推進室にて、データ分析・データ活用の推進やMAツールを用いたCRM施策などを担当しています。 本記事はEnigmo Advent Calendar 2025の最終日（25日目）の記事です。1ヶ月間にわたり様々なテーマで繋いできたバトンも、いよいよ今回が最終回となります！ 最終回は、データ分析・データ活用の裏側を支える技術にフォーカスし、BigQueryに関する（少しディープな）知見を共有します。 時点データとは？ データ分析において、現時点のデータだけでなく「過去のある時点」のデータを保持しておくことは極めて重要です。例えば、ユーザーの注文回数、…

#Advent Calendar 2025#BigQuery#データ分析
FURYU Tech Blog - フリュー株式会社•2ヶ月前

GA4×BigQuery：スキャン量を99%削減するテーブル設計

この記事はフリューAdvent Calendar 2025の21日目の記事となります。みなさまこんにちは。 プリントシール機やピクトリンクのデータ分析をしている堀江です。もう年末ですね～、2025年もたくさんのデータと向き合いました。 日々、ユーザーの行動データを分析してサービス改善に活かしているのですが、データ量が増えるにつれてある問題が大きくなってきました。そう、BigQueryの実行コストです。今日はGA4データの集計で行ったコスト削減について、実際にやってみた内容を共有します。 はじめに 分析環境 困っていたこと やったこと 1. テーブル設計のパターン 1-a. 頻出イベントに絞る（…

#Google Cloud#GCP#BigQuery#GA4
Akatsuki Hackers Lab | 株式会社アカツキ（Akatsuki Inc.)•2ヶ月前

Redashで見栄えを良くしよう

この記事は Akatsuki Games Advent Calendar 2025 16日目の記事です。 はじめに サーバエンジニアの井出です。今年新卒で入社して、主に新規機能開発を行っています。また自分自身のサブタスクとして、チームのデータ分析も行っています。本日は自分がデータ分析のタスクの中で、「これ良いTipsだな」って思ったことを書かせていただきます！ 注意書き 本記事では、実際にタスクを進める中で学んだ事を記事にしています。そのため、一部内容を変更している箇所があります。伝えたい内容に影響はないのでご了承ください...。 概要 データ分析のタスクは、年間の売上分析、使用キャラランキン…

#Redash#SQL#BigQuery
ゼスト Tech Blog•2ヶ月前

Dataformワークフローとの出会い

最近導入したDataformのワークフローについて紹介したいと思います。 はじめに 弊社の在宅医療・介護業界向け訪問スケジュール管理サービスである「ZEST SCHEDULE」で登録・蓄積されたデータを可視化できる「ZEST BOARD」というサービスがあり、BigQuery x Looker を使ってダッシュボードのサービス提供・運用をしています。 データの流れとしては、ZEST SCHEDULEのDBに登録されたデータについて、Datastreamを使ってニアリアルタイムにBigQueryへデータが転送されます。 BigQueryに溜まったデータを、ある程度使いやすい粒度で集計・加工し、そ…

#Looker#Dataform#BigQuery
CADDi Tech Blog•2ヶ月前

SQL レビューを効率化する CI。CADDiにおける実践知

この記事は dbt Advent Calendar 2025 の16日目の記事です。 Data Management チームの森岡です。要らなくなったものをすぐに捨てられるデータ基盤を意識して日々開発しています。 この記事では、CADDi における SQL レビューを効率化するための CI の実践知について紹介します。 はじめに 生成 AI の台頭により、データエンジニアリングは大きく変わりつつあります。 CADDi では、AI エージェント「Devin」を Slack ワークフローに組み込むことで、Biz 職のメンバーでも自律的に dbt model の作成・修正が行える環境を構築しています…

#BigQuery#データ基盤
asoview! Tech Blog•2ヶ月前

アソビューのDWH一本化プロジェクト：BigQuery一本化運用開始までのステップ

はじめに アソビューAdvent Calendar 2025の12日目（表面）です。 こんにちは。アソビューでデータエンジニアをしている山野です。 アソビューのデータ基盤ではこれまでBigQueryとSnowflakeの2つのDWHを利用してきましたが、 今秋よりデータ基盤をBigQueryに一本化しました。 今回はこの一本化をする上で起きた課題やどのようなステップで一本化を進めたのか共有したいと思います。 前提・背景 アソビューのデータ基盤のこれまでの変遷、そしてハイブリッド構成から一本化を決めた経緯などについては 以下のブログで書かせて頂きましたので、ご一読いただけますと幸いです。 tec…

#データ基盤#BigQuery#Google Cloud