Hatena Blog Tags
はてなブログ トップ
BigQuery
このタグでブログを書く
言葉の解説
ネットで話題
関連ブログ

BigQuery

このタグの解説についてこの解説文は、すでに終了したサービス「はてなキーワード」内で有志のユーザーが作成・編集した内容に基づいています。その正確性や網羅性をはてなが保証するものではありません。問題のある記述を発見した場合には、お問い合わせフォームよりご連絡ください。
OpenWork Tech Blog•11日前

BigQuery上でCVRを求めてp値まで計算する方法

こんにちは。 オープンワーク株式会社アナリストグループ所属の佐々木といいます。 弊社では、アナリストがA/Bテストを集計する際にはBigQueryでクエリを書いています。 その際に差が有意かどうかを判断の参考にするためにp値を算出していますが、p値を計算するためだけに、 いったんスプレッドシートやエクセルに集計結果を貼り付けたりPythonで計算したりなどして二度手間になっていました。 そこでBigQuery上で集計するときに、2つの群に対して比率の差を検定したいときに、p値まで算出できる方法を他社事例も参考にして、工夫しました。 具体的には、JavaScriptの統計ライブラリjStatをG…

#データ分析#BigQuery

関連ブログ

JBS Tech Blog•1ヶ月前

BigQuery初心者がデータ分析を始めてみた【第3回】公開データセットとパーティション分割

BigQueryには公開データセットが用意されており、無料で大規模データを分析できます。また、パーティション分割を活用することで、スキャン量とコストを大幅に削減できます。 本記事では、Google Trendsのデータセットを使って、これらの応用機能を実際に体験していきます。 はじめに 公開データセットへのアクセス アクセス手順 テーブル構造の確認 パーティション分割テーブルの活用 パーティションを使わないクエリ パーティションを使ったクエリ スキャン量の比較 パーティション分割が有効な場面 その他のBigQuery独自機能 クラスタリング マテリアライズドビュー BI Engine クエリコ…

#BigQuery#Google Cloud (GCP)#データベース#Google
JBS Tech Blog•1ヶ月前

BigQuery初心者がデータ分析を始めてみた【第2回】ネイティブテーブルと外部テーブルの使い分け

BigQueryには、ネイティブテーブルと外部テーブルの2種類のテーブルがあります。それぞれにメリット・デメリットがあり、用途に応じて使い分けることが重要です。 本記事では、実際に両方のテーブルを作成し、パフォーマンスやコストの違いを比較しながら、使い分けのポイントを解説します。 はじめに 外部テーブルの作成 スプレッドシートの準備 外部テーブルの作成手順 ネイティブテーブルと外部テーブルの比較 パフォーマンスの違い コスト管理の違い スプレッドシート外部テーブルの利点 使い分けのポイント まとめ はじめに 【第1回】では、BigQueryの基本操作として、ネイティブテーブルの作成とクエリ実行…

#BigQuery#Google Cloud (GCP)#データベース#Cloud#Google
JBS Tech Blog•1ヶ月前

BigQuery初心者がデータ分析を始めてみた【第1回】プロジェクト作成からクエリ実行まで

BigQueryとは、Googleが提供するフルマネージドのクラウドデータウェアハウスサービスです。大量のデータを高速に分析できることが特徴で、サーバーの管理やインフラの構築が不要なため、データ分析に集中できます。 本連載では、BigQueryの基本操作から応用機能まで、実際に手を動かしながら学んでいきます。第1回では、プロジェクトの作成からクエリ実行までの基本操作を紹介します。 はじめに BigQueryの特徴 サーバーレスで管理不要 高速なクエリ処理 従量課金制 Google Cloudとの親和性 前提条件 Google Cloudアカウントの作成 Google Cloudプロジェクトの作…

#BigQuery#Google Cloud (GCP)#データベース#Cloud#Google
コネヒト開発者ブログ•1ヶ月前

Dataformの開発環境を晒してみる（Visual Studio Code with Dev Containers）

みなさんこんにちは。たかぱい（@takapy0210）です。 今回は、コネヒトを支えるデータ基盤の後編ということで、Dataformの開発環境について晒そうと思います紹介しようと思います。 「ワイのところはこんな感じの環境で開発しているよ！」などあればコメントいただけると大変嬉しいです！ 前回の記事はこちら tech.connehito.com 目次 はじめに 開発環境の課題と解決策 VS Code with Dev Containersによる開発環境 Dockerfileの構成 devcontainer.jsonの設定 Dataform tools拡張機能の活用 コンパイル後のクエリと Dr…

#Dataform#BigQuery#VS Code
$ make life•1ヶ月前

【読書感想文】BigQueryではじめるSQLデータ分析 GA4 & Search Console & Googleフォーム対応

はじめに セキュリティエンジニアとして仕事をしている中で、直近数年はSQLを利用する機会が非常に増えた。しかしながら、開発者としてのキャリアを通っていないため、自分自身にはデータベースに関する知識はそこまで多くない。もう少し正確にいうと、SQLインジェクションのTipsや対策など、非常に限定した場面で生きるSQLの知識しか持っておらず、SQLの本来の価値である検索や分析といった観点での勉強はほとんどしたことがなかった。そのため、常に各クエリはSQL習いたてのような人が書くものであった。流石にこの状況を打開した方が良いなと思い重い腰を上げて勉強しようと思って本を探していた。今の時代AIがSQLを…

#BigQuery#SQL
テテマーチ Tech Blog•1ヶ月前

BigQueryで取得した数値をPHPで扱うときに気をつけること

はじめに どんなエラーが出たのか エラー原因について INTEGER型の場合 NUMERIC型の場合 解決法 DDLステートメントを利用して型を変更する PHP側で型を変換する 選択した解決方法 まとめ 参考リンク はじめに こんにちは！SINIS for Instagram開発チーム在籍のヒロ氏と申します。 SINIS for InstagramではInstagram Graph APIから取得したデータを一部BigQueryに保存しており、そこから中央値や平均値を算出しています。 ある日、BigQuery内でデータ移行作業を行うことになり、その一環として移行先のテーブルを新規作成しました。…

#PHP#Laravel#BigQuery#BI
コネヒト開発者ブログ•2ヶ月前

Firebase Analytics × BigQuery × Dataformで構築するデータ基盤

みなさんこんにちは。たかぱい（@takapy0210）です。 最近、ほぼ日手帳アプリで、毎日日記をつけるようにしています。 不思議なことに日記をつけるとなると、何かしら写真を撮りたくなってしまい、毎日何気ない風景などの写真を撮るようになりました。 まだ継続して1ヶ月強くらいですが、過去の日記を振り返るのが楽しいです。 さて今回は、コネヒトを支えるデータ基盤の現在地について前後編の2部構成で紹介していこうと思います。 前編となる本記事では、アーキテクチャの設計やFirebase AnalyticsのRAWデータをどのように扱っているのかについてご紹介します。 後編では、Dataformの開発環境…

#データ基盤#BigQuery#Dataform
無駄と文化•2ヶ月前

BigQueryの課金モデルを見直してコスト削減した

GA4 のイベントデータを BigQuery にエクスポートして分析しています。 1日あたりのデータは数GB程度なんですが、毎日蓄積されつづけるのでコストが気になりますね。 なので課金モデルを見直してコスト削減してみました。 3行まとめ 課金モデルを「論理課金(デフォルト)」→「物理課金」に変更 ストレージコストは約20%に圧縮 UPDATE が多いデータセットでは逆に高になることもある ストレージコスト圧縮により全体コストは約50%になった BigQuery の課金モデル BiqQuery ではストレージとクエリ実行に課金されます。 そのうちストレージ課金は、 Logical (論理課金) …

#BigQuery#コスト最適化
ITANDI Engineer Blog•2ヶ月前

1,600テーブルを支えるデータ転送の最適化：3つのパターンによるBigQuery集約の実践

はじめに イタンジ株式会社のデータチームでマネージャーをしている山崎です。 私のチームで整備してきたデータ基盤は社内のKPIダッシュボードや問い合わせの調査対応で日々使われています。また、基盤側で作った成果物をプロダクトで活用したり、お客様向けのデータをさまざまな形で届けたりするための土台にもなっています。 今回は稼働中のデータベースからBigQueryへデータを集約する仕組みの全体像と、テーブルの規模や更新頻度に合わせて使い分けている3つの転送パターンを紹介します。 システム全体像 イタンジのデータ基盤はAirflowとBigQueryを中心にした構成です。 現在、プロダクトのバックエンドと…

#BigQuery#データ基盤#Airflow