BigQuery

こんにちは。 オープンワーク株式会社アナリストグループ所属の佐々木といいます。 弊社では、アナリストがA/Bテストを集計する際にはBigQueryでクエリを書いています。 その際に差が有意かどうかを判断の参考にするためにp値を算出していますが、p値を計算するためだけに、 いったんスプレッドシートやエクセルに集計結果を貼り付けたりPythonで計算したりなどして二度手間になっていました。 そこでBigQuery上で集計するときに、2つの群に対して比率の差を検定したいときに、p値まで算出できる方法を他社事例も参考にして、工夫しました。 具体的には、JavaScriptの統計ライブラリjStatをG…

BigQueryには公開データセットが用意されており、無料で大規模データを分析できます。また、パーティション分割を活用することで、スキャン量とコストを大幅に削減できます。 本記事では、Google Trendsのデータセットを使って、これらの応用機能を実際に体験していきます。 はじめに 公開データセットへのアクセス アクセス手順 テーブル構造の確認 パーティション分割テーブルの活用 パーティションを使わないクエリ パーティションを使ったクエリ スキャン量の比較 パーティション分割が有効な場面 その他のBigQuery独自機能 クラスタリング マテリアライズドビュー BI Engine クエリコ…

BigQueryには、ネイティブテーブルと外部テーブルの2種類のテーブルがあります。それぞれにメリット・デメリットがあり、用途に応じて使い分けることが重要です。 本記事では、実際に両方のテーブルを作成し、パフォーマンスやコストの違いを比較しながら、使い分けのポイントを解説します。 はじめに 外部テーブルの作成 スプレッドシートの準備 外部テーブルの作成手順 ネイティブテーブルと外部テーブルの比較 パフォーマンスの違い コスト管理の違い スプレッドシート外部テーブルの利点 使い分けのポイント まとめ はじめに 【第1回】では、BigQueryの基本操作として、ネイティブテーブルの作成とクエリ実行…

BigQueryとは、Googleが提供するフルマネージドのクラウドデータウェアハウスサービスです。大量のデータを高速に分析できることが特徴で、サーバーの管理やインフラの構築が不要なため、データ分析に集中できます。 本連載では、BigQueryの基本操作から応用機能まで、実際に手を動かしながら学んでいきます。第1回では、プロジェクトの作成からクエリ実行までの基本操作を紹介します。 はじめに BigQueryの特徴 サーバーレスで管理不要 高速なクエリ処理 従量課金制 Google Cloudとの親和性 前提条件 Google Cloudアカウントの作成 Google Cloudプロジェクトの作…

はじめに セキュリティエンジニアとして仕事をしている中で、直近数年はSQLを利用する機会が非常に増えた。しかしながら、開発者としてのキャリアを通っていないため、自分自身にはデータベースに関する知識はそこまで多くない。もう少し正確にいうと、SQLインジェクションのTipsや対策など、非常に限定した場面で生きるSQLの知識しか持っておらず、SQLの本来の価値である検索や分析といった観点での勉強はほとんどしたことがなかった。そのため、常に各クエリはSQL習いたてのような人が書くものであった。流石にこの状況を打開した方が良いなと思い重い腰を上げて勉強しようと思って本を探していた。今の時代AIがSQLを…

はじめに どんなエラーが出たのか エラー原因について INTEGER型の場合 NUMERIC型の場合 解決法 DDLステートメントを利用して型を変更する PHP側で型を変換する 選択した解決方法 まとめ 参考リンク はじめに こんにちは！SINIS for Instagram開発チーム在籍のヒロ氏と申します。 SINIS for InstagramではInstagram Graph APIから取得したデータを一部BigQueryに保存しており、そこから中央値や平均値を算出しています。 ある日、BigQuery内でデータ移行作業を行うことになり、その一環として移行先のテーブルを新規作成しました。…

みなさんこんにちは。たかぱい（@takapy0210）です。 最近、ほぼ日手帳アプリで、毎日日記をつけるようにしています。 不思議なことに日記をつけるとなると、何かしら写真を撮りたくなってしまい、毎日何気ない風景などの写真を撮るようになりました。 まだ継続して1ヶ月強くらいですが、過去の日記を振り返るのが楽しいです。 さて今回は、コネヒトを支えるデータ基盤の現在地について前後編の2部構成で紹介していこうと思います。 前編となる本記事では、アーキテクチャの設計やFirebase AnalyticsのRAWデータをどのように扱っているのかについてご紹介します。 後編では、Dataformの開発環境…