Looker

こんにちは、データエンジニアの中村です。 弊社ではBIツールとしてGoogle Cloudから提供されているLookerを利用しています。 Lookerの利用者も徐々に増えており、日々データ活用が進んでいることは嬉しいですが、それと比例して気になるのはダッシュボードの表示速度やクエリコスト等のパフォーマンスです。 最近AggregateAwarenessという機能を利用してパフォーマンスを改善することができたので、その機能を利用するに至った背景と、その改善効果を紹介したいと思います。 AggregateAwarenessの詳細な使い方は説明しないので、その点はご了承ください。 この記事はEni…

はじめに この記事では、LookerにおけるViewの作り方について説明します。 今回は可視化に利用するViewについて説明します。 前提のおさらい まず、LookerにおいてViewは可視化に利用する仮想のテーブルです。Lookerそのものはデータベースを管理しません。 Lookerはデータベースに対してクエリを発行してテーブルを作成、作成したテーブルをViewとして扱います。 つまり、View=テーブルという関係が成り立ちます。 Viewとテーブルの関係について深掘り Lookerは自前のデータベースあるいはデータソースを持たない関係上、接続先にあるデータベースからテーブルを参照してVie…

こんにちは。 最近は完全に分析基盤の人になっている、GMOあおぞらネット銀行でエンジニアをしているT.Kです。 担当業務は、主に当社分析基盤(GCP)全般(管理・開発・運用等々)と、昨年末に導入したBIツールLookerの全般(管理・開発・運用等々)となっています。さて、今回のブログも前回と同様にAML関連で進めて行こうと考えています。 今回の内容は、前回のブログで触れた不正口座ネットワーク可視化の前段処理となる、特定条件にHITする取引の抽出処理に関してとなります。 また、前述のBIツールのLookerを導入したので、こちらにも少し触れていこうと思います。 取組みの背景 目標設定 準備 要件…

こんにちは！shunです。私はタイミーのデータ統括部でデータ分析やLooker開発を担当しています。今回は、社内のLooker利用者へのユーザーインタビューを実施し、得られた知見についてお話しします。 背景と目的 データ統括部では、各組織がデータを元に意思決定の質やスピードを向上させビジネスインパクトを生むことを目指して、BIツールとしてLooker上のデータ探索環境を開発、提供しています。 Looker開発依頼の相談窓口の設置や利用者向けの講習会の実施、利用者数のモニタリング等をしていますが、Lookerの使い方や課題感やデータを使った意思決定へのハードルについて、実際の声を聞く機会がなかっ…

初めてBIツールを使った時に混乱したのが「ディメンション」と「メジャー」の違いでした。 ここでは簡単にその違いや考え方を解説しようと思います。 名称 Tableauでは「ディメンション」と「メジャー」と呼びます。 PowerBIでは「列」と「メジャー」と呼びます。 Lookerでは「ディメンション」と「指標（metrics）」と呼びます。 呼び方は違えど、どれも同じ内容を指しています。 サンプルデータ 下記の年度・都市・商品別売上データを元に解説します。 Excelのグラフ Excelはテーブルのデータをそのまま１対１にプロットしてグラフを描きます。 Excelの集計グラフ 年度や都市などで合…

こんにちは。データエンジニアの谷元です。 この記事は Enigmo Advent Calendar 2022 の21日目の記事です。 目次 はじめに どうしてデータ基盤を最適化する必要があるの？ どうしたら改善できるの？ 現状のデータ基盤のおさらい 主要なBUYMA基幹データの最新ビューに着目してみる 最新ビューをどう変更するの？ システム概要としてはどんな感じ？ この方針で思ったこと BQ履歴テーブルの作成方針だけど 本当にその方法で改善するの？ 運用保守する上で気になっていたこと 見込み効果はどうなの？ 実装する上で意識したところ BQ履歴テーブル作成前提となるDAG依存関係 本番データを…

はじめに BIツールで使い易いテーブルについて 設計ドキュメントからBIツールのモデルファイルを自動生成する LookMLのラベル機能 caseによるラベリング LookMLの継承機能 Viewファイル自動生成ツールの実装 ビルドスクリプト main関数の実装 Excelのパーズ処理 Viewファイルの書き出し処理 まとめ はじめに このエントリは、Looker Advent Calendar 2022における17日目の記事です。 本日は、基幹システムのような歴史的な蓄積がある既存のデータを後付けで可視化する際に問題となる項目のラベリングに関するノウハウを説明します。 蓄積のあるデータベースに…