LookML

こんにちは、id:masutaka26 です。先週に引き続いてのブログ更新です。 Ruby や JavaScript などのプログラミング言語では、依存関係を管理することでコードの再利用性を高めるとともに、バグの少ないコードを書くことが出来ます。ただ、LookML はプログラミング言語ではないため、同じ方法が使えません。 今回は LAMS という LookML Linter を導入することで、LookML の再利用性を高める糸口を見つけました。LAMS を紹介しつつ、その知見を共有します。 LAMS とは 導入方法 ルールの免除 LookML の再利用性を高められた F1 ルール 注意事項 ま…

こんにちは、id:masutaka26 です。 この記事は Looker Advent Calendar 2021 の 13 日目の記事です。 qiita.com 昨日は Yappli 阿部さんの「Lookerの目標値やストップワードを、Googleスプレッドシート連携でお手軽管理【Sexy Tech for You #9】」でした。Looker を使うとこのような LookML を書くだけで、ビジネスユーザーが SQL を書くことなく、本業に集中できるのはとても良いですよね。 個人的には、SQL ベースの派生テーブルの中で join するよりも、explore で join したほうが Lo…

はじめに 初めまして。プラットフォーム開発部にてデータ基盤を整備しているkashiraと申します。 ピクシブでは中央集権的なデータ組織ではなく、非中央集権的なデータ組織(データの民主化)を目指して活動してきました。 その結果データメッシュに近い形で運用出来ていると感じているので、これについて話したいと思います。 ピクシブで非中央集権データ組織を採用した背景 ピクシブでは社員数に対してプロダクト数が多い事情があります。(2023年3月1日時点で正社員294人、15プロダクト) 正しいデータ分析をすることにおいて深いドメインの理解は必須であり中央のデータチームで全てのデータを分析することは現実的に…

こんにちは、teratail運営チームです。 先日の「意見交換機能」のリリースに伴い、意見交換の質問に適したタグを新たに追加しましたのでお知らせいたします。 これまでは「プログラミングが可能であること」などといった判断基準でタグの追加を行っておりましたが、 意見交換では必ずしもプログラミングに関連した内容に限らないため、この度意見交換の質問に使いやすいタグを幾つか追加いたしました。 今回追加されたタグ 今回追加したタグは以下の通りです。 ※技術的なタグも併せて追加しておりますので、ご確認ください。 キャリア 未経験 学習法 技術選定 書籍 ノーコード・ローコード 教育 設計相談 プロジェクト管…

はじめに BIツールで使い易いテーブルについて 設計ドキュメントからBIツールのモデルファイルを自動生成する LookMLのラベル機能 caseによるラベリング LookMLの継承機能 Viewファイル自動生成ツールの実装 ビルドスクリプト main関数の実装 Excelのパーズ処理 Viewファイルの書き出し処理 まとめ はじめに このエントリは、Looker Advent Calendar 2022における17日目の記事です。 本日は、基幹システムのような歴史的な蓄積がある既存のデータを後付けで可視化する際に問題となる項目のラベリングに関するノウハウを説明します。 蓄積のあるデータベースに…

Rettyのデータ分析チームMGR平野です。 今回はRettyにデータアナリストスキル定義の作成とFB制度を導入した話です。 データアナリストスキル定義＆FB制度の作成は、今年の4月に着手スタート、メンバーと議論を重ねて8月末に完成しました。そして、9月には初の運用をスタートさせ、メンバーからの所感やフィードバックをもらったところです。 まだまだ粗削りで改善点はあるものの、このタイミングで紹介させていただき、皆さんからのフィードバックを受けてもっと良くできればと思っています。 また、このデータアナリストスキル定義は、Rettyの現状と未来に必要なスキルを定義しています。そのため、必ずしも各社の…

久しぶりにオンライン勉強会にリアルタイム参加しました。 techplay.jp 夕方から夜は家族との食事などに時間を使っているので勉強会に参加する機会が減ってしまいました。アーカイブ動画が公開されたら後日見る程度になっていました。今回の勉強会は業務で取り組んでいるデータ分析基盤にテーマにしていて、内容にとても興味があったので参加しました。 PayPayデータ基盤チーム立ち上げ・チームの役割や運営について 2018年10月にPayPayローンチ、2020年10月にデータマネジメントチームが立ち上がる 課題 DWH周り PayPayアプリのデータをBigQueryに数時間おきに同期 SQLを書ける…

こんにちは。自称 Looker エバンジェリストの id:masutaka26 です。 今日は Spectacles というツールを導入して、Looker インスタンスの健全性を高められた話を紹介します。 Spectacles とは 4 種類のテスト 基本的な振る舞い どのテストを採用し、どのような課題を解決したのか SQL validation Assert validation Content validation LookML validation どのような GitHub Actions にしたのか CI workflow Schedule workflow 落ち穂拾い 作業ブランチの…

齋藤です。 前回のブログはアドベントカレンダーのときだったので、約8ヶ月ぶりのブログです。 今回はGA4ではなく、本日発売したLookerの導入本『データ分析BIツール Looker導入ガイド』に関してお話します。 （GA4の導入が済んでいないよ！という方はぜひこちらの記事もよろしくお願いいたします！GA4のコンバージョン設定の仕方） データ分析BIツール Looker導入ガイド作者:齋藤 圭祐,大沢 大樹,喜早 彬,皆葉 京子マイナビ出版Amazon このブログでLookerを取り上げるのは初なので、Lookerの紹介を簡単に記載します。 Lookerについて LookerはGoogle C…

挨拶 こんにちは。BALES CLOUDエンジニアの井上（エース）です。 BALES CLOUDは最近アナリティクス機能をリリースしました。この機能は、ユーザーのこれまでのコールやメールのデータをユーザーの好きな形で分析できるものです。 トップページの機能一覧の右上に表示されています。 この機能はSisenseの埋め込み機能を利用しています。SisenseはLookerやTableauのようなBIツールの一つですが、アプリケーションへ埋め込みが特に想定されているようで、非常に簡単にアナリティクス機能をBALES CLOUDに組み込むことができました。 話は変わるのですが、前回の私の記事ではLo…

こんにちは、データ基盤グループの吉田(id:syou6162)です。データ基盤やデータマネジメントに興味を持たれている方はDMBOKを持っている / 読んだことがあるという方も多いのではないでしょうか。このエントリではDMBOK中に紹介されているデータマネジメント成熟度アセスメント(以下、アセスメントと省略)をモノタロウでどう活用しているかについて紹介します。 背景 初手: 自社のデータ基盤の歴史を振り返る アセスメントの実施 データ活用者 / システム提供者 / 意思決定者へのヒアリングの実施 アセスメントを実施した結果 最後に 背景 まず、モノタロウでなぜアセスメントを行なったかについて説…

記事一覧 [サーバーワークス エンジニアブログ] LinuxサーバーでCloudWatch エージェント設定ファイルの名前を特定する方法 (2022-06-25) [サーバーワークス エンジニアブログ] 【GuardDuty】S3の検出タイプの詳細と対応方法をまとめてみた (2022-06-24) [Link and Motivation Developers' Blog] Link and Motivation に入社して3ヶ月が経ちました 🙌 ~ エンジニアが非IT企業で働くという選択肢 ~ (2022-06-24) [赤帽エンジニアブログ] Cryostat 2.0によるカスタムJFRイ…