データマート

１．はじめに 皆さん、初めまして。 ビッグデータ推進課のskybluefantasistaです。 ほころび始めた桜のつぼみに、春のきざしが感じられる時節となりました。 すれ違う人ごみの中に振袖を着た方を見ると、去年大学を卒業した自身の姿を思い出します。時の流れは早いなと感じたひとときでした。 ここからは、そんな社会人1年目である私が今年感じたことなどを綴っていきたいと思います。 ２．１年目を振り返ってみて ２－１．在宅での研修 入社した翌日からは皆さんご存じの通り、研修期間があります。自分にとって「社会人になるというとはどういうことなのか」を考える良い機会だったと感じています。もちろん技術面に…

ヘルスビッグデータを強みとし、すべての人がよりよい医療を受けることができる環境を実現するために事業を推進するJMDCには、様々なバックグラウンドを持ちながら、志を同じくするメンバーが集まっています。今回は、2023年度に中途入社でジョインをした若手エンジニア3名に、JMDCへ入社を決めた理由や現在携わっている業務についてインタビューを行いました。 ■座談会メンバー紹介 石井 海渡（いしい かいと）データウェアハウス開発部 保険者基盤グループ臨床検査技師として3年間従事した後、医療知識を活かしながら別の職種へ挑戦するためSES企業に入社。電子カルテシステムの保守や臨床検査システムの開発を経験。ラ…

storesinc.tech STORESさんの自社テックカンファレンス「STORES Tech Conf 2024 "New Engineering"」を聴講してきました。 特定の会社さんが主体のカンファレンスを初めて体験しましたが、OPムービーがあったりとか、会社さんの汎用のノベルティでなくこの会専用デザインのものをいただいたりして、すごいパワーを感じました。また、いつも他の参加者のみなさんの意見を眺めるための場としてTwitter(X)を利用していますが、今回はDiscordが開設されていました。Discordで感想のTimelineもみれるし、疑問/質問があればスタッフさんに聞ける場所…

はじめに こんにちは。 レバレジーズ データ戦略室の須賀です。 今回は2024年9月20日(金)にSalesforce Towerで開催された「人材サービス業界 Tableau Meetup」のイベントレポートをお届けします。 本イベントは同業他社企業のデータ活用人材同士の交流を目的にSalesforce社主催で開催され、今回は人材サービスを運営する様々な企業から、15社35名が参加しました。 本イベントでは、主に以下の内容についてレバレジーズを含む3企業から発表がありました。 - 人材サービスにおけるデータ利活用の課題やナレッジ共有(ビズリーチ社、レバレジーズ) - Tableauの最新機能…

データを利活用してカスタマー・クライアント双方の「不」の解消を目指してきたリクルートが、今注力する領域は「データを用いた意思決定の質向上」とそのための「データの整備」です。そこにフルコミットするため、新たに生まれた職種がアナリティクスエンジニアです。例えば、図書館を作るのがデータエンジニアで、図書館に収納された本を使って価値を生み出すのがデータサイエンティストだとすれば、本の整理や目録の作成などを通じてさながら司書のような役割を果たすのがアナリティクスエンジニアです。言うなれば「データの整備人」。リクルートにおいては、データを用いた意思決定を加速させるうえで、必要不可欠の存在です。とはいえ、ま…

こんにちは、STORES のえんじぇるです。 STORES は、初めてとなる自社テックカンファレンス STORES Tech Conf 2024 "New Engineering" を、2024年9月25日（水）に浅草橋ヒューリックホール ＆ヒューリック カンファレンスで開催します。参加は招待制となりますので、参加をご希望される方はお知り合いの STORES 社員にお声がけいただけますと幸いです。 数年前から開催したいという思いがあったので、開催できることを嬉しく思います！ワクワクとドキドキが入り混じりつつ、ゲストのみなさま、社内のみんなが楽しめるように鋭意準備中です。 先日タイムテーブルを公…

こんにちは！ STORES でデータエンジニアとして、データ基盤の開発運用を担当している@ssxotaです。 STORES には2024年の1月に入社しました。 前職ではデータレイクの立ち上げや、データを利用したプロダクトの開発には携わってきましたが、 本格的なデータ基盤を扱うのは STORES に来てからが初めてでした。 チームのメンバーに助けて貰いながら業務に取り組んでいたら、光陰矢の如し！あっという間に8ヶ月が経っていました。 今回は私が入社してからの間でキャッチアップした STORES のデータ基盤の全体像を説明したうえで、今後の展望を紹介し、STORES のデータ基盤の今をお伝え出来…

はじめに Findyでデータエンジニアとして働いている開（hiracky16）です。 この記事ではGoogle Cloudの製品であるCloud DLPを中心に弊社で取り組んでいるデータマスキングについて紹介します。 弊社はFindyやFindy Freelanceなど人材に関する事業を取り扱っているため個人データがより集まりやすい環境にあります。 ファインディの組織が日々拡大しサービス拡張していく中で、利用者の安全性を担保し、データにおけるリスクを低くするためのデータ基盤づくりが求められてきました。 データ基盤には事業部のデータを集約しているため、利用者にすべてを公開してしまうと運用を誤り、…

目次 目次 概要 メモ 用語 select distinct（ディスティンクト） coalesce（コアレス） case when then else end where null in between all some・any exists order by group by 集約関数 count() having 関係代数 和(UNION) 差(EXCEPT) 積（共通集合）（INTERSECT） 直積（CROSS JOIN） 商 結合 内部結合（INNER JOIN） 左外部結合（LEFT OUTER JOIN） 右外部結合（RIGHT OUTER JOIN） 全外部結合 副問合せ 相関…

はじめに 最近、「DMM.comを支えるデータ駆動戦略」という書籍を読みました。 有益な情報がたくさん詰まった良書だったのでご紹介します。 book.dmm.com 感想 データを使った事業推進について深く学べて勉強になりました！ 『https://t.co/NMUREF6u58を支えるデータ駆動戦略』データを活用した事業展開について体系的に学べる書籍。ただプロダクトを作ってリリースするのではなく、データを収集して活用する仕組みが重要！スクラムやXPについても書かれていて勉強になりました📚https://t.co/ftMSeUbQmX pic.twitter.com/OTCmteyfOX— 矢…

はじめに 初めまして。 2024年の５月に入社した梶山です。 今回はEC運営からデータエンジニアに転職し、3ヶ月の研修が終了しましたので感想をまとめたいと思います。

はじめに こんにちは。レバレジーズデータ戦略室の辰野です。 前回は、昨年の10月頃にDataformを利用したデータ分析基盤の構築について*1お話しましたが、そこにも記載がある通り、レバレジーズではDWHとしてBigQueryを使用しているため、データ利活用に関わる開発はGoogle Cloudのサービスを使用することが多いです。 というわけで今回は、私がこれまでにGoogle Cloudのサービスを活用した業務の中から「WorkflowsとCloud Functionsを使ったデータマート更新～BIツールのデータソース更新事例」についてご紹介できればと思います。 「Google Cloudの…

前提 DWHやデータマートのリファクタリング、あるいは軽微なカラム追加をした際、意図せず差分が起きていないかを確認したい場面は多いでしょう 「一個カラムを追加するために一個JOINを増すだけ」と思ったら、JOIN先のテーブルに重複があってfan-outしていた、ということはありがち 比較には行数比較だけでなく、レコードの中身も比較した上で差分がない、ということを確認したいです 数件しか違わなくても、その数件の違いが重要ということもよくあります テーブル同士の差分比較をするにはEXCEPT DISTINCTを両方向からしてあげる、というのが常套手段です BigQueryで2つのテーブルの差分を求…