データマネジメント

こんにちは。法人顧客データを対象としたデータマネジメントを行っているリードストラテジストの田中です。私の所属する「デジタルテクノロジー統括部」では、これまでデータマネジメントに関する取り組みやその考え方を記事にして公開してきました。 私自身もビジネス職としてデータ分析をずっと行ってきましたが、昨年の4月からデータマネジメントをはじめ、その面白さを感じ、イベントなどを通じて発信をしてきました。 そこで今回は、株式会社バンダイナムコネクサスでデータマネジメントを行う吉村様をお招きし、データマネジメントの醍醐味や得られるスキル、キャリアなどお話を伺った様子をお届けします。 自己紹介 データマネジメン…

データとは情報を使いやすくしたもの 情報を使いやすくしたもの、がデータです 1. 定性化と定量化で使いやすくする 情報を使いやすくする方法として、定性化と定量化という方法があります 2. 定性化 分類をして、それって〇〇だよねと決めること、が定性化です 物事をカテゴリーで分けることで どのカテゴリーごとに同じ特徴があるとか 同じ傾向があるとか調べる時に使います 定性化の例 職業、性別、地域 勝敗、優劣、順位、方向 図書分類（日本十進分類法） 3. 定量化 数値として、それっていくつだよねと判別できること、が定量化です 数えることができ その数値を比較することで 違いがわかります 定量化の例 重…

CDMP is なに データマネジメントに関する国際資格 米国の非営利団体 DAMA International が運営 世界 98 か国で 7,372 名の資格保有者（2023 年 8 月時点）→ 9,176 名（2024 年 5 月時点） CDMP は 4 レベル Associate: Fundamentals Exam 60% 以上 Practitioner: Fundamentals Exam 70% 以上かつ Specialist Exams 2 つ以上合格 Master: Fundamentals Exam 80% 以上かつ Specialist Exams 2 つ以上合格 Fel…

たかぱい（@takapy0210）です。 正月にGoogle CloudのDataformをゴニョゴニョ触っていたので、その備忘録を残しておこうと思います。 Dataformとは dbtとの違いは...？ 使用したデータ 実際に動かしてみる 基本的な設定を記載する「dataform.json」 Dataformのディレクトリ構成はどうするのが良いのか 実際に記述するsqlxのコード definitions/sources/mansion.sqlx definitions/outputs/day_aggregated_by_city.sqlx スケジュール実行する Githubと連携してコード管…

はじめに 初めまして。プラットフォーム開発部にてデータ基盤を整備しているkashiraと申します。 ピクシブでは中央集権的なデータ組織ではなく、非中央集権的なデータ組織(データの民主化)を目指して活動してきました。 その結果データメッシュに近い形で運用出来ていると感じているので、これについて話したいと思います。 ピクシブで非中央集権データ組織を採用した背景 ピクシブでは社員数に対してプロダクト数が多い事情があります。(2023年3月1日時点で正社員294人、15プロダクト) 正しいデータ分析をすることにおいて深いドメインの理解は必須であり中央のデータチームで全てのデータを分析することは現実的に…

各事業部ごとに、それぞれが担当する法人向けサービスのデータを保有しているパーソルキャリア。垣根を越えてデータ活用を実現すべく、顧客データ基盤を構築したプロジェクトがスタートし、前回は取り組みの全体概要について詳しく話を聞きました。 本プロジェクトでは、データ仮想化・統合ツール「Denodo」を採用してこれまでのデータ統合における課題を解決し、開発工数の削減や拡張性の向上を実現したのだといいます。 パーソルキャリアでは初となる「Denodo」活用の裏側には、どのようなポイントがあったのでしょうか。データとテクノロジーを司るデジタルテクノロジー統括部のエンジニアである寺本、井上、渡邉に話を聞きまし…

こんにちは、マーケティング部門広告グループの小林です。この記事ではオンライン広告運用に使っているデータ変換処理をdbtに移行した過程と得られた効果についてご紹介します。 モノタロウでは、全社的なデータ活用研修などにより、マーケティングのようなビジネス系の部署でも、SQLを自身で書いてデータ抽出を行い、数字に基づいた意思決定を行っています。その一方で、集計後の数値のズレやドメイン固有のデータの品質管理など、活用が進んだ企業ならではの課題というのも表面化してくるようになってきました。 オンライン広告運用においては、投下した費用など配信実績のレポーティング、広告媒体へのデータ送信などのいわゆるELT…

はじめに こんにちは。株式会社LegalOn Technologies データマネジメントチームでアナリティクスエンジニアをしております、須賀です。 この記事は、datatech-jp Advent Calendar 2024 *1 の19日目の記事として執筆されました。 *1: datatech-jp とはデータエンジニアリング、データ活用についての知見を共有したり、交流するためのコミュニティです。 時々輪読会の企画が案内され、私自身も何度か参加して他の方と議論する場として利用しています。 詳細はこちらをご覧ください。 https://datatech-jp.github.io /

1. 概要:LLMを使ったマスターデータマネジメント 2. ジャンルメタデータの課題と対策 3. ジャンル集約プロセスの詳細 3.1. 実行プロンプト 3.2. 工夫した点:2階層構造の採用とジャンルの粒度調整 3.3. はまった点:LLMが苦手とする領域での工夫 4. 実施結果 5. まとめ 1. 概要:LLMを使ったマスターデータマネジメント NTTドコモ データプラットフォーム部の外山です。 NTTドコモでは、携帯回線事業の他、お客様の新たなライフスタイルを創出するスマートライフ事業を運営しており、 とりわけエンターテインメント領域では、書籍、映像サービスを提供しています。 豊富なコンテ…

いきなりのお知らせですが, 私shinyorkeは年内で現職（某大手外資系ITコンサル企業*1）を退職します（本日12/13が最終出社でした）&来年から再びプロダクトを取り扱うベンチャー企業*2でエンジニアとして働くことになりました（まだ予定ですが）&その転職活動から爆誕したコンテンツがこの記事です. 現職の皆様, 本当にお世話になりました&次の働き先はもうすぐ決まる見込みです*3. 退職と転職の話は後日別のブログで語ることにしますが, 約3年ぶりの転職活動（40代になってから二回目）は本当に苦労しました. エンジニアの転職プロセスは色々ありますが, 通常の面接・選考(過去経歴, いくつかの質…

この記事は、NTT Communications Advent Calendar 2024 12日目の記事です。 Azure Databricksを使ってレイクハウスアーキテクチャのログ基盤を構築し、 構造化されていないアプリケーションログの保管や加工、分析を試します。 はじめに レイクハウスアーキテクチャ ログ基盤とレイクハウス Azure Databricksでアプリケーションログを分析する Azure Databricksの準備 Terraformを使ったリソース作成 カタログとスキーマの作成 ログの取り込み ログの加工 BronzeからSilver SliverからGold ログの分析…

KADOKAWA デジタル戦略局 グループデータマネジメント部（出向）の中野 (takamoto) です。 足掛け2年半の ADR 活用事例紹介 〜 ADR から始める設計ドキュメント改善 - KADOKAWA Connected Engineering Blog などの過去記事から所属は変化していますが、変わらずデータプラットフォーム上のデータパイプラインの開発・運用を主に担当しています。 私の所属しているチームでは データプラットフォーム統合プロジェクトの紹介 - KADOKAWA Connected Engineering Blog で紹介している Snowflake 環境上に構築された…

はじめに はじめまして。食べログ開発本部技術部の齋野です。早いもので入社してから4ヶ月ほどが経ちました。「データサイエンスチーム」というチームに所属しており、食べログのデータ基盤の開発、保守運用を担当しています。 現在、食べログのデータ基盤にdbt1を導入する計画が進行中です。 この記事では主にデータエンジニアリング職の方に向けて、現在稼働中であるGoogle Cloud上のデータ基盤にdbtを導入する際、移行に伴うデグレやオーバーヘッドを避けるための工夫について、食べログの事例をもとに紹介します。 稼働中のデータ基盤にdbtを導入したい SQLを効率的に書きたい、データ変換処理の依存関係やメ…

・『データマネジメントが30分でわかる本』 分析以前に、そもそも分析するためのデータをどこから取ってきてどこに保存するか、そのデータベースをどう管理するのかなど、データを扱うための基盤を確保するために何をするべきかこの本は教えてくれます。 データマネジメントが30分でわかる本 作者:ゆずたそ,はせりょ,株式会社風音屋 Amazon ・『実践的データ基盤への処方箋〜 ビジネス価値創出のためのデータ・システム・ヒトのノウハウ』 上の本の著者の方の別の本です。 実践的データ基盤への処方箋〜 ビジネス価値創出のためのデータ・システム・ヒトのノウハウ 作者:ゆずたそ,渡部 徹太郎,伊藤 徹郎 技術評論社…

レベニューオペレーション(RevOps)の教科書 部門間のデータ連携を図り収益を最大化する米国発の新常識（MarkeZine BOOKS）作者:川上 エリカ,丸井 達郎,廣崎 依久翔泳社Amazon 第7章 AI時代に向けてますます重要性が高まるRevOps 03 レベニュー組織におけるAI活用の展望 データの価値の変化 AI時代の到来でデータの価値は高くなり、効果的に活用出来る状態で維持するかが重要 単純に分析する、生産性改善のために自動化を図る間接的かつ機能的なものだけはない 消費者とのコミュニケーションチャネルそのものとして機能することも考えう必要性がでてくるでしょう 04 AI時代にお…

Retty VPoE(VP of Engineering : 技術部門のマネジメント責任者)の常松です。 2025年2月27日に開催されるEMConf JP 2025向けに本記事と同じタイトルのプロポーザルを出していましたが、強豪ひしめく選考で負けてしまったようです。本記事に話したかったことをまとめて供養します🙏 fortee.jp はじめに 1. スクラムと大規模スクラム（LeSS）の導入 2. マイクロサービスアーキテクチャへの移行 3. ライブラリやフレームワークの選定プロセス 4. マネージドサービスへの置き換え おわりに はじめに 転職が一般的になりつつある今の時代ですが、「1つのサ…

この記事は弁護士ドットコム Advent Calendar 2024 1日目の記事です！ みなさん、こんにちは！2024年12月突入ということもでアドベントカレンダーも突入しました！ 早速ですが、弁護士ドットコムの技術広報を担っております sakutaro(x@saku_238)から、2024年の技術発信活動を振り返りいたします。 技術カンファレンスの協賛・登壇 2024年も、たくさんの技術カンファレンスへ協賛する機会をいただきました。登壇させていただいたものもあれば、ロゴスポンサーとして名を連ねる形での協賛もありました。それぞれの場で、最新技術や現場の課題について知見を共有し合うことで、新た…

レベニューオペレーション(RevOps)の教科書 部門間のデータ連携を図り収益を最大化する米国発の新常識（MarkeZine BOOKS）作者:川上 エリカ,丸井 達郎,廣崎 依久翔泳社Amazon 第4章 RevOps専門組織を設立する ビジョンと目標に沿ってRevOpsが担う役割の全体像を定義 まず何からはじめるのか？ RevOpsを組織化する際にいきなり組織図の構想から入るというのはナンセンスです。 まずRevOpsチャーターを作成する RevOpsチャーターとは、ゴール・目的を明確化、予算やスケジュールの概要などを文書としてまとめたもの 成功の鍵は、計画的な優先順位付け、明確な実行戦略…