データ基盤構築

はじめに 近年、多くの業界においてDXを進める企業が増加し、ビジネス上の重要な意思決定においてデータの活用と分析の需要はますます高まっていると感じています。 その手始めとして、データ分析用の基盤構築・整備が行われると思うのですが、その際の大変なことの１つとして、集計したいデータが複数のデータソースに存在し、それを定期的に集めてくることの実現ではないでしょうか。 弊社でも最近、データ分析基盤の整備を行いました。その際の上記課題感に対しては、記事タイトルにもあるように、「Fivetran x BigQuery x dbt」といったサービスを組み合わせて解決・実現しました。 なお、弊社のメインサービ…

KADOKAWA Connected / ドワンゴの @saka1 と Integrated Data Service 部の中野 (takamoto) です。 私達の部署では主にSnowflakeを中心にしたデータ基盤（データプラットフォーム）の開発保守を行っています。この記事では、Snowflakeの機能を駆使してデータに対して適切に権限を割り振るために整備した仕組みについて紹介していきたいと思います。 Snowflakeのオブジェクト階層や、RBACベースの権限管理モデルは非常に柔軟かつ強力です。かなり自由に何でもできてしまうがゆえに、どういった整理の仕方で権限付与を行っていくかが大切に感…

各事業部ごとに、それぞれが担当する法人向けサービスのデータを保有しているパーソルキャリア。垣根を越えてデータ活用を実現すべく、顧客データ基盤を構築したプロジェクトがスタートし、前回は取り組みの全体概要について詳しく話を聞きました。 本プロジェクトでは、データ仮想化・統合ツール「Denodo」を採用してこれまでのデータ統合における課題を解決し、開発工数の削減や拡張性の向上を実現したのだといいます。 パーソルキャリアでは初となる「Denodo」活用の裏側には、どのようなポイントがあったのでしょうか。データとテクノロジーを司るデジタルテクノロジー統括部のエンジニアである寺本、井上、渡邉に話を聞きまし…

転職サービス「doda」をはじめ、パーソルキャリアにはさまざまな法人顧客向けサービスがあります。そして、その中から法人企業様のニーズに沿った最適なものをご提供するために、1社につき複数名の法人営業が担当し、企業を取り巻く採用課題に向き合いサポートを行っています。 そうした営業活動から得られる多くのデータや情報を、よりスピーディーに安心して活用できるように。また営業担当者が各サービスの垣根を越えてシームレスに活用できるように……とデータ基盤の構築に取り組むのが、法人企画統括部 デジタルソリューション部の檜山と、デジタルテクノロジー統括部でデータビジネスやデータエンジニアリングの知見を有する田中、…

この記事は enechain Advent Calendar 2024 の12日目の記事です。 はじめに こんにちは！ enechain でデータプラットフォームデスクのEMをしている26Takafujiです。 私は2023年9月にenechainへジョインし、そこからちょうど1年強の時間が経ちました。 入社時はまだ全社横断のデータ基盤は検討中の段階で本格的な提供はこれからという状態でしたが、この1年間でデータ基盤としての1st Stepである「まずはデータを集める」を進めてきて、主要なデータソースのBigQueryへの集約を一通り仕組み化できました。 今回は進めてきた仕組み化の中で、データ界…

こんにちは。 以前データサイエンティスト転職の概要を解説しましたが、今回は企業選びや面接対策について解説します。 今回の転職のサマリはこちらからどうぞ!! www.psycheng.com DS職の志望理由 実際に受けた企業たち アドバイス 選考は辞退するな DS職特有の面接対策をする DS職特有の逆質問をする 望ましい実務経験を積む 転職エージェントの活用 第一志望なら自分から言うべき 企業のニーズと不安を意識 まとめ DS職の志望理由 このブログでも書いていますが、私は民間企業で心理系の研究職をしていました。妻と同居するために転職せざるを得なくなった…というのが本当の転職理由。 普通なら現…

この記事は、Techouse Advent Calendar 2024 1日目です。 記念すべき初日は、シニアエンジニアリングマネージャー 兼 Techouse Developers Blog の編集長である nissiy が書かせていただきます。 今回の記事では 「エンジニア100人に聞きました」 を実施いたします。 「エンジニア100人に聞きました」とは、10年以上前にサイボウズ社を中心に行われた会社を跨いだコラボ企画であり、各社の エンジニアの気風 を紹介し合った取り組みになります。 cybozushiki.cybozu.co.jp 今回は勝手に「エンジニア100人に聞きました」をリブー…

はじめに こんにちは。High Linkで業務委託として働いている宮﨑（@ikki_mz）と申します。主にデータエンジニアリング領域でお手伝いをしています。 この記事では、elementaryのdbtパッケージで実装できる「異常検知テスト」を導入してみた話をしようと思います。 実際に発生した問題 先日、プロダクトにおいて、売上数値に影響を与えるような障害が発生しました。これは会社として問題であるため、予防策を講じる必要があります。 今回は、問題の原因がデータ基盤側にあるわけではありません。しかし、データチームで議論した結果、データ基盤側でもモニタリングできる体制を構築できると良いのではという話…

こんにちは。広報部のmikoです。ピクシブには、全社・全プロダクトの基盤になる部分の開発や管理、運用を主に行うCTO室プラットフォーム開発部という部署があります。 今回は、プラットフォーム開発部のなかで、プロダクトのデータベースを分析などに活用できるようデータ基盤を管理・運用する「データ基盤チーム」のデータエンジニア3名に、仕事の内容やチームの雰囲気についてお話を伺いました！ 自己紹介をお願いします oystersuki：2023年に中途入社しました。以前はWEBマーケティングの会社で、広告運用やSEOのライティング、クライアントのデータ基盤構築などの仕事をしていました。現在は、全社のデータ基…

findy.connpass.com こちらのイベントに参加してきたので、会の様子と感想を書いていこうと思います。 会の概要 会の様子 ばんくしさんのLT 土川さんのLT パネルディスカッションとQ&A データ民主化の理想形態は？ LLMがデータを内包してくのではないかと思っているのだが、各社その世界に向けてやっていることはあるのか？ データ民主化を進める時によくある失敗と対策 組織が増えていくことで変わったことと変わらなかったこと データ関係者以外がデータを発見できるようにするために担当レベルのデータエンジニアができることがあれば教えてほしい Timeeではデータを具体的にどのように使ってい…

こんにちは、教育部の原田です。 本記事ではFLINTERSとFLINTERS BASEで行うことになった新しい研修について紹介します。 その名も New Project Leader研修 です！ どんな研修なのか、どういった内容なのかを紹介していきます。

今回は、トランスフォーメーションユニットの統括を務める佐藤さんと、「マーケティングテクノロジスト」としてマーケティング領域におけるデータ活用支援に携わる清水さんに話を聞きました。 トランスフォーメーションユニットは、クライアントが自らの業務プロセスにデータ活用を取り入れることのできるよう、仕組みや体制作りを支援するという大きなミッションを持っています。トランスフォーメーションユニットが目指す未来、そしてマーケティングとテクノロジーの両方を武器にクライアントのビジネスを伴走するマーケティングテクノロジストの役割について紹介します。 清水 俊克（しみず としまさ） 佐藤 洋行（さとう ひろゆき） …

こんにちは。ノバセルでデータエンジニアをやっている山中（@yamnaku_）です。 先日開催されたSnowflake World Tour Tokyo 2024 で「Data Superheroesが語る社内で『本当に使われる』データ基盤構築の道のりと展望」と題して登壇いたしました。なお、TROCCOを開発するprimeNumber社のスポンサーセッションにお呼びいただいた形で、機会をいただいたprimeNumber社様には感謝申し上げます。イベントは大変活況で、オフライン・オンライン合わせて4000人以上の参加者がいたようです。米国本社からCEO Sridhar Ramaswamy 氏も登壇…

この記事について これまでデータ周りの業務をしてきました。 エンジニア、その後人事を長く経験し、昨年から営業企画部になりました。 この経歴は珍しいと思っています。 私自身、採用業務で多くの職務経歴書を見てきましたが、見たことない経歴です その中で「今後どんな道に進むんだ？」と考えるようになったので、書きます 異動のきっかけ 昨年7月、人事から営業企画に異動しました。 6月まで私は人事にいました。採用や組織開発の業務、課長だったのでマネジメントもしておりました。 とある日、社内の営業企画を管掌する執行役員に「ちょっといい？？」と会議室に呼ばれました。 会議室に入りすぐ、どうしたんですか？と聞くと…

この記事は、estieのプロダクトマネージャーによるブログシリーズ「PM Blog Week」第1弾6日目の記事です。前回の記事はestie PM 座談会 〜シニアなPMたちに色々聞いてみた〜です。 こんにちは、estieデータチームPMの松田です。このブログでは、私が日々感じているestieにおけるデータの重要性と難しさについてお話できればと思います。 1. このブログで伝えたいこと このブログでお伝えしたいことは下記です。 estieではデータが商品！：estieではデータそのものが商品であるため、データに関する開発がビジネスインパクトに直結します マルチプロダクトに対応するデータ基盤が必…

はじめに こんにちは！データ戦略室でマネージャーをしている小山です。 最近採用活動で外部向けに話すことが増えました。 ありがたいことに、キャリアを考えている中で弊社のデータ戦略室に興味を持っていただく方もちょくちょく増えてきました。 採用説明会、面接、面談を繰り返す中で組織に関する質問をされることが増えたため、今回はちょっといつものブログと毛色を変えて、外部の方からよくいただく質問への回答を通じて、組織のリアルな状況が少しイメージできるような記事を書いてみようかと思います。 せっかくこのような形で書くのだから、プレゼン資料に書くような組織説明よりは、私の考え (2024年10月現在) を交えた…