データ基盤

1. はじめに 近年、AIを活用した消防DXの推進が進んでいます。しかし、実際の運用においてはデータの質と量の不足が大きな課題となっています。現在、データベースの標準化は行われておらず、自治体ごとのシステムが独立しているため、データ活用の効率が低い状態です。 消防におけるAIの本格導入を見据えるなら、まずデータ基盤の整備が必要です。本記事では、消防データ基盤の本来あるべき姿を考えつつ、現実的に進められるデータ整備の方法を提案します。 2. 消防におけるデータ基盤の本来あるべき姿 データの標準化は、本来は必要なものの、現状では未実施となっています。各自治体の消防システムが共通のデータフォーマット…

アナリティクスエンジニアリンググループのマネージャーをしている吉本です。 モノタロウでは昨年7月よりアナリティクスエンジニアリンググループを立ち上げ、データ管理をより高度にするための取り組みを始めております。 今回はモノタロウにおいてアナリティクスエンジニアリンググループができた背景と取り組みについて紹介いたします。 またこの記事を読んでモノタロウのアナリティクスエンジニアリングに興味がある！詳しい話を聞きたいと思ったかたは2/13にイベントを開催いたしますのでぜひご参加ください！ monotaro.connpass.com データ活用と管理の歴史 各業務におけるデータ管理の課題 各業務の指標…

皆様初めまして、パーソルキャリアでデータストラテジストとして働いている長谷川です。 今回はタイトルにある弊社の人事データ活用組織での２年間で行ってきた社外発信について まとめた記事です。 単なる社外発信をしたよというだけでなく、実施の目的や社内も含めてどのような取り組みを 全体として行っていたのかをまとめたので気になる方は是非読んでみてください。 想定読者 ・自組織でのデータ活用を促進したい方 ・人事でのデータ活用の取り組みが気になる方 ・人事の方 自組織（人事データ活用推進組織）の紹介 人事データ活用推進組織があえてブランディング活動を行う目的 人事データ活用において想定された課題 ギャップ…

この記事は MicroAd Advent Calendar 2024 と Distributed computing (Apache Spark, Hadoop, Kafka, ...) Advent Calendar 2023 の25日目の記事です。 qiita.com qiita.com 12/25は終わってしまっていますが、、25日目の記事です。25日目といったら25日目なんです。 遅れた理由は色々とあるのですが、本題いきましょう1。 今回は、ずっとSpark Structure Streamingで良いんちゃう？って事で横目で見続けてきた、この子。 Flinkについてやっていきます。 …

こんにちは、データエンジニアの中村です。 弊社ではBIツールとしてGoogle Cloudから提供されているLookerを利用しています。 Lookerの利用者も徐々に増えており、日々データ活用が進んでいることは嬉しいですが、それと比例して気になるのはダッシュボードの表示速度やクエリコスト等のパフォーマンスです。 最近AggregateAwarenessという機能を利用してパフォーマンスを改善することができたので、その機能を利用するに至った背景と、その改善効果を紹介したいと思います。 AggregateAwarenessの詳細な使い方は説明しないので、その点はご了承ください。 この記事はEni…

この記事は、 PLEX Advent Calendar 2024 の14日目の記事です。 こんにちは、株式会社プレックスのコーポレートチームの金山です。 この記事では「Airbyte」というデータ基盤で使われるツールについて紹介したいと思います。 Airbyteとは Airbyteとは、オープンソースで公開されているデータ同期ツールです。 airbyte.com Airbyteは、様々なデータソースからデータを抽出（Extract）し、データウェアハウスやデータレイクなどにロード（Load）するために使用されます。 例えば、ウェブアプリで使用しているPostgreSQLのデータを、分析用のBi…

この記事は enechain Advent Calendar 2024 の12日目の記事です。 はじめに こんにちは！ enechain でデータプラットフォームデスクのEMをしている26Takafujiです。 私は2023年9月にenechainへジョインし、そこからちょうど1年強の時間が経ちました。 入社時はまだ全社横断のデータ基盤は検討中の段階で本格的な提供はこれからという状態でしたが、この1年間でデータ基盤としての1st Stepである「まずはデータを集める」を進めてきて、主要なデータソースのBigQueryへの集約を一通り仕組み化できました。 今回は進めてきた仕組み化の中で、データ界…