データプラットフォーム

この記事は enechain Advent Calendar 2024 の12日目の記事です。 はじめに こんにちは！ enechain でデータプラットフォームデスクのEMをしている26Takafujiです。 私は2023年9月にenechainへジョインし、そこからちょうど1年強の時間が経ちました。 入社時はまだ全社横断のデータ基盤は検討中の段階で本格的な提供はこれからという状態でしたが、この1年間でデータ基盤としての1st Stepである「まずはデータを集める」を進めてきて、主要なデータソースのBigQueryへの集約を一通り仕組み化できました。 今回は進めてきた仕組み化の中で、データ界…

本記事はキャディ株式会社のアドベントカレンダーに寄稿しています。 こんにちは。キャディ株式会社の Analysis Platform Group で MLOps エンジニアを務めている廣岡です。普段はキャディの図面活用クラウドサービス CADDi Drawer のエンジニアとして、図面に対する機械学習解析のインフラやバックエンドの開発を行っています。 今回は KEDA を使って、Google Cloud Pub/Sub のメッセージ数に応じて Kubernetes ワークロードのスケーリングを行う方法を紹介します。 背景 Drawer では図面データの解析や格納など、サービスの様々な箇所で非同…

TL; DR Streamlitを用いたWebアプリの基盤の開発・運用をしている。 社内アプリ開発者用に用意しているMarkdownをGoogle CloudとGithub ActionsおよびMkDocsを使って開発ガイドとして公開した。 自己紹介 NTTドコモ データプラットフォーム部（以下DP部）黒須です。 我々のチームではStreamlitを用いたWebアプリ基盤の開発・運用をしております。（以下の記事を参考） nttdocomo-developers.jp 社内アプリ開発者用に環境構築からアプリデプロイまでの実施方法をMarkdownでまとめており、MkDocsとCloud Runを…

データドリブン経営研究会 https://japan-dmc.org/?p=22813アシスト社の解説 https://www.ashisuto.co.jp/pr_blog/article/20230307_datamesh.htmlザマックさんの論文 https://martinfowler.com/articles/data-monolith-to-mesh.htmlザマックさんの論文 https://martinfowler.com/articles/data-mesh-principles.htmlザマックさんの動画 https://www.youtube.com/watch?v=L_…

この記事はenechain Advent Calendar 2024の11日目の記事です。 はじめに enechainのデータプラットフォームデスクでエンジニアをしている菱沼です。現在はデータエンジニアとしてデータ基盤の構築をしています。 社内で活用できるデータ量が増加し、データ活用の場面が多様化する中で、業務の現場でデータをいかに効率的に活用できるかが重要な課題となっています。 本記事では、Google CloudのiPaaSであるApplication Integrationを活用し、 BigQueryからSalesforceにデータを連携する仕組みをどのように設計・実装したかをご紹介しま…

TL;DR NTTドコモ データプラットフォーム部（以下DP部）所属の黒須です。DP部ではデータ活用の民主化を目指して社内向けにstreamlitの開発プラットフォームを独自に実装し、現在streamlitアプリケーション数及び開発者の数は100人以上、利用者は数千人にのぼります。 参考：昨年記事 社員1000人以上が使う、Streamlit in Google Cloudのサーバレスプラットフォームを完全内製してみた 開発者・利用者の増加に伴い、プラットフォームに求められるセキュリティもより重要になってきました。streamlitの場合、アプリ開発者の方が専業でWEBアプリケーションのエンジ…

こんにちは、データプラットフォームチームの鳥山（@to_lz1）です。 本記事はdbt Advent Calendar 2024の10日目の記事です。 データ基盤を扱う上で避けて通れない「メタデータの管理」ですが、あなたのチームではどのように取り組まれているでしょうか？独自メタデータカタログを作ったけど、運用がつらくなっているとか、はたまた構築初期なのであえてdescriptionなしのまま突き進んでいるなど、データ基盤整備のフェーズによっても各社さまざまかと思います。 弊社も例に漏れず上記のようなフェーズを通過してきましたが、最近ではdbtやその周辺ツールを使った効率化がうまく回り始めてきま…

1. 背景 2. 構築したデータパイプライン 3. テスト実装 基本的なテスト source freshness dbt_expectationsを使ったテスト 4. 工夫したポイント・ハマったポイント 外部APIからの取得値に対するテスト StagingモデルのMaterialization 正規表現のコンパイル テスト基準の厳格さについて 5. 今後に向けて さらなる改善 まとめ 1. 背景 NTTドコモ データプラットフォーム部の外山です。NTTドコモでは、ビジネスユーザーに使いやすいデータ活用環境を実現するために、Streamlitアプリを介したデータ活用を推進しています。 お客様の声…

はじめに DMO（Data Management Office）でデータプラットフォームセクションを担当しています東條です。データプラットフォームセクションはOisixを中心としたデータ基盤の構築・整備を担当しています。このデータ基盤にはSnowflakeとdbtを使用しています。今回dbt-core v1.8.0で追加されたUnit testsを導入してわかったことを紹介していきます。 dbtのUnit testsとは まずは簡単にdbtのUnit testsを紹介します。dbtのUnit testsはソフトウェア開発において実施されるユニットテストをdbtでも実現できるようにしたものです。…

1. はじめに 2. 堅牢性を強化に至った背景 対象のダッシュボード ダッシュボードが抱えていた課題 コード管理の煩雑さ データソース由来の品質問題の波及 3. 課題への対処方針 コード管理の煩雑さの解消方針 より高いデータ品質の確保 参考：dbtとは？ 4. dbtを用いたダッシュボード用パイプラインの構築 汎用フォーマットの採用 汎用フォーマット(抜粋) レイヤ構造 実装のポイント コードサンプル 5. Tableauの実装方針の見直し KPIのフェーズに合わせた実装方針 UIを用いた設定要素の極力排除 安定性強化時の実装ルール フィルタの式設定に関して 6. 見直しの結果と今後の課題 G…

インフォメティス 銘柄 インフォメティス（281A） 市場 グロース 上場日 2024/12/9 公募価格（仮条件） 1,080円（890円～1,080円） PER（仮条件PER） 44.6倍（36.7倍～44.6倍） 主幹事証券 みずほ 公募売出総額（仮条件時） 30.5億円（25.1億円～30.5億円） 時価総額（仮条件時） 52.5億円（43.2億円～52.5億円） 初値予想レンジ 1,100円～1,300円 需給度合（S～D ） B 注目度（S～C ） B BB参加推奨度（５段階） ★★ 短期参加妙味度（５段階） ★★ 中長期保有妙味度（５段階） ★★★ ＜事業内容＞エネルギー関連デー…

自己紹介 NTTドコモ データプラットフォーム部（以下DP部）藤平です。 システムやアプリケーションはリリースしたら終わりではなく、利用者の声や利用状況に合わせたUIの改善など日々成長させていく必要があります。 DP部が提供するデータアプリケーションプラットフォームではStreamlitで約100アプリを提供していますが、各々のアプリを成長させるために利用状況を分析できる環境が必要でした。 そこで、ドコモで10年以上Google Analytics/Google Tag Managerに携わっていただいている、協力会社の大畑さんに実装をお願いしました。 以下、大畑さんに本取り組みの内容をご紹介…