Hatena Blog Tags
はてなブログ トップ
データ基盤
このタグでブログを書く

データ基盤

このタグの解説についてこの解説文は、すでに終了したサービス「はてなキーワード」内で有志のユーザーが作成・編集した内容に基づいています。その正確性や網羅性をはてなが保証するものではありません。問題のある記述を発見した場合には、お問い合わせフォームよりご連絡ください。
弁護士ドットコム株式会社 Creators’ blog•1ヶ月前

Tableau の運用の改善のために独自開発した Tableau Tools の紹介

1. はじめに 2. 私たちが直面した Tableau Cloud 運用の壁 本番環境と開発環境の切り分けが難しい ユーザー・権限管理の煩雑化 3. デプロイツール：デプロイ作業の自動化 基本的なアイデア 主要機能 設定ファイルの記述例 4. Tableau Cloud 設定ツール：ユーザー・権限のコード管理 主要機能 5. Tableau Toolsによる効率的で安全な運用フロー ダッシュボード開発する場合 Tableau Cloud のユーザーの追加や権限の変更をする場合 運用フローの特徴 Gitベースの構成管理とレビュープロセス GitHub Actionsを用いたCI/CDパイプライン…

#Tableau#Tableau Cloud#Devin#データ活用#データ基盤

関連ブログ

MicroAd Developers Blog•4ヶ月前

DEIM2025 参加レポート

はじめに マイクロアドは「DEIM2025（第17回データ工学と情報マネジメントに関するフォーラム）」にゴールドスポンサーとして協賛させていただきました。 オンラインでは技術報告の発表を行い、オンサイトではスポンサーブースを出展し、多くの方々と交流することができました。 今回の記事では、その参加レポートをお届けします！ 技術登壇 [9A] [9A]連合学習 | DEIM2025 第17回データ工学と情報マネジメントに関するフォーラム | Confit にて「マイクロアドのデータ基盤とその構成について」というテーマで登壇しました。 マイクロアドではオンプレミスでのデータ基盤をHadoopベースで…

#DEIM2025#Spark#データ基盤
消防×システム×AI•5ヶ月前

消防×データ活用 – AIを活かすためのデータ基盤の整備

1. はじめに 近年、AIを活用した消防DXの推進が進んでいます。しかし、実際の運用においてはデータの質と量の不足が大きな課題となっています。現在、データベースの標準化は行われておらず、自治体ごとのシステムが独立しているため、データ活用の効率が低い状態です。 消防におけるAIの本格導入を見据えるなら、まずデータ基盤の整備が必要です。本記事では、消防データ基盤の本来あるべき姿を考えつつ、現実的に進められるデータ整備の方法を提案します。 2. 消防におけるデータ基盤の本来あるべき姿 データの標準化は、本来は必要なものの、現状では未実施となっています。各自治体の消防システムが共通のデータフォーマット…

#データ基盤#消防DX
MonotaRO Tech Blog•5ヶ月前

中央集権から自律分散型のデータ管理へ〜モノタロウにおけるアナリティクスエンジニアリング〜

アナリティクスエンジニアリンググループのマネージャーをしている吉本です。 モノタロウでは昨年7月よりアナリティクスエンジニアリンググループを立ち上げ、データ管理をより高度にするための取り組みを始めております。 今回はモノタロウにおいてアナリティクスエンジニアリンググループができた背景と取り組みについて紹介いたします。 またこの記事を読んでモノタロウのアナリティクスエンジニアリングに興味がある！詳しい話を聞きたいと思ったかたは2/13にイベントを開催いたしますのでぜひご参加ください！ monotaro.connpass.com データ活用と管理の歴史 各業務におけるデータ管理の課題 各業務の指標…

#アナリティクスエンジニアリング#データマネジメント#データ基盤
techtekt•6ヶ月前

人事データ活用組織がなぜ社外発信するのか|実施目的と戦略

皆様初めまして、パーソルキャリアでデータストラテジストとして働いている長谷川です。 今回はタイトルにある弊社の人事データ活用組織での２年間で行ってきた社外発信について まとめた記事です。 単なる社外発信をしたよというだけでなく、実施の目的や社内も含めてどのような取り組みを 全体として行っていたのかをまとめたので気になる方は是非読んでみてください。 想定読者 ・自組織でのデータ活用を促進したい方 ・人事でのデータ活用の取り組みが気になる方 ・人事の方 自組織（人事データ活用推進組織）の紹介 人事データ活用推進組織があえてブランディング活動を行う目的 人事データ活用において想定された課題 ギャップ…

#パーソルキャリア#techtekt#人事データ活用#データストラテジスト#ピープルアナリティクス#データマネジメント#データ基盤#ブランディング
やっさんメモ•7ヶ月前

🐿️ Apache Flinkの最新事情とv2.0の話：RKE2で始めるFlink on K8s

この記事は MicroAd Advent Calendar 2024 と Distributed computing (Apache Spark, Hadoop, Kafka, ...) Advent Calendar 2023 の25日目の記事です。 qiita.com qiita.com 12/25は終わってしまっていますが、、25日目の記事です。25日目といったら25日目なんです。 遅れた理由は色々とあるのですが、本題いきましょう1。 今回は、ずっとSpark Structure Streamingで良いんちゃう？って事で横目で見続けてきた、この子。 Flinkについてやっていきます。 …

#アドカレ2024#データ基盤#Apache Flink#Kubernetes
エニグモ開発者ブログ•7ヶ月前

BigQuery上のデータへのアクセス制御

こんにちは、データエンジニアの中村です。 新卒で入社してから、気づけば2年が経とうとしています。時間の流れは本当に早いものですね。 今回は、私がこれまで取り組んできたデータ基盤におけるアクセス制御に関する技術と取り組みについてお話ししようと思います。 昨日に引き続きデータ基盤関連の記事になりますが、ぜひ最後までご覧ください！ この記事はEnigmo Advent Calendar 2024 の20日目の記事です。 目次 背景 ポリシータグとは ポリシータグの利用イメージ ポリシータグによるアクセス制御の仕組み 使ってみた感想 まとめ 最後に 背景 弊社のデータ基盤はBigQueryを利用してお…

#Advent Calendar 2024#BigQuery#データ基盤
エニグモ開発者ブログ•7ヶ月前

Lookerで大幅にコスト削減できた話

こんにちは、データエンジニアの中村です。 弊社ではBIツールとしてGoogle Cloudから提供されているLookerを利用しています。 Lookerの利用者も徐々に増えており、日々データ活用が進んでいることは嬉しいですが、それと比例して気になるのはダッシュボードの表示速度やクエリコスト等のパフォーマンスです。 最近AggregateAwarenessという機能を利用してパフォーマンスを改善することができたので、その機能を利用するに至った背景と、その改善効果を紹介したいと思います。 AggregateAwarenessの詳細な使い方は説明しないので、その点はご了承ください。 この記事はEni…

#Advent Calendar 2024#Looker#データ基盤
PLEX Product Team Blog•7ヶ月前

自社のデータ基盤を支えるAirbyteの良いところ

この記事は、 PLEX Advent Calendar 2024 の14日目の記事です。 こんにちは、株式会社プレックスのコーポレートチームの金山です。 この記事では「Airbyte」というデータ基盤で使われるツールについて紹介したいと思います。 Airbyteとは Airbyteとは、オープンソースで公開されているデータ同期ツールです。 airbyte.com Airbyteは、様々なデータソースからデータを抽出（Extract）し、データウェアハウスやデータレイクなどにロード（Load）するために使用されます。 例えば、ウェブアプリで使用しているPostgreSQLのデータを、分析用のBi…

#Airbyte#ETLツール#データ基盤
enechain Tech Blog•7ヶ月前

データメッシュを意識したBigQueryのデータ管理設計

この記事は enechain Advent Calendar 2024 の12日目の記事です。 はじめに こんにちは！ enechain でデータプラットフォームデスクのEMをしている26Takafujiです。 私は2023年9月にenechainへジョインし、そこからちょうど1年強の時間が経ちました。 入社時はまだ全社横断のデータ基盤は検討中の段階で本格的な提供はこれからという状態でしたが、この1年間でデータ基盤としての1st Stepである「まずはデータを集める」を進めてきて、主要なデータソースのBigQueryへの集約を一通り仕組み化できました。 今回は進めてきた仕組み化の中で、データ界…

#データ基盤#BigQuery#データメッシュ#enechainアドカレ2024