Hatena Blog Tags
はてなブログ トップ
分析基盤
このタグでブログを書く
言葉の解説
ネットで話題
関連ブログ

分析基盤

このタグの解説についてこの解説文は、すでに終了したサービス「はてなキーワード」内で有志のユーザーが作成・編集した内容に基づいています。その正確性や網羅性をはてなが保証するものではありません。問題のある記述を発見した場合には、お問い合わせフォームよりご連絡ください。
Leverages データ戦略ブログ•8ヶ月前

データ分析基盤再構築への道！～レバレジーズの挑戦～

はじめに こんにちは！レバレジーズ株式会社 データ戦略室 データアーキテクトグループ リーダー兼データアナリストの田代です。 今回は、2024年4月頃から取り組んでいるデータ分析基盤再構築プロジェクトについて、概要や苦労した点、現時点での知見などを共有したいと思います。 これからデータ分析基盤の再構築を検討している方の参考になれば幸いです！ 課題 入社以来、様々な分析業務に携わる中で、大きく二つの課題を感じてきました。 1. 指標の定義が曖昧な分析が行われていること： データ戦略室では「データ民主化」を推進しており、営業や企画職のメンバーもアドホックにデータ分析をする機会が多くあります。しかし…

#分析基盤#データ分析基盤#データエンジニアリング

関連ブログ

DIGGLE開発者ブログ•1年前

パフォーマンス分析基盤の構築。S3やAthenaを活用して柔軟性の高いデータの取り扱いを実現した話

はじめに Datadog API Clientによるデータの取得 パフォーマンス分析の概要 対象データ 分析方法 パフォーマンス分析基盤の構成の検討 データ保存先 構成 対応内容 サーバーサイド インフラ フロントエンド 最後に We're hiring! はじめに DIGGLEではすでにDatadogを導入してパフォーマンス指標のトレースデータ*1は取れていますが、以下の課題がありました。 ユースケースを分けてパフォーマンス指標を取得したい DIGGLEがターゲットとしたい企業やペルソナユーザーのデータのみを取り出すのが面倒 開発時点でCIが動いた時に、分析結果をプルリクのコメントに出力した…

#パフォーマンス分析#分析基盤#Rails#Athena
Retty Tech Blog•1年前

dataformからdbtに移行するために調べたこと

コトの発端 実現したい分析基盤 Rettyの分析基盤 dbtにまとめて、こうしたい dataformでやっていたこと 使ったdbtの機能は、incrimental modelのThe insert_overwrite strategy 実際にやったコト merge intoで指定する任意のパーティション設定 incremental modelのinsert_overwriteの設定 incremental時のwhere句 感想 サンプル コード 挙動 N日に実行 N+1日に実行 この記事Retty Advent Calendar 2023 - Adventarの24日目の記事です。 2023年…

#Dataform#BigQuery#データ基盤#Retty#分析基盤
LIVESENSE ENGINEER BLOG•1年前

ECSでDigdagからEmbulkを並列実行する

これは Livesense Advent Calendar 2023 DAY 20の記事です。 データ分析基盤で開発をしている晝間です。 マサカリが怖くてブログ執筆を避けてましたが、初めての記事投稿になります。 リブセンスのデータ基盤では、RDSからRedshiftへのデータ同期に、DigdagとEmbulkを使っています。 Embulkで複数の事業部からDB情報を取得し、Redshiftへデータを投入しています。 DigdagとEmbulkは長年1つのVM上で長年運用してきましたが、それをECS化したという記事になります。 だいぶ前にはなりますが、DigdagとEmbulkについて書かれた記…

#データプラットフォーム#データサイエンス#分析基盤
Retty Tech Blog•2年前

Tokyo dbt Meetup #5 で Lightdashについて紹介しました

分析チームの井下田（@hiroki_igeta）です。 Tokyo dbt Meetup #5で登壇機会をいただき、「Lookerから、dbtと相性のよいLightdashに移行してみた話」というタイトルで発表させていただきました。 speakerdeck.com ちなみに今回のMeetupは、オフラインとオンラインのハイブリッド開催でした。 会場および配信環境の提供をいただいたCARTA HOLDINGS様ありがとうございました！！ また、Meetupの企画をいただいた瀧本さま、発表をお聞きいただいた皆様にもこの場を借りてお礼申し上げます。 ↓こちらでイベントの録画をご覧いただけます！ ww…

#dbtでデータの民主化#データ分析#データ分析チーム#データ民主化#分析基盤#BigQuery#DWH#Lightdash
LIVESENSE ENGINEER BLOG•2年前

Redshiftの利用状況を可視化して不要なテーブルをお掃除した話

これは Livesense Advent Calendar 2022 DAY 10 の記事です。 年末のお掃除捗っていますか？我が家では窓掃除にWV1が大活躍しています。 データエンジニアの毛利です。サービス横断のデータ分析基盤であるLivesense Analytics（以降LA）の開発、運用を行っています。 背景 データ利用状況の可視化 テーブルの利用状況 Redshiftユーザーの利用状況 運用してみてわかったこと 最後に 背景 データを提供したものの、気がつくとほとんど使われていない、というのはよくある話だと思います。 LAでも様々なデータを提供できるように機能追加してきた結果、日々デ…

#Redshift#DWH#分析基盤#運用#Advent Calendar 2022
Retty Tech Blog•3年前

DWHの管理を内製ツールからdbtに移行した話[連載3/3]

はじめに こんにちは。22卒アナリティクスエンジニアの井下田(@hiroki_igeta)です。 普段からデータ基盤の整備とDWH開発はもちろん、ダッシュボード作成、広告ロジック改善にも携わっています。 -- 本記事は、Rettyのデータ分析チームが約3ヶ月間取り組んできた「dbtの導入」を中心テーマとした連載 #dbtでデータの民主化 の3記事目です。 dbtの導入背景については連載記事の1つ目、dbt移行のプロジェクト進行については2つ目をそれぞれご参照いただけますと幸いです。 (Rettyではdbt導入のためにプロジェクトを立ち上げ、dbt移行を推進しました。) 連載記事1つ目：データア…

#データ分析#データ民主化#分析基盤#dbtでデータの民主化#データ分析チーム
TECH Street (テックストリート)•3年前

【イベントレポート】データ分析基盤エンジニア勉強会

こんにちは！TECH Street編集部です！ 今回は2022月1月27日（木）に開催した、 「データ分析基盤エンジニア勉強会～各社の取り組みや課題から学ぶ会～」のイベントレポートをお届けいたします。 登壇者はこちらの皆さま！ ・ 樋口 裕介さん／株式会社LIFULL・ 鈴木 裕之さん／パーソルキャリア株式会社・ 楊 明さん／株式会社カカクコム それでは早速ご紹介していきます。 4年間の運用で見えてきた、LIFULLデータ基盤のいい点・悪い点 LIFULLのデータ基盤は2018年より構築を開始し、約4年間運用しています。最初はGCPのみでしたが、現在はAWSとのハイブリット環境において、アーキ…

#データエンジニア#データ分析#分析基盤#事例
TECH Street (テックストリート)•3年前

【国内・海外】4月のテックイベント・カンファレンスまとめ

国内のテックイベント 海外のテックイベント 本記事では、メンバーへのアンケートで興味関心があるキーワード・テーマに沿ったテックイベント、カンファレンスなどを紹介いたします。 ※開催状況は3月31日時点の情報となります。※日程はイベント・カンファレンスの開催国のものとなります。※本記事内の情報は各イベント公式サイトより引用しています。詳細については公式サイトをご覧ください。 国内のテックイベント ■Japan IT Week【春】開催日：2022年4月6日（水）〜8日（金）キーワード：ソフトウェア、情報セキュリティ、クラウド、AI ■2022年のRailsの開発現場事情について語ろう！開催日：2…

#テックイベント#オンラインイベント#アプリ開発#分析基盤#メタバース
TECH Street (テックストリート)•3年前

【主催イベント】データ分析基盤エンジニア勉強会～各社の取り組みや課題から学ぶ会～

こちらのイベントレポートは下記のリンクからご覧ください www.tech-street.jp こんな方におすすめ ・データ分析基盤開発エンジニア・データ分析基盤に興味関心がある方・その他、データ分析やIT関連の業務担当の方※実務レベルのセッションが中心のため、基礎知識や初級編の内容は含まれておりません。 開催概要 各社のデータ分析基盤開発に携わるエンジニアが集まり、日々の業務で得た知見や開発事例、工夫などを共有しあう合同エンジニア勉強会を開催いたします！ イベント名 データ分析基盤エンジニア勉強会 ～各社の取り組みや課題から学ぶ会～ 日時 2022年1月27日（木）19:30-21:00 開催…

#分析基盤#データ分析#データエンジニア#イベント#事例