Data Engineer

このタグでブログを書く

言葉の解説

ネットで話題

Data Engineer

このタグの解説について

この解説文は、すでに終了したサービス「はてなキーワード」内で有志のユーザーが作成・編集した内容に基づいています。その正確性や網羅性をはてなが保証するものではありません。問題のある記述を発見した場合には、お問い合わせフォームよりご連絡ください。

CADDi Tech Blog•2ヶ月前

【書評】解読データアーキテクチャ

Data Platform 部の森岡です。要らなくなったものをすぐに捨てられるデータ基盤を意識して日々開発しています。この記事は「解読データアーキテクチャ」（原題: Deciphering Data Architectures）についての書評となります。 1. なぜ今この本なのか (本文より引用) データメッシュ、データウェアハウス、データレイクハウスといった用語が飛び交っていますが、 10人に「データメッシュとは何か」と尋ねれば、11通りの答えが返ってくるでしょう。データエンジニアリングの界隈にいれば、「データファブリック」「データレイクハウス」「データメッシュ」という言葉について聞いた…

#Data Management#Data Engineer#Architect

ネットで話題

106ブックマークデータをモデリングしていたら、組織をモデリングし始めた話 / engineers-in-carta-vol3-data-engineer

speakerdeck.com

69ブックマーク The Log: What every software engineer should know about real-time data's unifying abstraction | LinkedIn Engineering

engineering.linkedin.com

68ブックマーク GCP Professional Data Engineerに1日で合格する方法 - Qiita

qiita.com

27ブックマーク AWS Certified Data Engineer - Associate(DEA)の学習方法 - NRIネットコムBlog

tech.nri-net.com

22ブックマーク 9: Data Engineer, not Data Scientist @joker1007さんに、Data EngineeringとワークフローエンジンRukawaの話を聞きました。 Show Notes RubyKaigi 2015 Drinkup を開催しましたパーフェクトRuby パーフェクトRuby on Rails Fluentd | Open Source Data Collector | Unified Logging Layer Embulk Amazon Data Pipeline データを一箇所に集めることでデータ...

rubyist.club

20ブックマーク社内勉強会「Modern Data Stack入門」の内容をブログ化しました - PLAID engineer blog

tech.plaid.co.jp

17ブックマーク JSON Data を FireBug でみる | _level0 - KAYAC Front Engineer Blog

level0.kayac.com

13ブックマーク Professional Data Engineer 認定資格. | Learn | Google Cloud

cloud.google.com

10ブックマーク GitHub - DataExpert-io/data-engineer-handbook: This is a repo with links to everything you'd ever want to learn about data engineering

github.com

関連ブログ

NRIネットコムBlog•2年前

AWS Certified Data Engineer - Associate(DEA)の学習方法

小西秀和です。この記事は「AWS認定全冠を維持し続ける理由と全取得までの学習方法・資格の難易度まとめ」で説明した学習方法を「AWS Certified Data Engineer - Associate」に特化した形で紹介するものです。重複する内容については省略していますので、併せて元記事も御覧ください。また、現在投稿済の各AWS認定に特化した記事へのリンクを以下に掲載しましたので興味のあるAWS認定があれば読んでみてください。 ALL SAP DOP SCS ANS MLS SAA DVA SOA DEA MLA AIF CLF 「AWS Certified Data Engineer…

#AWS認定#AWS認定試験#Data Engineer#データエンジニア#認定試験#資格試験#認定資格#認定#資格#試験

CARTA TECH BLOG•3年前

【dbt x CARTA】Tokyo dbt Meetup #5で会場スポンサーとして協賛しました

TL;DR(まとめ) Tokyo dbt Meetup #5にCARTAが会場スポンサーとして協賛 dbtイベントをハイブリッド開催しました(オフライン + オンライン配信) CARTA HOLDINGSは、会場スポンサーとして場所を提供しています Tokyo dbt Meetup #5に協賛 www.youtube.com CARTA HOLDINGS(以下、CARTA)は Tokyo dbt Meetup #5 (2023/03/28)に会場スポンサーとして協賛しました。 Tokyo dbt Meetup #5 無事に終わりました！CARTAさん会場提供並びに配信周り等の手厚いサポートあり…

#dbt Meetup#Data Engineer#スポンサー

DWANGO（旧KADOKAWA Connected事業） | Engineering Blog•3年前

Snowflake上のデータ利用状況を可視化するツールをStreamlitで試作した話

KADOKAWA Connected / ドワンゴの @saka1 です。最近はデータ基盤の保守等に携わっています。今回はStreamlitというWebアプリケーションフレームワークを使い、Snowflake上のテーブルの利用状況を測定するダッシュボードを作ってみました。データの需要はいつの間にか変化している問題データ活用を進めるためには、データの整備が必要です。無いデータは分析できないので……。一方で、ただデータを基盤上に整備するだけだと、そのデータがどれぐらい有用なのかは判断が難しいです。整備当初は有用でみんなが見ていた（かもしれない）テーブルも、しばらく経つと人気がなくなっている…

#Data Engineer#可視化#Snowflake

FLINTERS BASE BLOG•3年前

Open Metadataを触ってみてデータを管理する意味を考えた話

こんにちは。FLINTERS BASE 開発部小杉です。早いもので、配属されてから7ヶ月、入社してから10ヶ月が経ちました。ようやく自社ドメインの知識が増えてきてエンジニアという仕事に慣れつつあります。（まだまだポンコツの域を抜けませんが、、、）今回は以前から整理したいなと思っていたメタデータをテーマに書いていきたいと思います！

#Open Metadata#Data Engineer#Metadata#FLINTERS_BASE

Techtouch Developers Blog•3年前

dbt のデータモニタリングツール Elementary を使ってデータ品質管理を試してみた

テックタッチアドベントカレンダー 13 日目を担当しますデータエンジニアの acchan です。この間完全個室型のサウナに初めて行ってきまして、贅の極みを堪能してきました。みなさんもこの 1 年間頑張ってきた自分のご褒美にいかがでしょうか。はじめに Elementaryとはチュートリアルをやってみる下準備パッケージのインストールと Elementary の初期設定 Elementary テストの追加テストの実行とレポートの生成 Slack通知を試してみるさいごにはじめに弊社では最近、データ分析基盤のモデリング用途として dbt を使い始めました。まだ間もないですが、モデルの共…

#elementary#Data Engineer