Hatena Blog Tags
はてなブログ トップ
データエンジニア
このタグでブログを書く
言葉の解説
ネットで話題
関連ブログ

データエンジニア

このタグの解説についてこの解説文は、すでに終了したサービス「はてなキーワード」内で有志のユーザーが作成・編集した内容に基づいています。その正確性や網羅性をはてなが保証するものではありません。問題のある記述を発見した場合には、お問い合わせフォームよりご連絡ください。
Data One エンジニアブログ•1ヶ月前

Tableauの運用をAIで自動化しようとして挫折し、Databricks Appsへの乗り換えを進めている話

こんにちは！株式会社データ・ワンでエンジニアをやっている曽根高です。 社内で利用しているダッシュボード基盤のTableauからDatabricks Apps(AppKit)への移行を進めています。きっかけは「Tableau の手作業を AI で減らせないか」という試みです。弊社では、開発の大部分でClaude CodeやCodexといったAIを活用した効率化が進んでいますが、Tableauは手作業が残っており、開発のボトルネックになっていました。結果的に、AIによるTableau作業の効率化は2回失敗して挫折しましたが、Tableauで抱えていたいくつもの課題をDatabricks Appsに…

#Databricks#データ基盤#データエンジニア

ネットで話題

もっと見る
698ブックマーク複数の企業でデータエンジニアとして求められたスキル - yasuhisa's blogwww.yasuhisay.info
511ブックマークフリーランスのエンジニアやるなら45歳までに貯金5000万円作れないと死ぬ説 - データエンジニアの酩酊日記uma66.hateblo.jp
432ブックマークデータエンジニア道の俺のバイブルzenn.dev
425ブックマークデータサイエンティストの定義は？必要スキルは？現役データエンジニア／アナリストと考えた結論 - エンジニアHub｜若手Webエンジニアのキャリアを考える！eh-career.com
414ブックマーク今データサイエンティストを目指してる人の7割が5年後に年収350万にしかなれない - データエンジニアの酩酊日記uma66.hateblo.jp
412ブックマークデータエンジニアの私が機械学習・データサイエンスでオススメしたいスキルマップと本まとめ - 2020年版 - Lean Baseballshinyorke.hatenablog.com
398ブックマーク「データエンジニアの市場価値」を上げたい。リクルートグループのニジボックスが“有料級のインプット教材”をつくるワケ - はてなニュースhatenanews.com
397ブックマーク6年ぶりぐらいにクラウド使った結果、Kubernetes以外のマネージドサービスとか基本要らなくない？となった話 - データエンジニアの酩酊日記uma66.hateblo.jp
396ブックマーク近年のデータ分析基盤構築における失敗はBigQueryを採用しなかったことに全て起因している - データエンジニアの酩酊日記uma66.hateblo.jp

関連ブログ

三井住友カード Tech Blog•2ヶ月前

Snowflake Summit 26 から考える、これからのデータエンジニアに求められる役割とは？

本記事の内容は、Snowflake Summit 26 に参加した筆者個人の見解をまとめたものであり、当社の公式な見解を示すものではありません。 はじめに 想定読者 Snowflake Summit 26 を通して得られたデータ活用の変化 データエンジニアの仕事はどのように変化していくのか 今後求められるデータエンジニアリングスキルとは何なのか AI が理解しやすいデータを設計する力 データを安全に活用できる仕組みを設計する力 プラットフォーム全体を支える力 まとめ 関連記事 はじめに マーケティングユニット AI･データチャプターの枝です。 2026年6月に開催された Snowflake S…

#Snowflake#イベントレポート#データエンジニア#データエンジニアリング
レバレジーズ データAIブログ•3ヶ月前

Dataformでのデータ品質担保をどう進める？手動アサーションで実現する堅実なテスト運用

はじめに こんにちは。レバレジーズデータ戦略室 データアーキテクトグループの辰野です。 今回は、弊社のデータ基盤におけるデータ品質担保の取り組みについてご紹介します。現在、社内の多くの部署に対しBigQuery上のテーブルを提供しており、データの利活用が浸透していますが、一方で品質テストについてはこれまで手が付けられていない状態でした。 事業単位でのデータ担当者の配置とデータリアーキテクチャが進んだことを機に、データ品質の担保を本格的に開始することにしました。本記事では、なぜ今回の設計に至ったのか、どのようなテストを実装したのか、そして実際に運用してみての振り返りについてお話しします。 品質担…

#データ品質#Dataform#SQL#アサーション#データエンジニア
準富裕層の窓際族、ガジェットの山に埋もれる～評価ダウンからのFIRE計画～•5ヶ月前

GMがIT社員600人規模を削減——AI時代の「IT窓際族」には他人事じゃない

すーだらです。 最近、AI関連のニュースを追っていると、だんだん笑えない話が増えてきました。 今回はゼネラルモーターズ、いわゆるGMの話です。 TechCrunchによると、GMはIT部門の10％超にあたる約600人の給与所得者をレイオフしたそうです。最初に報じたのはBloombergで、TechCrunchもGMに確認しています。 前回、Cloudflareが好決算にもかかわらず1100人レイオフしたと記事にしたばかりです。 もちろん、GMが「600人を全員AI人材に置き換えます」と発表したわけではありませんが、報道を見る限り、GMも求めるIT人材の中身が変わってきているのは間違いなさそうで…

#生成AI#ゼネラルモーターズ#レイオフ#IT雇用#スキル転換#プロンプトエンジニア#FANG＋#データエンジニア
CARTA TECH BLOG•8ヶ月前

CARTA ZEROのエンジニア 近森 淳平、「2026 Snowflake Data Superheroes」に3年連続選出

株式会社CARTA ZERO（本社：東京都港区、代表取締役CEO：髙橋 学、以下「CARTA ZERO」）のデータ戦略局 Vice President of Data 近森 淳平(ちかもり じゅんぺい)が、2024年より3年連続で「2026 Snowflake Data Superheroes」に選出されました。 ■ 「Snowflake Data Superheroes」とは 「Snowflake Data Superheroes」は、データクラウドを提供するSnowflake社が主催する表彰プログラムで、Snowflakeに関する高度な専門知識に加え、革新的な活用事例の発信やユーザーコミュ…

#Snowflake#データエンジニアリング#データエンジニア
Adwaysエンジニアブログ•9ヶ月前

初めてのクラウド系ベンダー資格としてGoogle Cloud Associate Data Practitioner を取ってみました

こんにちは！ADWAYS DEEEでアプリケーションエンジニアをしている渡辺です！ 今回は自分が初めてGoogle Cloudの認定資格を取ったのでその体験記を書きたいと思います。 本記事の対象 Google CloudやAWSの認定資格をこれから取ってみようかなという方 Associate Data Practitionerを取ろうと思っている方 今回の記事であまり対象じゃない人 既に認定資格を取った経験がある人 初めて受けた視点での話をするので既に受験の経験がある人にとっては当たり前の内容になると思います。ご了承を！ TL;DR Associate Data Practitioner(AD…

#Google Cloud#認定資格#データエンジニア
現実モデリング•10ヶ月前

データエンジニアとして合理的意思決定過程のスケール・アウトを目指す

人間と社会をしていると、「あなたは何の仕事をしているんですか？」と聞かれる場面があるだろう。普段関わりがない人と仕事をする時とか、自己紹介する必要がある場面とかで。気転を聞かせて、パッと「こういう仕事をしています」と言えるとカッコいいなぁ、と思う。 自己紹介の場面じゃなくても、普段から自分が何のために働いているかははっきりさせたい。目的がはっきりしないと、手段と目的を取り違えたりしてむず痒い気持ちになる。 データ関係の仕事に携わるようになってそこそこ時間が経った。最近は「僕は人々が合理的に意思決定するための仕組みを作っているんですよ」と説明するようになった。可能な限り多くの人が、迅速に、合理的…

#データエンジニア
asoview! Tech Blog•1年前

アソビューのDWH一本化プロジェクト：BigQuery・Snowflake 検討のプロセス

はじめに こんにちは。 アソビューでデータエンジニアをしている山野です。 アソビューのデータ基盤ではこれまでBigQueryとSnowflakeの２つのDWHを利用してきました。 しかしながらこのシステム構成を見直し、DWHを一本化することを決め、今年の初めから半年ほどかけ選定検証を行ってきました。 今回はアソビューで実際にどのような検証を行ったか共有したいと思います。 この内容がDWHの変更や移行を検討しているデータエンジニアの方々にとって少しでも参考になれば幸いです。 前提 - アソビューのデータ基盤のこれまで アソビューのデータ基盤については過去テックブログでもご紹介してきましたが、 当…

#データエンジニア#DWH
現実モデリング•1年前

フルサイクル・データ・エンジニア

って言葉を最近思いついたのだが、調べてみたら求人票の中にはすでにあるようだ。 元ネタは、ベンチャー企業の人間がみんな大好きな、Netflixの「Full-Cycle Developer」の考え方である。 ドメインごとに構成された個々の開発チームが、デザインから実装、デプロイ、サポートまでのソフトウェア・ライフサイクル全てをカバーする働き方をする 中央集権的に集まった専門性の高いチームが、複数のチームで利用するツールを作り、車輪の再発明を防ぐ Time to Valueの最適化を図るための構成となっている https://netflixtechblog.com/full-cycle-develo…

#ポエム#データエンジニア
CARTA TECH BLOG•1年前

【イベント開催レポート】データ活用の最前線と熱気をお届け！Snowflake x Salesforce User Group (SF2UG) オンサイト ミーティング #2

こんにちは、技術広報しゅーぞーです！ SnowflakeとSalesforceユーザー、そしてデータ活用に関心のある皆様が待ち望んだ「Snowflake x Salesforce User Group (SF2UG) オンサイト ミーティング #2」が開催されました。本記事では、データ活用のリアルな事例と参加者同士の活発な交流が生まれた当日の模様をお伝えします！ 「Snowflake x Salesforce User Group (SF2UG) オンサイト ミーティング #2」とは 「Snowflake x Salesforce User Group (SF2UG) オンサイト ミーティング…

#Snowflake#salesforce#SF2UG#データエンジニア#データエンジニアリング#CARTA HOLDINGS#CARTA MARKETING FIRM