datatech-jp

この記事は、datatech-jp Advent Calendar 2021の7日目の記事となります。 The Self-Service Data Roadmapという本がとても評判良さそうで、読んでみたいけど英語版しかないので1人で読むのは厳しいなぁ・・・って思っていたところ、Twitterから発展してあれよあれよと輪読会が開催されることになりました。 amzn.to 輪読会は現在はdatatech-jpというコミュニティに発展をしています。 詳細は@syou6162さんがブログに書いてくださっているのでこちらを参考にしてください。 www.yasuhisay.info The Self-S…

8/26に「全日本dbt-osmosisを愛でる会」を開催しました。パネルディスカッション形式のため、細かい資料はありませんが、当日のアジェンダなどは以下のスライドで公開しているため、雰囲気は感じ取ってもらえるかと思います。 開催の経緯: ノリと勢い 開催当日の盛り上がり 開催時の工夫: 頑張らないを頑張る 地方在住での勉強会との向き合い方 開催の経緯: ノリと勢い きっかけは株式会社ヤプリの山本さんが公開してくださった以下のエントリでした。 私が過去に発表したスライドやエントリを参考にしてもらっていて、めっちゃ嬉しかったです。また、bq_sushiなどの東京の勉強会に参加した際に「dbt-o…

datatech-jp.connpass.com 本記事はイベント参加時のメモ・書き散らしとなります。 アーカイブ残るとのことです。 www.youtube.com No1:BigQueryからSnowflakeへ移管して作る最強のデータ基盤 layerx.co.jp speakerdeck.com 途中から視聴開始 1分以内にs3->BQに格納か。ここまで速さ求められることなかった。。。 snowflake使うと複数サービス連携させているところシンプルになってて良さげ ネイティブにサポートもされるとつなぎ込みが楽 スピード重視はFivetran、それ以外は他のソリューションで bigqeur…

背景: データ品質を担保するにはデータソースの品質が重要 データソースの品質を担保する手段としてのData Contract Data Contractの表現方法の一つとしてのProtocol Buffers Data ContractとしてProtocol Buffersを使う データの入出力を一箇所に集約、Protocol Buffersで抑えるパターン ストレージのスキーマをProtocol Buffersで抑えるパターン 発展的な話題 & 読書会の案内 参考文献 背景: データ品質を担保するにはデータソースの品質が重要 私はデータエンジニアをしており、DWHやデータマートのデータ品質に…

データ基盤チームに所属しているデータエンジニアの吉田(id:syou6162)です。10X社内のデータマネジメントの仕事をしています。 10X社内では2022年10月にデータマネジメント成熟度アセスメントを実施していましたが、それから約一年半が経過し、データマネジメント上の課題が進捗 / 変化した箇所が出てきました。そこで、最近の成果を振り返りつつ今後のデータマネジメントの方針を改めて見直すため、データマネジメント成熟度アセスメントを再度行なうことにしました。本エントリではその内容についてまとめます。 前回のデータマネジメント成熟度アセスメントへの取り組み 今回のデータマネジメント成熟度アセス…

退屈な論文調査はAIにやらせよう ― arXivとChemRxivからの論文自動抽出&要約LLM: PaperBot君の紹介 NLP2024に参加してきました！ Google Colab で EvoLLM-JP を試す Google Colab で RakutenAI-7B を試す MetaGPTを動かしてみた Generative AI for Beginners (Version 2) - A Course #24 JAWS-UG主催 週刊AWSキャッチアップ（2024/03/18週） LangChainを使って自然言語でRDBからデータを取得する 動画生成AI「Sora」のオープンソース…

datatech-jpで開催中のFundamentals of Data Engineering (English Edition)読書会に向けた、「Chapter 11.The Future of Data Engineering」のまとめ。 以下は基本的には本文の要約であり、★マークがついている部分は私のコメントや付加情報である。 全体のあとがき/エピローグ的なChapter データエンジニアリングの未来への洞察が語られる(同書が刊行されたのは2022年6月22日) Introduction データエンジニアリングのライフサイクルはなくならないだろう 複雑性は低下し使いやすいデータツールが…

datatech-jpで開催中のFundamentals of Data Engineering (English Edition)読書会に向けた、「Chapter 10. Security and Privacy」のまとめ。 以下は基本的には本文の要約であり、★マークがついている部分は私のコメントや付加情報である。 セキュリティとプライバシーの重要性を再確認し、日々のワークフローに取り入れることができる簡単なプラクティスを紹介 人、プロセス、テクノロジーの観点から整理 security and privacy are critical to data engineering Introduc…

今年は色々あった。キャリア的にも、キャリアじゃないところでも、色々なことがあった。 キャリア的な 年始の段階ではアナリティクスエンジニアをやっていて、BIの作成や自動化処理を業務領域にしていた。それからはデータエンジニアとなり、データ基盤の移行をやった。アーキテクトとしての技術選定・技術普及、プロジェクトマネジメント、社内政治など、「データ基盤を移行するために必要なこと」をすべて一貫してやり切ったことはいい勉強になった。 それからはデータプラットフォームを統括するチームのマネージャーになった。エンジニアとしてのキャリアの中で、マネージャーをやるなら今だと思った。マネジメントは難しいが面白いし、…

この記事はdatatech-jp Advent Calendar 2023の12日目の投稿です。本日は12/18ですが、Advent Calendarの空きがあったのでねじこみました。 背景 困ること: 実行時間が長い 脱線: レコードの削除時に考慮したいこと dry-runモードで何が実行されるかを分かるようにしておく バックアップ用にテーブルをコピーしておく ログはしっかりめに残しておく 削除に必要な最小の権限に絞ったサービスアカウント経由で実行する 複数回コマンドが実行されても問題ない冪等な設計にしておく 復旧用の手順もまとめておく テーブルの利用者に予めレコードの削除が起こることを伝え…

こんにちは、データプラットフォームチームでデータエンジニアをしています、鳥山(@to_lz1)です。 本記事は datatech-jp Advent Calendar 2023 11日目の記事です。 データ基盤を運用する皆さま、ジョブの実行管理基盤には何を用いているでしょうか？ 様々なOSSやサービスが群雄割拠するこの領域ですが、Google Cloud Platform(以下、GCP) のCloud Composerは選択肢の一つとして人気が根強いのではないかと思います。 一方、同サービスには時折「運用がつらい」とか「費用が高い（故に、開発者が気軽に触れる開発環境を用意できない）」といった言…

この記事は datatech-jp Advent Calendar 2023 3日目の記事です。 背景・趣旨 筆者（@yuzutas0）は風音屋（@Kazaneya_PR）という会社を経営しており、データ職種の採用・育成に関心を持っています。 複数企業で少ない専門家を奪い合って疲弊するような採用活動ではなく、マーケット全体がより豊かになるような動き方はできないだろうかと模索しています。 1つの実験として、MENTAで「第2新卒が3ヶ月でデータ職種への転職を目指す講座」というトレーニングを提供し、ありがたいことに30名以上の方々に受講いただきました。 ちなみにこの講座は今では風音屋の社内研修にな…