データ基盤

この記事は MicroAd Advent Calendar 2022 と Distributed computing (Apache Spark, Hadoop, Kafka, ...) Advent Calendar 2022 の25日目の記事です。 今年のアドカレも最終日になりました。 とは言え、Distributed computing Advent Calendar 2022 の方はエントリが結構残ってるので、引き続き空いてる枠への参加をお待ちしてます！ qiita.com qiita.com 今回は、Hadoopクラスタ管理者の視点で、データ基盤としてTiDBの使い所について考えてみ…

この記事はアソビュー！ Advent Calendar 2022 の 21日目です。 裏面もよろしくお願いいたします！！ tech.asoview.co.jp Intro GCPとリソース階層、プロジェクト粒度について GCPのプロジェクトとリソース階層の全体設計 データ分析基盤のプロジェクト設計 基本方針 BigQueryをデータ分析基盤として使う場合の考慮事項 サービスクォータへの対応 martでの機密情報の取り扱い 中長期的にデータ分析基盤を拡張していくときの方針 BigQuery構造設計 Data Lake Data Mart 最後に こんにちは、アソビューデータ基盤チームの霧生です。…

こんにちは。データエンジニアの谷元です。 この記事は Enigmo Advent Calendar 2022 の21日目の記事です。 目次 はじめに どうしてデータ基盤を最適化する必要があるの？ どうしたら改善できるの？ 現状のデータ基盤のおさらい 主要なBUYMA基幹データの最新ビューに着目してみる 最新ビューをどう変更するの？ システム概要としてはどんな感じ？ この方針で思ったこと BQ履歴テーブルの作成方針だけど 本当にその方法で改善するの？ 運用保守する上で気になっていたこと 見込み効果はどうなの？ 実装する上で意識したところ BQ履歴テーブル作成前提となるDAG依存関係 本番データを…

この記事は Nature Remo Advent Calendar 2022 の9日目として書きました。 adventar.org データエンジニアの原です。 皆さん、ETL、ELT に取り組んでいますか？今回は、API ログのETL を実装する上で困った点、改善した点を紹介します。 API ログをETL しよう Nature ではデータ基盤として、BigQuery （以下、BQ）とArgo Workflow を中心にデータ基盤を構築しています。 DB のデータはEmbulk で、ログデータなどはGlue でETL を実施し、BQ にデータを転送しています。 engineering.natur…

ちょっと昔まではデータ基盤の管理人・アーキテクト, 現在は思いっきりクラウドアーキを扱うコンサルタントになったマンです. 私自身の経験・スキル・このブログに書いているコンテンツの関係で, 「データ基盤って何を使って作ればいいの?」的なHow（もしくはWhere）の相談. 「Googleのビッグクエリーってやつがいいと聞いたけど何ができるの?」的な個別のサービスに対するご相談. 「ぶっちゃけおいくらかかりますか💸」というHow much?な話. 有り難くもこのようなお話をよくお受けしています. が, （仕事以外の営みにおける）個人としては毎度同じ話をするのはまあまあ疲れるので, データ基盤にあり…

こんにちは、メディアサービス開発部サービス分析課の佐藤です。推しTRPGはD&D5版です。今年4月に入社し、事業横断データ基盤を構築しています。 今回はブックウォーカー社内でデータ基盤を構築するにあたって身につけたAWS関連の知識、主にRDSのexport snapshot to S3、Glue Job、AWS Serverless Application Model （以下SAMと略します）周りについて書いていきます。 背景 手法1. 定期的なデータ抽出 手法2. 外部接続 手法3. Change Data Capture システム構成の詳細 Export Snapshot to S3 AW…

データ基盤開発部の高野です。 今回は、以前の当社ブログでもご紹介したことのある医療機関データベースの品質アップのためAthenaのテーブル新旧比較を仕組み化した取り組みと、結果、修正による想定外の影響を把握し易くなり、安定したリリースに繋がっていることを、システム構成も交えてご紹介したいと思います。 techblog.jmdc.co.jp techblog.jmdc.co.jp オンプレからクラウドへの移行でテストの中心となったレコード新旧比較 運用管理画面や実行されるジョブについてはRuby on Rails、AWS Lambdaで開発しており、ある程度テストコードも書いてテストも自動化でき…

トレジャーデータがビッグデータプラットフォームからカスタマープラットフォームへの方向転換をして約4年が経ちました。 様々なお客さまのCDPプロジェクトを主導するカスタマーサクセスチームとプロフェッショナルチームが中心となり、成功ノウハウをまとめたCDP本がついにリリースされました！ 個人的にも出版されるのを楽しみにしていたので、今回はCDP本を読んだ感想を書いていきたいと思います。 CDP活用の最適解を導く 事例から見えてくる、人材、プロジェクト、組織の在り方作者:トレジャーデータ,重原洋祐,冨田恭平,阪口暁,小暮和基,矢戸政法翔泳社Amazon Disclaimer 私はトレジャーデータ社員…

はじめに イタンジ株式会社の藤崎です。現在は、物件データ基盤の開発を担当しています。 年末年始は、本を読んだり、AWS ECSで遊んでみたり、Gemのソースコードを読んでみたりと色々やっていました。 今回はその色々やった中でも簡単に紹介できそうな、「SidekiqをRailsなしで使ってみる」をテーマに書こうと思います。 モチベーション SidekiqはよくRailsと一緒に使われることが多く、Sidekiq関連の記事ではRails前提のものが多い印象です。 しかし、ちょっとした検証をするためだけにRailsアプリケーションを作成するというのは面倒です。 そこで、RailsなしでSidekiq…

はじめに アドプラットフォーム事業部でアナリティクスエンジニアをしているucchi-です。 ピクシブは、2022年11月24日に「pixiv Ads」という広告ネットワークをリリースしました。広告主は、pixivに広告を少額予算から簡単に出稿できます。 ads.pixiv.net pixiv Adsのデータ基盤では、大きく分けて以下の課題と向き合っています。 鮮度：広告の配信状況をリアルタイムに見たい クライアントは、ユーザーに広告を届けるため、常にお金を払い続けます。広告配信条件を誤ると、それだけお金を無駄にしてしまうため、少なくとも数十分以内に配信状況を確認できる必要があります 精度：広告…

はじめに こんにちは。株式会社High Link データエンジニアの谷口祐太郎(@ytaniguchi811)です。 私たちのチームは全社的にデータの利活用を推進できるよう、分析基盤の開発に日々取り組んでいます。 Data WarehouseとしてはBigQueryを採用しており、分析用のテーブルはdbtとGitHubを連携させてコードで管理しています。 dbtを用いることで分析テーブルをコード管理できるようになり、私たちのような小規模チームでも管理・運用が非常に楽になりました。詳しくは本テックブログの別記事で説明していますので、よろしければご参照ください。 tech.high-link.co…

はじめに エス・エム・エス BPR推進部カスタマーデータGrで、「ナース人材バンク」等のキャリア事業を中心に、社内のデータ活用の推進、データ基盤の開発を担当しています、石塚と申します。 私達カスタマーデータGrでは、Google CloudのBigQueryを中心としたデータ基盤を構築しており、社員がデータを利用して意思決定をする業務をサポートする役割を担っています。本記事ではそのデータ基盤についてご紹介したいと思います。 カスタマーデータGrのデータ基盤について 私達が運用するデータ基盤のデータ連携アーキテクチャについて、簡単にまとめると以下の図のようになります。 エス・エム・エスのキャリア…

第42回新産業技術促進検討会シンポジウム 「2022年度NEDO先導研究プログラム報告会～社会実装に向けたマネジメントとは～」 日時：2023年2月8日（水）13:00～17:00 ◆13：35～14：00講演1 「大容量、省電力、低遅延を実現する革新的プラスチック光ファイバー」慶應義塾大学 教授小池 康博 氏 ◆14：00～14：25講演2「xRの真の社会実装に必要な調和的認知インタラクションデザイン技術の開発～人材不足・多様性受容・働き方改革に挑む～」産業技術総合研究所 主任研究員大山 潤爾 氏 ◆14：25～14：50講演3 「革新的な省エネルギー型データベース問合せコンパイラの研究開発…

いま読んでいる本 bookmeter.com bookmeter.com 今週の読んだ記事 今週のTwitter fav ついにJS標準でディープコピーできる関数がきたー！！！再帰的にネストしたオブジェクトも安全にコピーできるっぽい。 https://t.co/9lE3XRKOcA— tompenguin 🇺🇦 (@tompenguin_) 2023年1月19日 📢SaaS市場のトレンドを四半期毎にまとめた「Japan SaaS Quarterly Report 22.Q4」を公開しました！22年のスタートアップ調達環境は活況だったものの、Q4からペースは減速。上場市場は反発したものの、景気後…

現職のコンサルっぽい仕事・インフラアーキなエンジニアな仕事も大好きですが, やっぱデータを見ると興奮するぐらいにデータ好きな人です. startpython.connpass.com 本日（2023/1/19）, ありがたいご縁がありまして, 「機械学習エンジニアが目指すキャリアパスとその実話」というお話をさせていただきました. 参加者の方々, ご清聴ありがとうございました&参加されていない方も気になるポイントあればぜひ御覧ください. 1/19の #stapy で「機械学習エンジニアが目指すキャリアパスとその実話」なるトークをすることになりました, 自画自賛ですが思ったよりいい内容に仕上がった…

先日のRSGT2023で以下の発表がありました。「自分がそれほどプロダクト開発に興味がないことに気づく」は自分自身にも心当たりがありますし、プロダクト開発チームのリアルを言語化した発表だと思いました。この発表では、そうした言語化を受けてどうするのかについては深く触れられておらず、回答は聴衆に委ねられていることから、さらに議論を広げてみようと思います。 実際問題、真に興味を持つのは大変 現代のプロダクトマネジメントは、ひとつの深遠な専門領域になっていると思います。「本が1冊書ける」なんてレベルではありません。何百冊、何千冊と書ける世界です。そうした専門知識を組み合わせ、市場とユーザーとプロダクト…

ブラジル、前大統領支持者が議会や最高裁を襲撃（写真=AP） 「水素スタンドがない」市長公用車が苦慮 隣の市へ40キロ往復し充填（京都新聞） - Yahoo!ニュース 「GJ部」放送10周年記念動画 [第22話]正反対な君と僕 - 阿賀沢紅茶 | 少年ジャンプ＋ [第42話]ラーメン赤猫 - アンギャマン | 少年ジャンプ＋ 【インタビュー】藤原ヒロシ | マッシュアップの新しい楽しみ方 【山手線渋谷駅大規模工事】1月9日まで絶対に来ない電車を延々と待ち続ける頭の悪い人達 【暇空茜】暇アノン界隈と5ch旧速民の知能が想像以上に低かった件について【colabo問題】｜F9｜note つみたてNIS…

こんにちは、よーたです。 勇気ある人がいるものですね。凄いと思います。 今日の西武新宿線の光景です。気づいた方が増えているようで、喜ばしい限りです。声をかけようとしたら、降りてしまわれました・・・。 pic.twitter.com/RBrYL7o16Z — 笹原 俊 (@shun_sasahara) 2023年1月3日 はい。 電気代高騰、食料品高騰、ガソリン代高騰、何でもかんでも高騰・高騰・高騰、何がどこまでどれだけ上がるのさ・・・と言いたくなるが、言ったとてどうする事もできない切なさ・・を抱いてよーた、今日も元気に45歳です！ さて、2020年からばら撒かれた・・あ、しっけぇ・・・蔓延した…