はじめに データエンジニアリングまわりを復習したときのメモです。 Webアプリから発生するデータを使ってモデルを継続的に学習させるためのデータ基盤を想定しています。 データエンジニアリング導入以前ver 概要 CSVファイル PoC時点などのシンプルな実装だと、サーバ腹持ちCSVファイルのみでデータを管理する、ということもあると思います リレーショナルデータベース(RDB) 同時実行制御・耐障害性 一貫性・拡張性・信頼性・速度 関連技術要素 【CSV】pandas, etc 【RDB】PostgreSQL, MySQL, etc 課題 Webアプリケーションデータベースとは疎にしたい(分ければ…