DataWarehouse

Dataform導入の経緯 ドワンゴ教育事業でデータサイエンティストとして一応なんとか働いている堀です。 私たちのグループではBigQuery上で教育データのデータウェアハウス基盤を構築しています。 当初はDataformもリリースされていなかったこともあり、Scheduled Queryでデータウェアハウス基盤を構築していました。 しかしながらデータウェアハウス基盤が複雑化し実行SQLが増えるにつれ、SQLの依存関係をもとに各SQLの実行時間を定める必要がでてきて、Scheduled Queryでの管理が厳しくなってきました...... そういった背景から、現在Scheduled Query…

グループデータマネジメント部の須藤です． 日々の業務はデータ基盤の開発や運用を行っています． 今回はAWSのクラウドデータウェアハウスAmazon Redshiftの費用削減に取り組んだのでそこで得た知見を共有したいと思います． クラウドデータウェアハウスはスケーラビリティやパフォーマンスが費用対効果のバランスが取れているか定期的に見直しする必要があります． 我々が運用しているAmazon Redshiftのクラスタは利用開始してから3年が経過しており，開始当初より利用量が増えて利用パターンが変化していたので効率化に取り組みました． 背景 RedshiftにはプロビジョニングされたクラスタとS…

こんにちは。データエンジニアのみっつと申します。 CTO室というところで次世代データ分析基盤プロジェクトというものを推進しております。 2022/09/01で入社(中途)してから１年が経ち２年目に突入しました。前職では長年アドテクノロジー分野の大規模データ処理を経験し、Chatworkへはデータエンジニア(DRE)第1号として入社しました。 最先端プロジェクトを任せていただけたからかか、１年が過ぎるのはアッという間でした😅（歳を重ねたからもありそう...） さて、10/07(金)Chatworkが主催するオンラインカンファレンス『Chatwork Product Day 2022』が実施されま…

「データエンジニアリング」という言葉を聞いたことがあるでしょうか。 昨今、デジタルトランスフォーメーションが推し進められていることにより、データ活用の重要性がますます高まっています。中長期的な経営方針や意思決定のためにデータを活用するためには高度なデータ分析を行う必要があり、そのためにはデータ分析を行うための分析基盤が必要となります。このデータ基盤を構築・管理する技術および関連領域をデータエンジニアリングといい、これらを行う技術者はとりわけデータエンジニアなどと呼ばれることがあります。 データ分析を行うデータアナリストや、数理・統計学を用いてデータを活用するデータサイエンティストのために、ビッ…