Hatena Blog Tags
はてなブログ トップ
DataWarehouse
このタグでブログを書く
言葉の解説
ネットで話題
関連ブログ

DataWarehouse

このタグの解説についてこの解説文は、すでに終了したサービス「はてなキーワード」内で有志のユーザーが作成・編集した内容に基づいています。その正確性や網羅性をはてなが保証するものではありません。問題のある記述を発見した場合には、お問い合わせフォームよりご連絡ください。
kubell Creator's Note•6ヶ月前

実践的な進化を目指すデータ基盤のこれまでとこれから〜2025年編

こんにちは！kubellデータエンジニアのみっつと申します。 2025年もアドベントカレンダーの時期ですね！！ 今年も引き続きkubellのデータ分析基盤開発を推進しました。この投稿ではその成果と、来年に向けての展望をまとめます。 この記事はkubellアドベントカレンダーの２日目の投稿です。 参考情報 この投稿は、直近の登壇で利用した以下の資料を元にポイントを抽出、加筆したものです。 みん強第5回_kubellのデータ基盤開発の最新状況とAIの活用の実践について TS-S205_昨年対比2倍以上の機能追加を実現するデータ基盤プロジェクトでのAI活用について

#データ基盤#データ基盤構築#Snowflake#DataWarehouse

関連ブログ

JTP Tech blog•1年前

Using Snowflake's Document AI to Query Documents with Natural Language

この記事は移転しました。約2秒後に新記事へ移動します。移動しない場合はこちらをクリックしてください。

#Snowflake#DataWarehouse#DWH#DocumentAI
ドワンゴ教育サービス開発者ブログ•1年前

データ基盤をDataformで構築して気づいたこと

Dataform導入の経緯 ドワンゴ教育事業でデータサイエンティストとして一応なんとか働いている堀です。 私たちのグループではBigQuery上で教育データのデータウェアハウス基盤を構築しています。 当初はDataformもリリースされていなかったこともあり、Scheduled Queryでデータウェアハウス基盤を構築していました。 しかしながらデータウェアハウス基盤が複雑化し実行SQLが増えるにつれ、SQLの依存関係をもとに各SQLの実行時間を定める必要がでてきて、Scheduled Queryでの管理が厳しくなってきました...... そういった背景から、現在Scheduled Query…

#Dataform#GoogleCloud#DataWarehouse#データサイエンス#教育事業
DWANGO（旧KADOKAWA Connected事業） | Engineering Blog•2年前

クラウドデータウェアハウス(Amazon Redshift)のコスト削減した話

グループデータマネジメント部の須藤です． 日々の業務はデータ基盤の開発や運用を行っています． 今回はAWSのクラウドデータウェアハウスAmazon Redshiftの費用削減に取り組んだのでそこで得た知見を共有したいと思います． クラウドデータウェアハウスはスケーラビリティやパフォーマンスが費用対効果のバランスが取れているか定期的に見直しする必要があります． 我々が運用しているAmazon Redshiftのクラスタは利用開始してから3年が経過しており，開始当初より利用量が増えて利用パターンが変化していたので効率化に取り組みました． 背景 RedshiftにはプロビジョニングされたクラスタとS…

#Amazon Redshift#reserved instances#serverless#DataWarehouse
kubell Creator's Note•4年前

プロダクトへの貢献を目指す、Chatworkの次世代データ分析基盤

こんにちは。データエンジニアのみっつと申します。 CTO室というところで次世代データ分析基盤プロジェクトというものを推進しております。 2022/09/01で入社(中途)してから１年が経ち２年目に突入しました。前職では長年アドテクノロジー分野の大規模データ処理を経験し、Chatworkへはデータエンジニア(DRE)第1号として入社しました。 最先端プロジェクトを任せていただけたからかか、１年が過ぎるのはアッという間でした😅（歳を重ねたからもありそう...） さて、10/07(金)Chatworkが主催するオンラインカンファレンス『Chatwork Product Day 2022』が実施されま…

#Snowflake#DataWarehouse#Data analytics