DWH

はじめに こんにちは、データチームにてデータ基盤開発を行なっています、井山です。 10周年記念として133日間ブログリレー50日目の投稿です。 以前Snowflake x Streamlit の記事を書きましたが blog.flinters.co.jp 2023/09/19 に 遂にStreamlitの開発と実行がSnowflake上で可能になりました。（※まだ PublicPreviewの段階） 若干遅くなってしまったけど、早速触ってみましょう。 Snowflake in Streamlit とは？ www.snowflake.com はい、読んで字の如く、Snowflake上でStream…

目的 Redshiftにおいて、あるユーザーでSELECTを実行したときに以下のように怒られました。 Invaild operation: permission denied for schema このエラーを解決するしたときのメモとして残しておきます。 概要 上記のエラーは現在使用しているユーザーに権限がなく、クエリが実行できないことを示しています。これを解決するためにはユーザ―に権限を与えます。 解決方法 GRANTを実行して、指定のユーザーに指定の権限を付与します。 以下のクエリを実行します。 GRANT USAGE ON SCHEMA [権限許可をするスキーマ名] TO [権限付与をさ…

こんにちは、データマネジメント部でデータエンジニアをしている井山です。 この記事は10周年記念として133日間ブログを書き続けるチャレンジの15日目の投稿になります。 今回は、現在FLINTERSデータチームで行っているデータ基盤移行PRJ（実施中）についてのお話をしたいと思います。 はじめに データ基盤の現状 移行の背景 発生していた問題点 暫定的な対策 移管対応でやったこと等 まとめ Snowflakeにしてよかった点 リソース問題はほぼ解消 格納できるデータ量も無制限なのでライフサイクルも廃止（全期間のデータを格納できる） コスト的な部分でのメリット DWHの構成管理ができるように（一部…

こんにちは、SaaS プロダクト開発部テックリードの丸山 @maruyamaworks です。 先日、プライベートで使用している AWS アカウントに 15 万円の請求書が届きました。AWS Batch を使用して動画を GPU エンコードする仕組みを構築して運用していたのですが（構築したのは 5 年前）、プログラムの例外処理に不適切な点があり、プロセスが実行中のまま終了しない状態になってしまいました。そのため、コンピューティング環境（GPU を搭載した EC2 インスタンス）が動きっぱなしになり、高額請求される結果となりました。これを教訓に現在は毎日 AWS の料金を Slack に通知する…

はじめに システム概要 長時間Vacuumの回避 列指向データベース Vacuumが走りにくい処理への変更 Truncateの積極活用 時系列テーブルの使用 ディープコピーの実行 Vacuumの頻度・範囲見直し 他にも改善策として挙げられるもの Concurrency Scalingの導入 Redshift Serverlessの導入 おわりに はじめに NTTドコモ データプラットフォーム部（以下DP部）木村です。 NTTドコモでは「通信」だけでなく「決済・保険・投資」「エンタメ」をはじめとした様々なサービスをコンシューマー向けに提供しています。 DP部では様々なサービスに対して、データドリ…

分析チームの井下田（@hiroki_igeta）です。 Tokyo dbt Meetup #5で登壇機会をいただき、「Lookerから、dbtと相性のよいLightdashに移行してみた話」というタイトルで発表させていただきました。 speakerdeck.com ちなみに今回のMeetupは、オフラインとオンラインのハイブリッド開催でした。 会場および配信環境の提供をいただいたCARTA HOLDINGS様ありがとうございました！！ また、Meetupの企画をいただいた瀧本さま、発表をお聞きいただいた皆様にもこの場を借りてお礼申し上げます。 ↓こちらでイベントの録画をご覧いただけます！ ww…

こんにちは、白上です。SnowflakeのData Polarisとなって約1年経過しました。 （SnowflakeのData Polarisとは、こちらの記事を参照。また、約1年前には以下のようなことを喋っていました） www.wantedly.com 1年経過してみて、Snowflake関係でやれたこと・やれなかったことを振り返ってみたいと思います。 やれたこと 社内勉強会主催 弊社では現在DWHのお引越しをしています。 6年ほどとあるDBサービスでDWHを運用してきた（かつ、そのDBサービスを基としているプロダクトも複数ある）ものをSnowflakeにお引越しするので、息が長めのプロジェ…