DWH

はじめに こんにちは、データチームにてデータ基盤開発を行なっています、井山です。 10周年記念として133日間ブログリレー50日目の投稿です。 以前Snowflake x Streamlit の記事を書きましたが blog.flinters.co.jp 2023/09/19 に 遂にStreamlitの開発と実行がSnowflake上で可能になりました。（※まだ PublicPreviewの段階） 若干遅くなってしまったけど、早速触ってみましょう。 Snowflake in Streamlit とは？ www.snowflake.com はい、読んで字の如く、Snowflake上でStream…

目的 Redshiftにおいて、あるユーザーでSELECTを実行したときに以下のように怒られました。 Invaild operation: permission denied for schema このエラーを解決するしたときのメモとして残しておきます。 概要 上記のエラーは現在使用しているユーザーに権限がなく、クエリが実行できないことを示しています。これを解決するためにはユーザ―に権限を与えます。 解決方法 GRANTを実行して、指定のユーザーに指定の権限を付与します。 以下のクエリを実行します。 GRANT USAGE ON SCHEMA [権限許可をするスキーマ名] TO [権限付与をさ…

こんにちは、データマネジメント部でデータエンジニアをしている井山です。 この記事は10周年記念として133日間ブログを書き続けるチャレンジの15日目の投稿になります。 今回は、現在FLINTERSデータチームで行っているデータ基盤移行PRJ（実施中）についてのお話をしたいと思います。 はじめに データ基盤の現状 移行の背景 発生していた問題点 暫定的な対策 移管対応でやったこと等 まとめ Snowflakeにしてよかった点 リソース問題はほぼ解消 格納できるデータ量も無制限なのでライフサイクルも廃止（全期間のデータを格納できる） コスト的な部分でのメリット DWHの構成管理ができるように（一部…

こんにちは、SaaS プロダクト開発部テックリードの丸山です。 先日、プライベートで使用している AWS アカウントに 15 万円の請求書が届きました。AWS Batch を使用して動画を GPU エンコードする仕組みを構築して運用していたのですが（構築したのは 5 年前）、プログラムの例外処理に不適切な点があり、プロセスが実行中のまま終了しない状態になってしまいました。そのため、コンピューティング環境（GPU を搭載した EC2 インスタンス）が動きっぱなしになり、高額請求される結果となりました。これを教訓に現在は毎日 AWS の料金を Slack に通知するようにしています。読者の皆さまに…

はじめに システム概要 長時間Vacuumの回避 列指向データベース Vacuumが走りにくい処理への変更 Truncateの積極活用 時系列テーブルの使用 ディープコピーの実行 Vacuumの頻度・範囲見直し 他にも改善策として挙げられるもの Concurrency Scalingの導入 Redshift Serverlessの導入 おわりに はじめに NTTドコモ データプラットフォーム部（以下DP部）木村です。 NTTドコモでは「通信」だけでなく「決済・保険・投資」「エンタメ」をはじめとした様々なサービスをコンシューマー向けに提供しています。 DP部では様々なサービスに対して、データドリ…

分析チームの井下田（@hiroki_igeta）です。 Tokyo dbt Meetup #5で登壇機会をいただき、「Lookerから、dbtと相性のよいLightdashに移行してみた話」というタイトルで発表させていただきました。 speakerdeck.com ちなみに今回のMeetupは、オフラインとオンラインのハイブリッド開催でした。 会場および配信環境の提供をいただいたCARTA HOLDINGS様ありがとうございました！！ また、Meetupの企画をいただいた瀧本さま、発表をお聞きいただいた皆様にもこの場を借りてお礼申し上げます。 ↓こちらでイベントの録画をご覧いただけます！ ww…

こんにちは、白上です。SnowflakeのData Polarisとなって約1年経過しました。 （SnowflakeのData Polarisとは、こちらの記事を参照。また、約1年前には以下のようなことを喋っていました） www.wantedly.com 1年経過してみて、Snowflake関係でやれたこと・やれなかったことを振り返ってみたいと思います。 やれたこと 社内勉強会主催 弊社では現在DWHのお引越しをしています。 6年ほどとあるDBサービスでDWHを運用してきた（かつ、そのDBサービスを基としているプロダクトも複数ある）ものをSnowflakeにお引越しするので、息が長めのプロジェ…

データを連携して提供する際に、取得元のデータベースについての知識があると良いなと思うことがあるのでちょうど面白そうだったので読んでみた。 マルチクラウドデータベースの教科書 クラウドロックインを乗り越えるデータベースの構築ノウハウ作者:朝日 英彦,小林 隆浩,矢野 純平翔泳社Amazon 目次は以下。 Chapter 1 一般論としてのマルチクラウド 1-1 マルチクラウドに至る歴史 1-2 クラウドの選定理由 1-3 マルチクラウドジャーニー Chapter 2 「データベース」から見たマルチクラウド 2-1 データベースから見たマルチクラウドの意義 2-2 データベースのクラウド化 2-3…

コストの最適化の話を聞いた後に本屋に行ったら見かけたので買ってみた。 最適化が削減することには限らないが、減らすべきところはいっぱいあるだろうなと。 もっと絞れる AWSコスト超削減術作者:池山 徹,狩野 泰隆,小林 直貴日経BPAmazon 目次は以下。 これらを眺めるだけでも、あーってなるものがある。 第1章 主要サービスのコスト最適化 1-1 ベストプラクティスから学ぶ コスト最適化の基本 1-2 AWS のツールで事前見積もり 対象外のサービスには注意 1-3 EC2 で迷ったら基準を選ぶ お得な長期利用も視野に 1-4 ストレージサービスの最適化 S3 を第一候補に使い分ける 1-5…

スタンバイアドベントカレンダー 2024 の 12/24 の記事になります。 スタンバイで Architect や EM をしている辻です。 スタンバイでは事業の成長・拡大および中長期的な事業継続のため、機能開発に加えて技術的な改善活動もいくつか実施しております。 この記事では2024年の振り返りも兼ねて、最近のスタンバイの技術的な取り組みをいくつか紹介します。 取り組み全体の概要 昨年度以前から継続しているものも含め、スタンバイ全体では ・コスト最適化 ・システムのリアーキテクチャ ・開発効率を上げるためのツールなどの導入 を進めてきました。 コスト最適化 スタンバイはサービスのインフラに …

DP-600を無料で受けられるとは Ignite Edition Challengeについて 先着5000名 バウチャー付与 受験の期限 受験時の注意 試験について 試験の形式 戻れるか否か、セクションのこと 時間は足りるか 合否はいつ分かる DP-600とは？Microsoft Fabricって？ 受験の個人的な背景 同ジャンルの試験 DP-600 DP-900 Microsoft その他 AWS 個人的な今後の資格取得計画 DP-600を無料で受けられるとは Microsoft Learn Challenge Ignite Edition Challenge というのがありまして。Xで検索…

こんにちは。忘年会の二次会で突然開催された社内でスト2対戦会では無敗だったギフティ CTO 柳瀬です。 さて、今回のブログでは、ギフティの開発組織内で2021年に発足した Platform Unit についてご紹介したいと思います。このチームは、ギフティのプロダクト全体を横断する基盤の設計や、技術的共通課題の解決を担う存在であり、現在CTOである自分が率いています。その役割や、取り組んでいるプロダクトについて、少しでもイメージをお伝えできればと思います。 Platform Unit 設立の背景と責務 ギフティのプロダクトは、個人向けサービス「giftee」や法人向けの「giftee for B…

こちらの記事はカケハシ Advent Calendar 2024の21日目の記事になります。 adventar.org こんにちは、株式会社カケハシのエンジニアリングマネージャーの鳥越です。 本日は、今年の5月にデータサイエンティスト、機械学習エンジニア、ソフトウェアエンジニアの混成チームのエンジニアリングマネージャーとして入社した私の、半年間の取り組みについてのお話しをしていこうと思います。 「機械学習エンジニア」や「データサイエンティスト」は会社によって中身がだいぶ異なると言われますし、事業領域やフェーズ、その際に抱えている課題によっても異なると思いますので、あくまで1ケースとして受け止め…

CRMの機能も一部あるマーケツールっぽいものをSaaSプロダクトで作る時にテーブル設計どうすれば良いか考える。 SalesforceMarketingCloud的なイメージ。 あくまで実績のない机上の空論となります。 SalesforceMarketingCloudはGeminiに聞いたらこんな感じっぽい。（あってるかわからないが） Salesforce Marketing CloudはどのようなDBテーブル設計をしていますか？ SFMC のデータモデルをある程度理解するために、利用可能な情報から推測することは可能です。一般的に、SFMC のデータは、以下の様な主要なエンティティを中心に設計さ…

スタンディング一般は6,400円、長女のU-23サポートは4,400円。 「U23サポートチケットを買ったのに、年齢を証明できる学生証とかそういうのを忘れたかみつからないかで入場口で往生している」若者が多数だった。 追加料金を払えば入れたとは思うが、どうなんだろう。顚末を見届けずおれたちはさくっと入場しました。ドリンク代600円は交通系ICカードか現金の二択でpaypayやクイックペイ不可。 初ライブとおぼしき制服姿の高校生グループから、俺よりも年上と思われるおじさまおばさままで、幅広い年齢層でした。 午前中は在宅勤務、午後は半日休を取って車で現地入り。すいていれば30分かからないが、夕方は首…

この記事はスターフェスティバル Advent Calendar 2024 19 日目の記事です。 アドベンドカレンダーのときしか書かないブログになってしまっている qiita.com はやいもので年が明けたらもう入社して4年になります。 今年の後半は組織的にかなり激動の一年だったので、今年の振り返りと来年以降のやっていきの気持ちを綴りたいと思います 今年なにしてたの データ基盤を作ってた 年初くらいからデータ基盤チームに移籍し、データエンジニア見習いとしてデータ基盤の構築を推進していました。 ETL is 何？ってレベルからのスタートでしたが、チームメンバーに鈍器の輪読会に付き合ってもらったり…

はじめに こんにちは！Data Strategy teamでデータエンジニアをしているshota.imazekiです。 今回はBigQueryでのINFORMATION_SCHEMAを用いたBigQueryデータ監視というテーマでブログを書いていこうと思います。 BigQueryを利用していく上で「クエリが実行できなくなった」「データが古いまま更新されていない」「使われていないデータがある」などの様々な運用上の課題があるかと思います。それをINFORMATION_SCHEMAで使って簡単に解決していこうという話です。 BASEの分析基盤 まず前提としてBASEの分析基盤を簡単に紹介します。BA…

こんばんは。データ分析基盤グループ所属の大室です。 この記事はSafie Engineers' Blog! Advent Calendar18日目の記事です！ はじめに 登壇内容 セッション概要 当社のご紹介 プロジェクト背景 プロジェクト始動 CData Syncの採用ポイント 今後の展望 余談 会場風景 We are hiring!

1. はじめに Alationとは？ 2. ドコモのデータ活用基盤とデータカタログ 2-1. ドコモのデータ活用基盤について 2-2. AlationとSnowflakeの連携機能 3. データカタログの運用の話 3-1. カタログ運用その1：DWH開発者によるカタログ運用 3-2. カタログ運用その2：データオーナーによるカタログ運用 3-2-1. データオーナーによるカタログ運用を実現するまで 3-2-2. データオーナーのみなさまのご協力 4. 今後の展望 記事の充実化 まとめ 1. はじめに こんにちは！NTTドコモ データプラットフォーム部（以下DP部）の白石・三澤です。 白石：デー…