Snowflake

つい先日、"SnowflakeのHands On Essentials - Data Warehouse"を獲得したDBManiaです。 相変わらずSnowflakeのDWHとしての性能、機能に惚れ込んで、使い倒す日々を送っております。 クエリー結果キャッシュとは さて、Snowflakeのパフォーマンスを上げるための大きなポイントにクエリー結果キャッシュを使用する、というのがあります。 クエリー結果キャッシュというのは、過去に実行されたSQLをある程度の時間（基本は24時間）、Snowflakeのクラウドサービスレイヤー上に保管しておく仕組みで、次に同じSQLが要求されたときにはその下のクエ…

はじめに クラシルリワードについて データ基盤の全体構成 BigQueryの選定理由 データ基盤における重要な役割 アプリのイベントログのscan量削減 DynamoDBやRDSをBigQueryにSync Snowflakeの活用 BIツール(Redash, Looker) Redash Redash repositoryのフォルダ・ファイル構成 git管理下のSQLクエリをRedashに反映 Lookerについて さいごに はじめに こんにちは！クラシルリワードで開発責任者をしているfunzinです。 この記事ではクラシルリワードのデータ基盤の構成について紹介していきます。 クラシルリワー…

1. はじめに こんにちは、Ops-dataチームの上村(@contradiction29) です。データアナリストとして入社したのち、ダッシュボード作りに没頭し、テーブル作成にのめりこみ、データエンジニアリングに夢中になり、今はデータエンジニア兼アナリティクスエンジニアをやっています。 つい最近、弊社Algoageで運用しているデータ分析基盤のリプレイスを実施しました。その際、私は言い出しっぺ兼リードエンジニア兼ちょっとしたプロジェクトマネージャーのような役割をしていました。いろいろ思うところがあったため、考えをまとめてみようと思います。 2. イントロダクション チャットブーストCVは「日…

REVISIOのエンジニア片岡です。 Pythonのみで簡単にダッシュボード的なWebアプリが作れるフレームワークStreamlitですが、昨年Snowflakeに買収され、 Snowflakeのウェアハウス（サーバー）上で実行してユーザーへ提供できるようになりました。 Snowflake Native AppのUIとしてStreamlitを使用 Native AppではなくシンプルにSnowflake上でStreamlitを実行 の2種類がありますが、今回は2について、どのような開発・利用体験となるのか確認してみました。 おおまかな流れは以下のようになります。 Streamlitアプリをロー…

※2023/08/22現在、Issue#1006によりSnowflakeFile関数が利用できなくなっているため、関数を使ったロードができない状態なので注意 概要 GIS(地理情報システム)でよく使われるShapefile形式のデータをSnowflakeへロードする。 なにかいい方法がないかと模索していたら、めちゃくちゃ参考になる記事があったのでこれを元に試してみる。 Load Shapefiles Into Snowflake — The Easy Way 使うデータは国土数値情報データの行政区域(全国)のデータを用いる。 ロード方法 1. 事前準備 Snowflake上でUDFを作成する際…

概要 SnowflakeのS3 Storage Integrationで設定する対象のS3バケットにおいて、S3バケットポリシーにaws:PrincipalOrgIDを条件にしたPut系の権限を設定している場合は注意しよう。 比較的ニッチな話題ではあるが、なぜ注意が必要かというと以下のことが理由である。 S3 Storage IntegrationでGet系の権限を設定したにも関わらず、SnowflakeからそのS3へUnload(Put)ができる(本来意図している挙動とは異なる) aws:PrincipaOrgIDとは? AWS IAMポリシーのConditionの条件キーの一つ。(参考) …

概要 Snowflakeにおけるオブジェクトの権限管理はロールベースで行うため、ロールの数が多くなってくるとsnowsight上でRoleグラフが複雑になって見にくくなる。 全体をみたいときには少し不便だが、ロール階層を可視化やレポートを自動作成してくれる「sfgrantreport」なるツールがあったので試してみた。 sfgrantとは？ Snowflakeの「ロールやそれに紐づいている権限、ロール階層」をHTML形式や表形式(.xlsx)で出力してくれるツール 定期的な監視や監査など、開発よりも運用面で役に立つものかなと思う 使い方 1. 事前準備 snowsqlのインストール graph…

■「楽天モバイル」ポイント/決済サービスの利用率で人気明白 – 気になるドコモの猛追も https://otona-life.com/2023/09/22/193992/ ■東京メトロ、クレカ乗車で訪日客も便利に 全駅で対応 https://www.nikkei.com/article/DGXZQOUC116FK0R10C23A9000000/ ■T NEOBANKスマホデビット提供開始のお知らせ | お知らせ | NEOBANK 住信SBIネット銀行 https://www.netbk.co.jp/contents/company/info/2023/0921_001917.html ■資…

一言英語: 雪が降るときにこの一言 英語 Every snowflake is unique. 日本語 雪の結晶はすべて違う。 英語の長文: 民族の選手が雪の中で競争 英語 During the winter Olympics, athletes from various ethnicities compete in the challenging conditions of the snow. They display their skills and push their limits to win the gold medal. The snow adds an extra elemen…

karasuchanさんの追悼 神戸アノマリーの興奮冷めやらぬ9月17日の早朝に、レジスタンスエージェントのkarasuchanさんが亡くなられたとの報が入りました。 兵庫のResistanceエージェントkarasuchanさんが、9月17日早朝に急逝されました。Ingressが大好きで、Ingressで知り合ったエージェントとご結婚され、全国を飛び回ってIngressを楽しまれました。みんなから愛される、本当に素敵なエージェントでした。#Ingress #RIPkarasuchan pic.twitter.com/Cul90eQkDd — Resistance Japan News (@R…

1.はじめに 2.データ活用の民主化に向けた現状と課題 3.データアーキテクチャーデザイン 3-1.避けては通れぬ茨の道 3-2.イシューから始める 3-3.採用したデータパイプライン 4.開発デザイン 4-1.データマート設計 4-2.ルールメイキング 5.おわりに 5-1.利用状況 5-2.カイゼン計画 1.はじめに NTTドコモ データプラットフォーム部（以下DP部）外山です。 NTTドコモでは、携帯回線事業の他、dポイント・dカード・d払いを中心にお客様の新たなライフスタイルを創出する各種d系サービスを提供し、提供後のプロダクト改善やマーケティング施策の実施にデータを活用しています。 …

一言英語 歴史 英語 When history repeats itself... 日本語 歴史が繰り返されるとき... 英語の長文 歴史と雪 英語 Snow has a way of preserving history. As it blankets the ground, it creates a serene landscape that seems untouched by time. Each snowflake becomes a delicate time capsule, capturing the moment and freezing it in history. In …

業務用スノーフレークマシンに関するグローバル市場分析、市場規模、販売量、売上高、価格調査レポート2023-2029 2023年9月18日に、QYResearchは「グローバル業務用スノーフレークマシンに関する調査レポート, 2023年-2029年の市場推移と予測、会社別、地域別、製品別、アプリケーション別の情報」の調査資料を発表しました。業務用スノーフレークマシンの市場生産能力、生産量、販売量、売上高、価格及び今後の動向を説明します。世界市場の主要メーカーの製品特徴、製品規格、価格、販売収入及び世界市場の主要メーカーの市場シェアを重点的に分析する。過去データは2018年から2022年まで、予測…

Snowflakeは現在のテクノロジー産業で急速に成長している企業として知られています。この度、最高マーケティング責任者（CMO）のDenise Perrson氏が語った同社の成長戦略とマーケティング方法について掘り下げてみたいと思います。Perrson氏の経歴は非常に印象的であり、彼女は20年間急成長企業でテクノロジーマーケティングの分野で活動してきました。Snowflakeに入社する前は、Googleに買収されたApigeeでCMOとして活躍しておりました。Snowflakeでの彼女のリーダーシップは、企業の急速な拡大を支援し、市場での強固な地位を築き上げる手助けをしてきました。Snowf…

Platinum Data Blog（プラチナデータブログ）では、ブレインパッドの社風や働き方、多彩なプロフェッショナルたちをより深く知ってもらいたいという想いを元に、毎月さまざまな記事をお届けしています。本記事では、プラチナデータブログの昨年度の活動総括として、SNSで話題になった記事をまとめてご紹介いたします。こんにちは。広報の長谷川です。 プラチナデータブログでは、ブレインパッドの「ひと」や日々の「できごと」について現場社員の方々の協力のもと、毎月、記事を執筆しお届けしています。本記事では、ブレインパッドの昨年度の活動を全体的に知って頂きたいということで、SNSで話題になった記事をまとめ…

こんにちは。エイチームライフデザイン技術開発室の鈴木です。普段はおもにPythonを使って機械学習や自然言語処理の開発をしています。 Pythonで開発した機械学習モデルや生成AIアプリケーションなどを他のメンバーに実際に利用してもらうために、できるだけ簡単にプロトタイプを提供したいというときが出てきます。手軽な方法のひとつとして、Jupyter Notebookを共有して「こことここのパラメータを入力して使ってみてください」といって提供することもありますが、開発者でない方にJupyter Notebookを利用してもらうには色々と厳しい面があると思います。一方で、データエンジニアや機械学習の…

主に一般向け製品やサービスを提供している企業等からのリリース、お知らせを不定期に収集しています。対象企業は徐々に数を増やしていく予定です。一日に何度か更新（上に追加）することがあります。キャンペーン情報、イベント情報等の関連する情報も掲載しています。 ランキング参加中インターネット セイコーエプソン 9月6日 「Orient Star」から美しいオーロラをイメージした『M34 F7 セミスケルトン』新登場 セイコーエプソン 9月6日 「Orient Star」から白蝶貝とグラデーションで日本の情景を表現した『M45 F7 メカニカルムーンフェイズ』新登場 セイコーエプソン 9月6日 「Orie…