Snowflake

こちらの記事は、Azure BLOBのデータをSnowflakeに連携しPower BIで可視化するまでの手順を解説する、計4記事に渡るシリーズものの1記事です。 【第0回】 Snowflake とは ★本記事 【第1回】 データベース・スキーマ・テーブル作成 【第2回】 Azure～Snowflake間のデータ連携 【第3回】 テーブルの可視化 Snowflakeとは Snowflake アーキテクチャ ストレージ層 コンピュート層 クラウドサービス層 連携できるサードパーティツール コスト試算 おわりに Snowflakeとは SnowflakeはSaaS型のクラウドデータプラットフォーム…

こんにちは、白上です。SnowflakeのData Polarisとなって約1年経過しました。 （SnowflakeのData Polarisとは、こちらの記事を参照。また、約1年前には以下のようなことを喋っていました） www.wantedly.com 1年経過してみて、Snowflake関係でやれたこと・やれなかったことを振り返ってみたいと思います。 やれたこと 社内勉強会主催 弊社では現在DWHのお引越しをしています。 6年ほどとあるDBサービスでDWHを運用してきた（かつ、そのDBサービスを基としているプロダクトも複数ある）ものをSnowflakeにお引越しするので、息が長めのプロジェ…

こんにちは。DIGGLEのエンジニアのchikugoです。 はじめに 弊社プロダクトのDIGGLEの成長に伴い、先々も見据えてパフォーマンス改善を行う必要性が生じました。そのパフォーマンス改善の一貫で、DBやDWHの技術選定を行っています。今回はDBやDWHの技術選定の際に行った、一次調査についてお話できればと思います。 パフォーマンス改善の要件としては特定処理で数倍程度の速度改善が必要で、参照だけでなく追加など更新系の速度改善も求められます。 既存DBがAurora PosgreSQLになりますので、それに比べての改善効果や改善・移行コストが主な選定基準となります。 DB選定 Azure C…

REVISIOのエンジニア片岡です。 先日2月14日、Snowflakeの大規模イベントSNOWDAY JAPANに参加・登壇してきました。 登壇資料はこちら。 speakerdeck.com ANAインターコンチネンタルホテル東京＋オンラインでの開催でしたが、オフラインイベントの独特の雰囲気と盛り上がりを久しぶりに体感できて非常に楽しかったです。 沢山の興味深いセッションや趣向を凝らした会場設営、コミュニティイベント含めてSnowflakeの世界観が感じられたイベントでした。 さて、タイトルにあるようにSNOWDAYでは時間の都合で紹介しきれなかった部分があったので、ここに書いておこうと思い…

はじめに 弊社でRedshiftから移行したDWH、Snowflake（移行についてはSNOWDAY JAPANで発表させていただきました）に実装されているTimeTravel機能ですが、これは非常に便利な機能です。 どういう機能かはSnowflakeを使われた方なら存知だとは思いますが、簡単に説明すると、「ある日時のデータベースの状態を再現する」機能です。 たとえば、ある処理を実行した結果、データがおかしくなったので、原因を調査したいが差分が取れない、うっかりデータを削除してしまったが元に戻したい、といったケースはDB使っている人なら一度は経験していると思います。こういった場合、通常のDBで…

REVISIOのエンジニア片岡です。 当社では創業以来、ビジネスの根幹であるテレビ視聴データを格納・処理するデータウェアハウスとしてAmazon Redshiftを使ってきました。 約7年の間、Redshiftの機能の進化に合わせ、クラスタータイプやサイズをアップデートしながら運用してきたのですが、昨年Snowflakeに移行する大きな決断をし、作業を進めて12月に完了しました。 背景 ビジネスが拡大し、顧客・ユーザーの増加やデータ量増加、ワークロード増加という状況の中でRedshiftのパフォーマンス面や管理面での課題が大きくなっていき、それをカバーするためにクラスターのサイズアップを行った…

みなさん、Snowflakeは使っていますか？ 極めて合理的で高い性能を持っているDataWareHouse、Snowflake。 弊社ではメインのDWHとして採用し、その性能に非常に満足しています。 今回はSnowflakeで連番を作るのにサンプルとしてよく使われているSEQ関数について書きます。 SEQ関数の前にまずはGENERATOR SEQ関数で連番を使うために、まずはGENERATOR関数について説明します。 GENERATOR関数は関数リファレンスでは「行を作成します」と書かれています。まさにこのとおりなのですが、「列を持たない」というキーワードを追加するともっとわかりやすいかも知…

■モバイルオーダーサービス「ぐるなびFineOrder」「楽天ポイント」との連携開始｜株式会社ぐるなび https://prtimes.jp/main/html/rd/p/000001249.000001511.html ■メガネチェーン店で初、「メガネスーパー」「メガネハウス」などで「楽天ポイントカード」が利用可能に https://payment.rakuten.co.jp/news/2023032700/?l-id=wi_rpt_top_jp_042019 ■「パ・リーグ」「NBA」の試合、楽天モバイルユーザーなら無料で視聴可能に 4月1日から https://www.itmedia.…

■ はじめに ここ最近、狂ったように、プログラムや調べものをしてきたが とりあえず、最低限やれることが調べたので、後はブラッシュアップさせていきたい、、、 っと思ったのだが、単体試験のことを忘れていたので、調べてみた。 目次 【０】Scalaのテストフレームワーク 【１】ScalaTest １）テストスタイル ２）別テストフレームワークとの組み合わせ 【２】ScalaTestの導入 【３】Quick Start １）テストコード ２）テスト実行 【４】Hello World 【０】Scalaのテストフレームワーク * Scalaのテストフレームワークは、以下の通り [1] ScalaTest …

嵐のカップリング曲を年代順にまとめました。 皆さんはどれだけ知っていますか？ 誤っている箇所や抜けている曲などあればコメントで教えてください！ No 曲名 収録CD 1 明日に向かって A･RA･SHI 2 明日に向かって吠えろ 台風ジェネレーション ～Typhoon Generation～ 3 OK! ALL RIGHT! いい恋をしよう 感謝カンゲキ雨嵐 4 はなさない! 君のために僕がいる 5 恋はブレッキー 時代 6 道 PIKA☆NCHI 7 冬のニオイ とまどいながら 8 君がいいんだ 9 コイゴコロ 10 道 DOUBLEVer. PIKA★★NCHI DOUBLE 11 五里霧…

私はKAT-TUNが好きなので、私の好きなKAT-TUNの恋愛ソングを知って欲しいです！対よろです！ 両思い（怪しい）枠 SWEET CHAIN https://j-lyric.net/artist/a0076ef/l025c54.html べた惚れして語彙力を無くしてる男。カワイーと思うが曲調がバラード寄りなので、全部がガチトーンで聞こえる。多分この男は道を外すと思いま～す♡ WATER DANCE https://j-lyric.net/artist/a0076ef/l017b8f.html 2人は結ばれることを許されない（？）まま輪廻転生繰り返してるらしい。罪であろうと2人一緒になるのな…

Streamlit のデータ編集機能と、それを利用した Snowflake テーブル編集についての記事の紹介です。最後に Looker と Streamlit を合わせて使っている記事を見つけたので、それも紹介します。 Streamlit data editor Streamlit のプレビュー機能ですが、編集可能なテーブルが先月2023年2月に登場しました。以下の gif は公式ドキュメントのサンプルをキャプチャしたものです。セルをダブルクリックすることで編集モードとなり、値が編集できます。 使うのは簡単で、データフレームなどのデータオブジェクトを st.experimental_data_…

今の業務柄いつも Snowflake の記事が多めですが、実務で使えそうな機能がどんどん登場していたり、データウェアハウスに特化しているのでユーザ目線でどう使ったら良いかという情報も集めやすくて、面白い記事が多いです。今日は新機能1つと Data Vault 2.0 を Snowflake 上で構築するための記事です。 Snowflake / Streams on Views GA Snowflake 3月の更新に、Streams on Views という機能が正式版になったと記載がありました。 この機能は Snowflake のテーブルではなくビューに対して変更履歴を追跡し（Change D…

先日 草津に行ったのですが、草津のあたりでは花豆が名産品と知りました。そら豆ぐらいの大きさの、大きい豆です。 料理が好きで豆をたまに煮たりもするので、生の花豆を買おうとしたところ、お店の人に「豆は煮たことがあるのか」と聞かれました。「黒豆ならたまに煮ます」と答えると、それでは売れないと言われ、なんと購入させてもらえませんでした。まだまだ修行が足りません。 今日は Snowflake のアップデート情報を見かけたので、そちらを中心にまとめました。 Snowflake の Query Acceleration Snowflake のバーチャルウェアハウスに Query Acceleration の…

これは何? 背景: 権限管理とTerraform 権限管理の対象 誰に権限を付与するのか どのスコープで権限を付与するのか どの強さで権限を付与するのか Terraformについて Terraformの概要: 権限管理でTerraformを使うと何がうれしいのか 例: roles/bigquery.jobUserを付与してみる コラム: どこでTerraformを実行するか Terraformでの権限管理の例 例: データセットの作成 例: データセットに対する権限付与 サービスアカウントの管理 iam_member関連の注意点: AdditiveとAuthorativeを意識する Terra…

こんばんは〜。 今年の寒中以来、マンダラ塗り絵の制作頻度が高まっており、1〜2月の間に結構な作品数が完成しました。 本稿では1月後半から2月末にかけて完成したマンダラ塗り絵を並べて参ります。 まずは"125 Mandalas" から2点☟： 画材：サインペン、ボールペン、メタリックマーカー、水彩毛筆、ポスカ。 アラベスク風味の曲線美を見せたかったのでマンダラ内部は地色を塗らずに仕上げました。 画材：サインペン、ボールペン、メタリックマーカー、水彩毛筆。 こちらは上の作品とはうってかわって高密度な色彩感で攻めてみました。 目線の抜け所がなく圧迫感が出そうだったので中心近くに少しだけ薄い紫色を配置…