Hatena Blog Tags
はてなブログ トップ
Redshift
このタグでブログを書く

Redshift

このタグの解説についてこの解説文は、すでに終了したサービス「はてなキーワード」内で有志のユーザーが作成・編集した内容に基づいています。その正確性や網羅性をはてなが保証するものではありません。問題のある記述を発見した場合には、お問い合わせフォームよりご連絡ください。
DIGGLE開発者ブログ•1ヶ月前

DBとDWHの技術選定調査について

こんにちは。DIGGLEのエンジニアのchikugoです。 はじめに 弊社プロダクトのDIGGLEの成長に伴い、先々も見据えてパフォーマンス改善を行う必要性が生じました。そのパフォーマンス改善の一貫で、DBやDWHの技術選定を行っています。今回はDBやDWHの技術選定の際に行った、一次調査についてお話できればと思います。 パフォーマンス改善の要件としては特定処理で数倍程度の速度改善が必要で、参照だけでなく追加など更新系の速度改善も求められます。 既存DBがAurora PosgreSQLになりますので、それに比べての改善効果や改善・移行コストが主な選定基準となります。 DB選定 Azure C…

#Redshift#Snowflake#BigQuery#AlloyDB#Azure Cosmos DB for PostgreSQL

ネットで話題

もっと見る
300ブックマーク最新のログもすぐクエリできる速くて容量無限の最強ログ基盤をRedshift Spectrumで作る - クックパッド開発者ブログtechlife.cookpad.com
295ブックマークムック「データベース徹底攻略」 - MySQL/Redis/MongoDB/Redshift最近発売された技術評論社のムック「データベース徹底攻略」に寄稿しました。 この本は、データベースのための本ということで、データベース設計、SQL、MySQL、Redis、MongoDB、Redshiftという代表的な要素技術についてのまとめとなっています。各プロダクト(MySQL、Redis、MongoDB、Redshift)については、現場で実際に...opendatabaselife.blogspot.com
294ブックマーク［速報］Amazonクラウド、新サービス「Redshift」発表。データウェアハウスの価格破壊へwww.publickey1.jp
277ブックマーク複数のデータソース(Redshiftや主要RDBMS等)及びOS(Mac/Windows/Linux)対応の無償SQLクライアントツール『DBeaver』 | DevelopersIOdev.classmethod.jp
206ブックマーク［速報］「Amazon Redshift Spectrum」発表。Amazon S3にデータを保存したまま複雑なクエリを高速で実行可能に。AWS Summit 2017 San Franciscowww.publickey1.jp
162ブックマークFluentd、Amazon RedshiftとTableauを用いたカジュアルなデータ可視化 | SmartNews開発者ブログゴクロ改め、スマートニュース株式会社の大平です。 巷間では「bigdata」の活用が叫ばれて久しいですが、弊社はまだまだ小さい規模のスタートアップのため少なくともデータサイズとしてhugeなdataの活用が行える環境ではありません。 であればデータの活用に対する要求が低いか、というとそうでも無く、サービスサイドで...developer.smartnews.be
162ブックマークZOZOTOWNのDWHをRedshiftからBigQueryにお引越しした話 / Moving ZOZOTOWN DWH from Redshift to BigQueryspeakerdeck.com
156ブックマークMPP on Hadoop, Redshift, BigQuery - Go ahead!Twitterで「早く今流行のMPPの大まかな使い方の違い書けよ！」というプレッシャーが半端ないのでてきとうに書きます．この記事は俺の経験と勉強会などでユーザから聞いた話をもとに書いているので，すべてが俺の経験ではありません(特にBigQuery)．各社のSAの人とかに聞けば，もっと良いアプローチとか詳細を教えてくれ...repeatedly.github.io
123ブックマークAmazon Redshiftによるリアルタイム分析サービスの構築www.slideshare.net

関連ブログ

CUEBiC TEC BLOG•1ヶ月前

デブサミ2023でデータウェアハウス構築時のアンチパターンを発表してきました

デブサミ2023 キュービック 2023年2月10日にCTOの加藤とテックリードの尾﨑で「データウェアハウス構築時のアンチパターンを克服したサクセスストーリー」のセッションで登壇させていただきました。 登壇させていただいた感想 登壇中にお伝えしたかったこと 登壇中にお伝えしきれなかったこと 最後に 2023年2月10日（金）11:50 ： データウェアハウス構築時のアンチパターンを克服したサクセスストーリー 登壇資料 ： データウェアハウス構築時のアンチパターンを克服したサクセスストーリー speakerdeck.com 登壇させていただいた感想 今回は登壇内容だけでなく、資料の構成の作り込み…

#デブサミ#DWH#Redshift#trocco#失敗談
REVISIO Tech Blog•2ヶ月前

RedshiftからSnowflakeへの移行 & Snowflakeイベント登壇

REVISIOのエンジニア片岡です。 当社では創業以来、ビジネスの根幹であるテレビ視聴データを格納・処理するデータウェアハウスとしてAmazon Redshiftを使ってきました。 約7年の間、Redshiftの機能の進化に合わせ、クラスタータイプやサイズをアップデートしながら運用してきたのですが、昨年Snowflakeに移行する大きな決断をし、作業を進めて12月に完了しました。 背景 ビジネスが拡大し、顧客・ユーザーの増加やデータ量増加、ワークロード増加という状況の中でRedshiftのパフォーマンス面や管理面での課題が大きくなっていき、それをカバーするためにクラスターのサイズアップを行った…

#Snowflake#SnowdayJapan#Redshift#Redshift Serverless
KAYAC engineers' blog•3ヶ月前

Redshift Streaming ingestionでKPLによる集約がされたレコードを読みたい。

この記事はAWS Analytics Advent Calendar 2022の25日目(裏)の記事です。 こんにちは、SREチーム所属の@mashiikeです。 AWS Analytics Advent Calender 2022の主催である @jostandardさんから、以下のようなリアクションいただいたので急遽、裏の記事として書いてしまいます。 う、それはそれで見たすぎます！— J.Ozono (@jostandard) 2022年12月15日 今回は、先日GAになったRedshift Streaming ingestionに関する話です。 Redshift Streaming ing…

#データ分析#AWS#Redshift
KAYAC engineers' blog•3ヶ月前

Go言語のためのRedshift Data API sql driver 『redshift-data-sql-driver』

この記事はAWS Analytics Advent Calendar 2022の16日目です。 こんにちは、SREチーム所属の@mashiikeです。 13日目にも記事を書いて、なんと欲張って2回目も書いてます。 13日目の記事は『redshift-data-set-annotator』に関してでした。 このような形で、私は用途がニッチな物を作ることが多いのですが、本日はニッチシリーズの中からGo言語のためのRedshift Data API sql driverについて話します。 Redshift Data API Redshiftへ接続する際は、通常VPCへのアクセスが必要になります。 (…

#Redshift#Go#AWS
LIVESENSE ENGINEER BLOG•4ヶ月前

Redshiftの利用状況を可視化して不要なテーブルをお掃除した話

これは Livesense Advent Calendar 2022 DAY 10 の記事です。 年末のお掃除捗っていますか？我が家では窓掃除にWV1が大活躍しています。 データエンジニアの毛利です。サービス横断のデータ分析基盤であるLivesense Analytics（以降LA）の開発、運用を行っています。 背景 データ利用状況の可視化 テーブルの利用状況 Redshiftユーザーの利用状況 運用してみてわかったこと 最後に 背景 データを提供したものの、気がつくとほとんど使われていない、というのはよくある話だと思います。 LAでも様々なデータを提供できるように機能追加してきた結果、日々デ…

#Redshift#DWH#分析基盤#運用#Advent Calendar 2022
新しいことにはウェルカム•5ヶ月前

AWS Redshiftで連番・カレンダーテーブルを作る方法

AWS RedshiftからGoogle BigQueryに移行して、ここ数年Redshiftを使っていませんでした。 しかし、ついに従量課金のRedshiftこと、Redshift Serverlessが登場して気になりはじめ、久しぶりに遊び程度ですがRedshiftを使ってみました。 案の定、使い方は完全に忘れていました…。 RedshiftでSQLを書いている時、連番テーブルやカレンダーテーブルが欲しことがあったのですが、それらを作るのに手間取ったので、ここにメモしておきます。 連番テーブル RedshiftのSQLはPostgreSQL準拠で、PostgreSQLには連番を生成する関数…

#AWS#Amazon Web Service#Redshift#データ分析
サーバーワークスエンジニアブログ•5ヶ月前

Amazon Redshift Serverless から Aurora Serverless MySQL 互換バージョンにフェデレーテッドクエリしてみた

コーヒーが好きな木谷映見です。 先日こちらのブログで、Aurora Serverless PostgreSQL 互換バージョンにフェデレーテッドクエリする手順を記載しました。 blog.serverworks.co.jp 今回は Aurora Serverless MySQL 互換バージョンにフェデレーテッドクエリしてみます。 実施手順概要 AWS 検証環境の準備 EC2 インスタンスに psql をインストールして Redshift Serverless に接続する Aurora Serverless MySQL 互換エディションを作成する セキュリティグループの確認 AWS Secrets…

#Amazon Redshift Serverless#Amazon Redshift#Redshift#フェデレーテッドクエリ#federated query
サーバーワークスエンジニアブログ•6ヶ月前

Amazon Redshift Serverless から Aurora Serverless PostgreSQL 互換バージョンにフェデレーテッドクエリしてみた

コーヒーが好きな木谷映見です。 Amazon Redshift はフェデレーテッドクエリをサポートしています。 Redshift でのフェデレーテッドクエリの概要については以下のブログをご参照ください。 blog.serverworks.co.jp 今回は、Amazon Redshift Serverless から Aurora Serverless PostgreSQL 互換バージョンへのフェデレーテッドクエリを検証してみましたので、実施手順を記載します。 私自身 PostgreSQL 初心者であるため、備忘も兼ねて詳細な実行コマンドまで記載しており手順が長くなっております。ご了承ください。…

#Amazon Redshift Serverless#Amazon Redshift#Redshift#フェデレーテッドクエリ#federated query
ablog•13日前

Amazon Redshift でソートキーによる IO 削減ができているかどうかを確認する

svl_query_summary.is_rrscan では判断できない。rows_pre_filter - rows で判断する。 ソートキーがないとき テーブルを作成する CREATE TABLE lineorder ( lo_orderkey integer not null, lo_linenumber integer not null, lo_custkey integer not null, lo_partkey integer not null, lo_suppkey integer not null, lo_orderdate integer not null, lo_orde…

神戸のデータ活用塾！KDL Data Blog•16日前

AWS Glueを使ってみた！～環境構築・実行編～

こんにちは！Dataintelligenceチームの垣内です。 本連載ではAWSの分散処理サービスである「AWS Glue」を使って、分散処理を実行してみます！第一回目の「サービス調査編」を見られたい方は、こちらからご覧ください！ kdl-di.hatenablog.com 今回は、ローカルでの開発方法をご紹介します。 アーキテクチャのおさらい compose.yamlの修正 ①ファイル名の変更 ②S3コンテナ init.shの作成 yamlの修正 ～LocalstackでAmazon S3を立ち上げる～ Localstackの起動初期スクリプトをマウントする ③Glueコンテナ yamlの修…

東京の西側でロハスに暮らす•19日前

Tableau Server on AWSのベストプラクティス

BIアプリケーションとして、Microsoft Power BIとSFDCのTableau は人気を二分しています。 Tableau のサーバサイド製品であるTableau ServerのAWS導入時のベストプラクティスを実体験をもとに示していきたいと思います。また、Tableau ONLINEとの比較やQuickSightとの比較も実体験をもとにしていきたいと思います。 Tableau ServerのAWS導入時の全体構成とEC2 Tableau ServerでのLIVE接続 vs Hyper(抽出) QuickSight vs Tableau Server Tableau ServerのA…

/home/by-natures/dev*•20日前

2023/02/22 読んだ記事まとめ(Snowflake Query Acceleration, dbt+Redshift)

先日 草津に行ったのですが、草津のあたりでは花豆が名産品と知りました。そら豆ぐらいの大きさの、大きい豆です。 料理が好きで豆をたまに煮たりもするので、生の花豆を買おうとしたところ、お店の人に「豆は煮たことがあるのか」と聞かれました。「黒豆ならたまに煮ます」と答えると、それでは売れないと言われ、なんと購入させてもらえませんでした。まだまだ修行が足りません。 今日は Snowflake のアップデート情報を見かけたので、そちらを中心にまとめました。 Snowflake の Query Acceleration Snowflake のバーチャルウェアハウスに Query Acceleration の…

Blogical•21日前

Amazon AppFlowでAWS⇔Salesforce間でのデータ連携を容易に行う

こんにちは、ロジカル・アーツの大島です。 本記事では、AWSのサービスであるAppFlowを用いてSalesforceのデータをS3に出力するシンプルな構成をご紹介します。

REVISIO Tech Blog•1ヶ月前

SNOWDAYで紹介しきれなかったRedshiftとSnowflakeの違い42選

REVISIOのエンジニア片岡です。 先日2月14日、Snowflakeの大規模イベントSNOWDAY JAPANに参加・登壇してきました。 登壇資料はこちら。 speakerdeck.com ANAインターコンチネンタルホテル東京＋オンラインでの開催でしたが、オフラインイベントの独特の雰囲気と盛り上がりを久しぶりに体感できて非常に楽しかったです。 沢山の興味深いセッションや趣向を凝らした会場設営、コミュニティイベント含めてSnowflakeの世界観が感じられたイベントでした。 さて、タイトルにあるようにSNOWDAYでは時間の都合で紹介しきれなかった部分があったので、ここに書いておこうと思い…

ablog•1ヶ月前

Amazon Redshift の AUTO COPY を試す

手順 prefix を作成する aws s3api put-object --bucket awssampledb --key "auto-copy-lineorder/" テーブルを作成する CREATE TABLE public.lineorder ( lo_orderkey INTEGER NOT NULL, lo_linenumber INTEGER NOT NULL, lo_custkey INTEGER NOT NULL, lo_partkey INTEGER NOT NULL, lo_suppkey INTEGER NOT NULL, lo_orderdate INTEGER N…