Redshift

デブサミ2023 キュービック 2023年2月10日にCTOの加藤とテックリードの尾﨑で「データウェアハウス構築時のアンチパターンを克服したサクセスストーリー」のセッションで登壇させていただきました。 登壇させていただいた感想 登壇中にお伝えしたかったこと 登壇中にお伝えしきれなかったこと 最後に 2023年2月10日（金）11:50 ： データウェアハウス構築時のアンチパターンを克服したサクセスストーリー 登壇資料 ： データウェアハウス構築時のアンチパターンを克服したサクセスストーリー speakerdeck.com 登壇させていただいた感想 今回は登壇内容だけでなく、資料の構成の作り込み…

REVISIOのエンジニア片岡です。 当社では創業以来、ビジネスの根幹であるテレビ視聴データを格納・処理するデータウェアハウスとしてAmazon Redshiftを使ってきました。 約7年の間、Redshiftの機能の進化に合わせ、クラスタータイプやサイズをアップデートしながら運用してきたのですが、昨年Snowflakeに移行する大きな決断をし、作業を進めて12月に完了しました。 背景 ビジネスが拡大し、顧客・ユーザーの増加やデータ量増加、ワークロード増加という状況の中でRedshiftのパフォーマンス面や管理面での課題が大きくなっていき、それをカバーするためにクラスターのサイズアップを行った…

この記事はAWS Analytics Advent Calendar 2022の25日目(裏)の記事です。 こんにちは、SREチーム所属の@mashiikeです。 AWS Analytics Advent Calender 2022の主催である @jostandardさんから、以下のようなリアクションいただいたので急遽、裏の記事として書いてしまいます。 う、それはそれで見たすぎます！— J.Ozono (@jostandard) 2022年12月15日 今回は、先日GAになったRedshift Streaming ingestionに関する話です。 Redshift Streaming ing…

この記事はAWS Analytics Advent Calendar 2022の16日目です。 こんにちは、SREチーム所属の@mashiikeです。 13日目にも記事を書いて、なんと欲張って2回目も書いてます。 13日目の記事は『redshift-data-set-annotator』に関してでした。 このような形で、私は用途がニッチな物を作ることが多いのですが、本日はニッチシリーズの中からGo言語のためのRedshift Data API sql driverについて話します。 Redshift Data API Redshiftへ接続する際は、通常VPCへのアクセスが必要になります。 (…

グラベルバイクで調子が良かったので、ロードバイク(synapse)にも導入してみた。 思った以上に振動が抑制されて良い感じです。荒れた路面でもペダリングに集中できるので、実走ではむしろ早くなるような気もする（気だけ）。あと、下りも楽ですね。 ステムの重量は250グラムぐらいなので一般的なステムより150グラム弱重くなるのだけど、この程度の重量増以上の効果はあるのではないかと思います。 ShockStop PRO Suspension Stemredshiftsports.com

AWS RedshiftからGoogle BigQueryに移行して、ここ数年Redshiftを使っていませんでした。 しかし、ついに従量課金のRedshiftこと、Redshift Serverlessが登場して気になりはじめ、久しぶりに遊び程度ですがRedshiftを使ってみました。 案の定、使い方は完全に忘れていました…。 RedshiftでSQLを書いている時、連番テーブルやカレンダーテーブルが欲しことがあったのですが、それらを作るのに手間取ったので、ここにメモしておきます。 連番テーブル RedshiftのSQLはPostgreSQL準拠で、PostgreSQLには連番を生成する関数…

コーヒーが好きな木谷映見です。 先日こちらのブログで、Aurora Serverless PostgreSQL 互換バージョンにフェデレーテッドクエリする手順を記載しました。 blog.serverworks.co.jp 今回は Aurora Serverless MySQL 互換バージョンにフェデレーテッドクエリしてみます。 実施手順概要 AWS 検証環境の準備 EC2 インスタンスに psql をインストールして Redshift Serverless に接続する Aurora Serverless MySQL 互換エディションを作成する セキュリティグループの確認 AWS Secrets…

ハッブル超深宇宙の一部。 ーーーーーーーー Jan 28, 2011Redshift theory inhibits new research into the age and size of the Universe. 赤方偏移理論は、宇宙の年齢とサイズに関する新しい研究を妨げています。 Two major points in Big Bang theory are that redshift is proportional to distance and that it also indicates velocity. ビッグバン理論の2つの主要なポイントは、赤方偏移が距離に比例することと…

こんにちは！技術本部 インフラストラクチャーDivでエンジニアをやっている中川です👩 入社当初は、ギャルと言われていた私も30代に突入し、カラコンとつけまがはずれ、ブリーチをやめ、少し落ち着きました。。。 時が経つのは本当に早いですね😱 (でも髪色が明るいのはやめれないですね・・苦笑) そんな私ですが、昨年の7月にインフラDivの中でオンプレ・クラウドを管理するユニットに異動し、 AWS初心者ながらに「Reserved Instances(以下RI)」、「Savings Plans(以下SP)」の提案をした際のお話を出来ればと思います！ 私と同じAWS初心者の方や、初めてRI/SP提案や導入を…

こんにちは。MackerelチームCREの武藤（ id:kmuto ）です。今回のアップデート内容をお知らせします。 MackerelのWebコンソールのサイドメニューが日本語化されました EFS、Step Functions、Kinesis Data Streams、Kinesis Data Firehose、Redshiftでタグによる自動ロール割り当てができるようになりました アクセシビリティの改善を行いました mackerel-agentでディスクのメトリックを無視するオプションを追加しました Windows版mackerel-agentにcheck-file-ageプラグインが同梱さ…

検証結果 queue_time は elapsed_time に含まれる 検証手順 手動WLMで Default queue の同時実行数を 1 に設定する。 Cloud-DWB-Derived-from-TPCH の 3TB のデータをロードする。 Cloud-DWB-Derived-from-TPCH の 3TB 用のクエリをシリアル実行する。 $ nohup ./exec_all.sh & 別セッションで以下のクエリを実行する（同時実行数が1なのでキュー待ちになる） dev awsuser 20230606_21:00:16 =# UPDATE testtab1 SET name='ff…

検証結果 elapsed_time = end_time - start_time lock_wait_time は elapsed_time に含まれる 検証手順 テーブルを作成して、行を挿入 CREATE TABLE testtab1(id int primary key, name varchar(32)); INSERT INTO testtab1 (id, name) VALUES(1, 'foo'); INSERT INTO testtab1 (id, name) VALUES(2, 'bar'); トランザクションを開始して UPDATE を実行 dev awsuser 2023…

Glue カタログでテーブルのカラムを追加・削除すると、Redshift Spectrum でも追加・削除されるという当たり前のことを検証してみたメモ。 カラム追加・削除 Redshift から Glue カタログを参照するため external schema を作成する。 create external schema spectrum_schema from data catalog database 'tpc-h_10gb_parquet' iam_role 'arn:aws:iam::123456789012:role/redshift-spectrum-s3-fullaccess' r…

技術書典のオフライン会場で購入しました。ここ2年弱データ分析基盤のプロジェクトリーダーをやっていて、Snowflakeについてキャッチアップしたかったので気になっていました。 techbookfest.org データ分析基盤プロジェクトの初期に、データウェアハウスをBigQueryかSnowflakeのどちらにするか考えていました。Google Cloud（GCP）のエコシステムやGoogle WorkspaceやGoogle Analytics、スプレッドシートなどのGoogle製品との相性の良さなどの理由からBigQueryにしましたが、ここ数年のSnowflakeの勢いは凄まじいです。 …

Glue カタログの VACHAR 型はサイズパラメータ（ VARCHAR (256) など）がないが、Redshift Spectrum からサイズパラメータなしで定義された VARCHAR 列をクエリすると、"Invalid column type" エラーが発生する。 Redshift Spectrum を使用して、AWS Glue データカタログテーブルから、データ 型が VARCHAR である列をクエリすると、次のようなエラーが表示されることがあります。 <column_name> - Invalid column type for column <column_name>. Typ…

調べたことをつらつらと書いていきます。私自身の知識があやふやな部分のみまとめてるので網羅性はありません。 あくまで試験に合格することが目的なので深入りしていません。SCS の問題を解くのに必要と思われる範囲・深さの知識をまとめています。 個人の理解で書いてるのでたぶん結構厳密ではない書きぶりになります。間違ってる可能性もありますし、意図的に情報を端折ってる部分もあります。 受験日までこの記事を成長系ドキュメントとして更新していきます。 CloudTrail 保存期間 ログ出力のリードタイム ファイルの整合性の検証 オペレーションログ 証跡のクエリ 読み取り専用・書き込み専用イベント Trust…

G-gen の杉村です。Google Cloud のフルマネージドな分析用データベースである BigQuery について、徹底的に解説します。当記事は基本編であり、当記事を読み終わったあとは応用編もご参照ください。 概要 BigQuery とは 利用方法 フルマネージド (サーバーレス) 他の Google Cloud サービスとの連携 他クラウドサービスとの連携 料金 料金体系の基本 ストレージ料金 ストレージ料金の基本 Physical Storage と Logical Storage Active Storage と Long-term Storage コンピュート料金 無料枠 コンポ…

サーバーサイドエンジニアの田実です！ ヤプリではスマホアプリをノーコードで開発できる Yappli のプロダクトだけではなく、アプリや外部システムと連携可能な顧客管理基盤である Yappli CRM というプロダクトも提供しています。Yappli CRMのバックエンドのプログラミング言語はPHP、フレームワークはLaravelで実装されています。 Yappli CRMの立ち上げ時の開発はパートナー企業に外注していたのですが、プロダクト開発をより推進していくため、今年から弊社のエンジニアも開発に携わることになりました。しかし、今年１月時点でのYappli CRMは開発者体験に関する多くの課題があ…

AWS クラウドプラクティショナー攻略 3回目 chatGPTさんにまとめてもらっているが chatGPTさんも何でも知っているわけではないので(知ってることだけ) 変なところは流す 目次 AWS Certified Cloud Practitioner(CLF-C01) 試験ガイド 概要 第 1 分野: クラウドのコンセプト 1.1 AWS クラウドとその価値提案を定義する 1.2 AWS クラウドの経済性の側面を特定する 1.3 各クラウドアーキテクチャ設計原則を説明する 第 2 分野: セキュリティとコンプライアンス 2.1 AWS の責任共有モデルを定義する 2.2 AWS クラウドの…