Redshift

技術部データ基盤グループの青木です。 ここ1、2年はなぜか成り行きでBFFをでっちあげたり、 成り行きでiOSアプリリニューアルのPMをしたりしていたので あまりデータ基盤の仕事をしていなかったのですが、 今年は久しぶりに本業に戻れたのでその話をします。 突然の1人チーム、そして0人へ…… 今年のデータ基盤チームは消滅の危機から始まりました。 間違いなく去年末は5人のチームだったと思うのですが、 メンバーがイギリスへグローバルのデータ基盤チームを作りに行ったり、 山へ検索システムを直しに行ったり、川へレシピ事業の分析業務をやりに行ったり、 海へ広告のエンジニアリングをしに行ったりするのをホイホ…

この記事はEnigmo Advent Calendar 2020 の14日目の記事です。 はじめに こんにちは、エニグモ 嘉松です。 簡単な自己紹介ですが、BUYMAのプロモーションやマーケティングを行っている事業部に所属して、その中のデータ活用推進室という部署で会社のデータ活用の推進やマーケティング・オートメーションツール（MAツール）を活用した販促支援、CRMなどを担当しています。（データ活用推進室、長らく私一人部署だったのですが、先月1名増えて2名体制になりました！） 背景 エニグモのデータ活用の大きな特徴として、エンジニアに限らず、マーケターやマーチャンダイザー（MD）、カスタマーサポ…

クラウド大好きエンジニアである株式会社AppBrewの@anoworlです。これは「Firebase Advent Calendar 2020」8日目の記事、ならびに「💰 AWSの費用削減 💸 Advent Calendar 2020」2日目の記事です。 さて今回のテーマは「ログ分析のスキャンを大幅に減らす方法」です。 弊社では定量・定性による仮説検証を掲げ、そのために「SQL学習モチベを爆上げする「SQLテスト制度」を導入している話」のように、全社員がクエリを叩いて仮説検証出来る環境の構築を目指しています。 そこで重要になるのがクエリ結果が返ってくる速度です。BigQueryにしろRedsh…

youtu.be 概要 まずパフォーマンスの比較。 結果は(BigQueryがちょっと速いが)3つともあまり変わらなかった。 「3つとも変わらない」ということは我々のベンチマークがまともなものであったことのサイン。 次にコストを比較した。 Snowflake, Redshiftは時間課金なので単純だが、BigQueryはクエリに課金するのでトリッキー。 うちの顧客のデータウェアハウスを調べたら、稼働時間中にクエリを実行している割合はわずか20%だった。 この20%という数字を使って、Snowflake/Redshiftの料金をBigQuery風の課金体系に変換して比較すると、BigQueryが…

AWS認定ソリューションアーキテクト アソシエイトの試験対策本であるAWS認定資格試験テキストの改訂版を執筆し2021年1月21日に販売開始することになりました。執筆作業が大幅に遅れ、旧版が長らく在庫切れ状態、新版が出てこないという状態でした非常にご迷惑をお掛けしました。 改訂の方針 今回の改訂の方針としては、基本的には第一版をベースにしています。試験範囲の差分については目次レベルで加筆、機能が更新されたものについては修正しています。汚い字で恐縮ですが、目次レベルで確認の上で本文の情報を一つ一つ確認していくという形をとっています。外出時の隙間時間での作業が多かったので、傍目にはめっちゃ熱心に勉…

■awscliのすべてのコマンドとサブコマンドを一覧してみる。 $ aws --version aws-cli/2.1.16 Python/3.7.3 Linux/4.19.0-13-amd64 source/x86_64.debian.10 prompt/off ■以下のような制御文字のために条件式を変えたスクリプトをgithubに置いた。 $ aws help | cat -A | awk '/A.*V.*A.*I/' A^HAV^HVA^HAI^HIL^HLA^HAB^HBL^HLE^HE S^HSE^HER^HRV^HVI^HIC^HCE^HES^HS$ $ git clone htt…

VRChatを始めて三年になったので、この一年を少し振り返りました。一年目、二年目については以下の記事に書いてあるのでよかったら読んでください。 butadiene.hatenablog.com butadiene.hatenablog.com 去年は項目ごとにまとめましたが、今年は一昨年と同じように「時系列」でまとめていけたらなと思います。 去年の今頃 2月 3月 4月 5月 6月 7月 8月 9月 10月 11月 12月 1月（2021年） まとめ おまけ 去年の今頃 確か研究室への配属が決まったころだったと思っています。二年目の振り返りを書いたころには配属が決まった後だったはずで、なんと…

［Astronomical Fashion Flips 天文学的ファッションの転換］ sschirott January 13, 2021 - 00:01Picture of the Day Active galaxies (red crosses) in new study that disproves the proven theory of galaxy mergers. 銀河の合体の証明された理論を反証する新しい研究における活動銀河の数々（赤い十字）。 ―――――――― Original Post January 3, 2011 合体が排除されています。 虚栄心があります： 活動銀河は…

●調査リスト ●温度感調査 Developers IO パラメータ サービスアップデート状況 ドキュメントアップデート状況 ●AWS Secret Manager サマリ シークレットの自動ローテーションに対応 DBアクセス情報以外の保存と自動ローテーション 深堀りの有無 ●所感 ●参考情報 ●調査リスト ①公式サイト https://aws.amazon.com/jp/secrets-manager/?c=sc&sec=srv ②ユーザーガイド https://docs.aws.amazon.com/ja_jp/secretsmanager/latest/userguide/intro.ht…

［Dark Minds ダークマインド］ Mel Acheson March 13, 2013 - 22:56Picture of the Day Blue circles mark the dark galaxies that are theoretically illuminated by the red-circled quasar. 青い円は、赤丸のクエーサーによって理論的に照らされている暗黒銀河を示しています。 ―――――――― Mar 14, 2013 天文学者達は、ついに「暗黒銀河」を観測し、自分が信じていることを十分に見れば、それ（または十分に近いもの）が見つかることを再び証明…

www.youtube.com 概要 我々が行ったベンチマークには、わが社の顧客が直面している問題を反映している。 顧客の最優先課題の多くは、データ量ではなくクエリの複雑さ。 ベンチマークの話の前にOLTPとOLAPの違いについて説明したい。多くの技術者がこの違いを認識していないことに驚いている。 (OLTPとOLAPの通り一遍の話) 我々のベンチマークはColumn Store向けにデザインされている。 column store databaseの歴史は、2005年のC-Store(Vertica)に始まる。 2011年にBigQueryが登場したが、いまのBigQueryとは全然違って、標…

Amazon Redshift から Amazon S3 へ UNLOAD 時には s3:PutObject 権限だけでよさそうだが、s3:ListBucket 権限も必要。allowoverwrite オプションをつけている場合は s3:PutObject 権限のみで UNLAOD できるが、allowoverwrite オプションをつけていない場合は s3:ListBucket を実行している模様。 s3:PutObject 権限のみの場合 allowoverwrite オプションありは成功 dev=# unload ('select * from customer') dev-# to …