Aurora PostgreSQL

こんにちは。プラットフォーム開発部でリードエンジニアをしている chance です。 今回はEKSで実行しているDebeziumで、AuroraのFailOver時に自動復旧させる設定についてお話しします。また補足として、SpringBootなどのJavaアプリケーションでのFailOver対策についても触れています。 TL; DR Debezium の FailOver 対策としては、EKS の livenessProbe で tasks の state が FAILED になっていないかどうかを監視する。 通常の Java アプリケーションでは DNS キャッシュ TTL を調整の上、コネ…

SREの林 aka もりはやです。 タイトルの通りですし、PostgreSQL界隈の皆さんには当たり前のことですが”失敗事例の共有はいくらあってもいいはず”の気持ちで本記事を書いています。*1 TL;DR 詳細 最新バージョンでアプリを移行した矢先にAurora PostgreSQLのv16.1対応が発表 これを受けて、意気揚々とAurora PostgreSQLのバージョンアップを実施 またしてもCPU高騰、そして504多発 調査開始 ZabbixにはSlow queryを出力する機能がデフォルトである クエリチューニングするならEXPLAINを使う ANALYZEを実行することで解決 仕上…

SREの林 aka もりはやです。 先日オンプレで稼働していたとあるPostgreSQLのDBを、Amazon Aurora PostgreSQL（以後はAurora）に移行を行ったところ CREATE INDEX が以下のエラーで作成できない問題に苦労させられたため、解決策と合わせて公開します。 これがベストな対応かは自信がないため、より良い方法をご存知の方はお気軽に教えてください。 以下はDBのリストア中に CREATE INDEX で発生したエラーです。 pg_restore: error: could not execute query: ERROR: could not write …

この記事は、アソビュー！ Advent Calendar 2023の8日目(B面)です。 アソビューでSRE部門を担当している鈴木です。 早いもので、もうこんな時期になってしまいました。 今回は、Aurora Serverlessを実践するにあたり、検討した視点や、実際に導入して分かった、サーバレスの特徴について書いてみます。 はじめに Aurora Serverless v2を検討するモチべーション Aurora Serverless v2の損益分岐点について Aurora Serverless v2のパフォーマンス面での考慮事項 Aurora Serverless v2の最大スペックに関す…

はじめに エキサイト株式会社 バックエンドエンジニアの山縣（@zsp2088dev）です。 先日投稿した記事のとおり、エキサイトブログではAWSのサーバー構成とコストの最適化を行っています。 その中で、DBのインスタンスサイズが余剰であることがわかり、DBのインスタンスサイズを下げることにしました。 tech.excite.co.jp 実施した内容をもとに、本記事ではAmazon AuroraのDBのインスタンスサイズを安全に切り替える方法について紹介します。 はじめに 実施手順 1. リーダーインスタンスを追加する 2. 不要になったリーダーインスタンスを削除する 3. ライターインスタンス…

この記事は、アソビュー！ Advent Calendar 2022の19日目です。本日は、裏面の記事は、下記の記事です。こちらもよろしければご覧ください。 tech.asoview.co.jp アソビューでSREを担当している鈴木です。SREについては、12日目の アソビューにおけるSREとは？4,000万人のアクセスに耐えられるインフラと高い信頼性を目指して - asoview! TECH BLOG にも紹介しているのでよければこちらもご覧ください。上にも書いた通り、SREでは、ミドルウェアの運用保守も担当しており、12月5日にアソビューで利用しているデータベースのバージョンを更新しました。…

事象 とある Aurora PostgreSQL engine version 11.15 のログで 2022-mm-dd tt:mm:ss UTC:[local]:rdsmon@rdsmon:[21643]:FATAL: password authentication failed for user rdsmon といったログが出ていた. 2022, 04:34:50 UTC:[local]:[unknown]@[unknown]:[21643]:LOG: connection received: host=[local] 2022, 04:34:50.000 Role "rdsmon" d…

JAWS-UG名古屋12月会AWS re:Invent2024 Recap&忘年会 - connpass 毎年恒例の RDS/Aurora アップデートを話すべく LT 参加しました。 （時間が足りなくなりそうだったので 前日に一部を切り出しました） まずは歓談タイム 忘年会なので歓談・交流タイムからスタート。しかし、 今日は忘年会なんだけど、絶賛遅刻中… JAWS-UG名古屋12月会AWS re:Invent2024 Recap&忘年会 https://t.co/OTy0PK2GDN #jawsug_nagoya— mujyun@古 (@mujyun_furu) 2024年12月27日 取り…

こんにちは､ Omni Hub チームの shunten31 です. すっかり寒くなりましたね. 今回は､ 最近取り組んできたデータベースの Blue/Green デプロイについて書かせていただきます. はじめに データベースの Blue/Green デプロイは、ダウンタイムを最小化しながらデータベースのスキーマ更新等を行える効果的な手法です. しかし、Green 環境へのスイッチオーバーを行う前に、事前に Green 環境に対してスキーマ変更やデータ操作を行う必要があります. これらの操作は基本的に Green 環境に直接接続して､SQL コマンドを打ち込むことで実施します. 一方で､ アプ…

この記事はJapan AWS Top Engineers Advent Calendar 2024の13日目の記事です🎄 アドベントカレンダーと言えばクリスマス、クリスマスと言えばサンタさんですね🎅 もしもサンタさんの仕事をシステム化するとしたら。。。 そんな面白いアイデアもAWSなら素早く形にすることができます！ そこで今回はサンタさんへ宛てた手書きの手紙からプレゼントや住所を抽出し、最適な配達経路を地図上に表示するシステムをAWSで構築してみました。 次のような特徴があります。 生成AI(Amazon Bedrock)を使い、こどもの手書きの手紙から情報を抽出 AWS Marketplac…

この記事はGunosy Advent Calender 2024の12日目の記事です。昨日の記事はUTさんの「EM（エンジニアリングマネージャ）になって１年半経った振り返り」でした。 はじめに 移行後のコスト削減結果 Aurora I/O-Optimizedとは Aurora Standardの課金体系について Aurora I/O-Optimizedによるコスト最適化 切り替え方法 移行の際の注意点 本番環境でそこまで安くならない場合がある 移行に関して幾つかの制約事項がある おわりに はじめに こんにちは、koizumiです。 去年はSREチームに在籍しておりましたが、今年からサーバーサイ…

エンジニアの佐野です。菅原が Redash について言及したのでそれに乗っかって自分も簡単な記事を書きます。 tech.kanmu.co.jp まず Redash の基本的な使い方としては次の通りです。 https://your-redash-domain/queries/new にアクセスする。 データソース *1 を選択してクエリを書く。 クエリを実行する。 ここで2のデータソースを選択する際なのですが、カンムは Redash を多用しているため大量のデータソースが存在し、都度用途に応じて選択する必要があります。次の画像が存在するデータソース一覧です。 例えば画像中でマスクしていない Bi…

12月にも入り師走感が増してきましたね。 例年通りですが本記事が年内最後となりますので、少し早いですが 本年も大変お世話になりました。来年もどうぞよろしくお願いします。 仮想化/コンテナ クラウド プログラミング 生成AI OS リリース 仮想化/コンテナ Docker Desktop 4.36: New Enterprise Administration Features, WSL 2, and ECI Enhancements www.docker.com コンテナランタイム「containerd 2.0」正式リリース、登場以来初のメジャーバージョンアップ。1.xとの互換性は維持 www.…

Amazon Aurora PostgreSQL Limitless Databaseでも十分ロマンがあると思っていましたがこのタイミングでDSQLが出てきて驚きです。Limitless DatabaseはNewSQLっぽいがマネージドでシャーディングをするというコンセプトがありました。一方でDSQLは純粋なNewSQLのように思えています。そもそもNewSQLの定義自体がどこかにあるわけでもないのでこれは感覚的な話なんだろうなとは思います... ja.wikipedia.org AuroraはDistributed SQLなのか？ これもWikipediaを見ると「複数のサーバー間でデータを…

こんにちは。 DevOps担当、アプリケーションサービス部の兼安です。 今回は、2024年10月末に一般提供を開始した Amazon Aurora PostgreSQL Limitless Database についてお話します。 本記事の注意事項 本記事の対象者 Amazon Aurora PostgreSQL Limitless Database とは Amazon Aurora PostgreSQL Limitless Databaseを検証する際の注意点 Amazon Aurora PostgreSQL Limitless Databaseを構築するCloudFormationテンプレー…

この記事には、Kaigi on Rails 2024 の Day2 に聞いたセッションの感想と記録を書きたいと思います。 kaigionrails.org セッション会場は2つあったのですが、2日目は特にどちらの発表も面白そうでどちらを聞くか悩ましかったです。 また、発表の中で、1日目や他の方の発表内容に言及していたりしているのも、おお、繋がっている！！となりました。 （ イベントで思ったことと、Day1 のセッションについては別記事を書いています） 作って理解する RDBMSのしくみ Cache to Your Advantage: フラグメントキャッシュの基本と応用 基本：フラグメントキャ…

日本の半導体支援 SNSの脱出論 XのAI学習と規約変更 XのAI学習と画像の二次使用 DeepLの音声翻訳機能 AI開発の現状 画像生成AIのノイズ対策 NVIDIAアプリの正式公開 Linuxのパフォーマンス向上 パスワードセキュリティ NVIDIAのAI戦略 Huaweiのハイブリッドストレージ Zoomの脆弱性 じゃんがらラーメンとAIの関係 Docker Desktop 4.35のアップデート VMware Fusion/Workstationの無料化 ストレージ故障率 Amazon Aurora PostgreSQL Limitless Databaseのリリース Dockerfi…

shared_buffers Aurora PostgreSQL の shared_buffers DBInstanceClassMemory shared_buffers shared_buffers は 共有メモリバッファ のメモリ量を設定するPostgreSQL のパラメータ。 PostgreSQL 15 からのデフォルト値は 16,384(それ以前は1,024)。 BLCKSZ は通常 8kB(8192byte) なので、 16,384 * 8,192 = 134,217,728 byte 134,217,728 ÷ 1024 ÷ 1024 = 128 MiB となり、128 MiB …

NotebookLlama: An Open Source version of NotebookLM DocAI ColabでArXiv論文データを加工してNotebookLMで使ってみる。 A Survey on Data Synthesis and Augmentation for Large Language Models プロンプトエンジニアリングによる、Amazon Bedrock でのセキュアな RAG アプリケーション 課題を管理して実行して達成するための手順 aya-expanse 8Bと32Bをollamaとcolabでためしてみる。 組織の「構造」に縛られる私たち：短期解…