CloudSQL

概要 CloudSQL for PostgreSQLのバックアップ方法がいくつかある。いったいどこまでバックアップされるのかがわからなかったので、それぞれを比較してみた。 用語 データベースフラグ CloudSQL for PostgreSQLではpostgresql.confといった設定ファイルにアクセスできない。その代わりにデータベースフラグというものがあり、これでPostgeSQLのパラメータ調整ができる。 比較結果 バックアップには以下の4パターンがある。 インスタンスのクローンを作成（インスタンスをまるごとバックアップ） オンデマンド バックアップを作成（全てのデータベースをバックア…

あるCloudSQLインスタンスに割り当てた内部IPを、別のCloudSQLインスタンスに割り当てることはできるのか？ この疑問を抱いた経緯は次のとおりである。 バージョンアップ済みのCloudSQLインスタンスをバージョンアップ前のバックアップで復元したいとする。その場合、バージョンアップ前のバージョンを使用したインスタンスを新しく作成し、そのうえでバックアップを元にして復元しなければならない。しかし、新しいインスタンスには当然新しい内部IPが割り当てられてしまう。そうなると、アプリケーション側で接続先として新たな内部IPを設定しなければならない。アプリケーション側で接続先IPを変更するのは…

社内の業務効率化を目指して開発した、各種広告効果計測ツールのデータを社内のデータ基盤システムに自動でアップロードするシステムを紹介します。

CloudSQLを使っていると逃げきれない仕様の一つに定期メンテナンスがあります。 数ヶ月に一度、最大で90秒ほどDBインスタンスが落ちる仕様なため、プロダクション環境などでCloudSQLを利用していると、必然と90秒のメンテナンスによるサービスダウンが発生しかねません。 頑張って高可用クラスタ（冗長化）してたり、リードレプリカを作成しても、メンテナンス中はすべて停止してしまうため、サービスダウンは不可避です。 そんなわけでCloudSQLのこの仕様について頭を悩ませているインフラ運用者もきっと多いはず! ということで2年くらいCloudSQLを運用してみえた運用方法の策定基準をまとめてみま…

Scalaの便利かつモジュラーなライブラリ群であるAirframeシリーズに収録されているAirframe RPCで遊んでみたところ、とても面白かったので紹介。 wvlet.org wvlet.org あらすじ Airframeとは Airframe RPC Scala(JVM)とScala.jsとでサーバクライアント通信を行う プロジェクト構成 API定義 サーバ実装 フロントエンド実装 まとめ あらすじ 先日社内でちょっとした理由があってNext.jsを集中的に書く機会があった。最近のNext.jsにはServer Actionsという機能があり、クライアントサイドからサーバサイドの関数を…

前回に続き、Oracle Database19cと23cの隠しパラメータを比較した結果のうち、23cで新規に登場した隠しパラメータについての纏め。新規登場のパラメータ数が1388個と非常に多いため、4回に分けて記載することとし、今回は_a～_fで始まる隠しパラメータを記載する。※19cとの比較による新規隠しパラメータの抽出であるため、20c,21cで新規登場したものも23cでの新規として記載する。隠しパラメータ数が多いため、PCでの閲覧推奨。

Fantiaでエンジニアマネジメントを担当しております。JUです。 今回はブログを書くのが久々にはなるのですが、2021年に追加されたGCPの機能である「Cloud SQL Insights」に関して書いていこうと思います。 規模の大きいサービスを長年運営していって頭を悩ませるのはなんといってもデータベースの負荷です。 「Cloud SQL Insights」はデータベース負荷を簡単にモニタリングできる大変優秀な機能で、自分も大いに助けられています。 本記事にて紹介しますので、ぜひ使っていただきたいなと思います。 Cloud SQL Insights とは Cloud SQL Insights…

昼休みオンライン登壇の実績を解除しました。 findy.connpass.com 実質 1 時間ほどしかない中で 5 つの話が…というわけで呟き少なめ（自分以外の参加者含む）でしたが、とりあえず自分の分を並べておきます。 アソビューさんの話とちょっと被ったw #データベース_findy— hmatsu47(まつ) (@hmatsu47) 2023年9月26日 （PostgreSQL もありましたが）Aurora MySQL v1 → v3 のバージョンアップの話で完全に被りました。 自分が表に出した資料がちゃんと利用されていると嬉しいですね。 #データベース_findy— hmatsu47(ま…

Software Design 2023年9月号を読んで、ちょこっとずつ感想を書いてます。 gihyo.jp いつも参加しているSoftware Design輪読会に向けての予習でもあります。 softwaredesign.connpass.com 特に気になったこと JavaScript非同期処理の記事、よかったです。 普段あんまり考えずにやってましたが…裏側の話などもあって、理解が進んだ気がします。 特に、2章のトラップ。 カオスエンジニアリング、みなさんやってますか？やろうとしてますか？ うちは…全くです…。 でも、実際に問題を起こして復旧させることを定期的にやったら、だいぶよさそうに思…

いつもMackerelをご利用いただきありがとうございます。 Google Cloudインテグレーションにおいて、次のような問題が発生しておりましたのでご報告いたします。 発生事象 Compute Engineが連携されている場合、Compute Engineのメトリック連携が停止し、正常に監視が行えていませんでした。 Compute Engineと同じインテグレーション設定で連携されているAppEngineとCloudSQL のホストにおいて、メトリックが欠損するもしくはメトリックが過剰に投稿される事象が発生していました。 発生日時 2023年7月25日から2023年8月22日の間 影響範囲…

こんにちは。kimihiro_nです。 今回はプロダクトで使用しているデータベース(MySQL 互換)を AWS から Google Cloud に引っ越ししたときのはなしを紹介します。 AWSから Google Cloud へ AWS では MySQL 5.7 互換の Aurora グローバルデータベースを利用していました。 グローバルデータベースを使っているのは、大規模災害時におけるリージョンレベルでの障害に備えるためのもので、万一リージョンレベルの障害が発生してもサービス継続できるような体制を作っていました。 今回ある事情から Google Cloud の CloudSQL へのお引っ越…

はじめに 近年、多くの業界においてDXを進める企業が増加し、ビジネス上の重要な意思決定においてデータの活用と分析の需要はますます高まっていると感じています。 その手始めとして、データ分析用の基盤構築・整備が行われると思うのですが、その際の大変なことの１つとして、集計したいデータが複数のデータソースに存在し、それを定期的に集めてくることの実現ではないでしょうか。 弊社でも最近、データ分析基盤の整備を行いました。その際の上記課題感に対しては、記事タイトルにもあるように、「Fivetran x BigQuery x dbt」といったサービスを組み合わせて解決・実現しました。 なお、弊社のメインサービ…

こんにちは。エムスリーエンジニアリンググループ AI・機械学習チームで機械学習エンジニアをしている農見(@rookzeno) です。最近はgokartを使ったパイプライン開発に勤しんでます。 皆さんはgokartというものをご存知でしょうか。この記事を開く人は知ってそうですが、gokartとはエムスリーがメンテナンスしている機械学習パイプラインOSSです。もしgokartのことを知らなかった人が居たらこのgokartの記事を読んでください。 エムスリー内ではこれを全面的に利用して開発を行なっていますが、その知見は社内に閉じてるものも多いです。そこでエムスリー内でどんな感じでgokartを使って…

当記事は みずほリサーチ&テクノロジーズ × G-gen エンジニアコラボレーション企画 で執筆されたものです。 Cloud Armor は Google Cloud でセキュアな Web アプリケーションを構築するために欠かせないプロダクトです。 代表的なアプリケーションへの攻撃である SQL インジェクションを題材に、CloudArmor の機能を体験できるハンズオンを整備しました。 G-gen の片岩です。 当記事ではサーバレスな Web アプリケーションを構築し、SQL インジェクション攻撃から保護するまでの手順をご紹介します。 Cloud Armor はじめに Cloud Armor…

概要 Cloud Run 上の phpMyAdmin を経由して Cloud SQL にアクセス環境を構築します 使用する phpMyAdmin は Docker Hub の公式コンテナイメージを使用します 現時点で最新の phpmyadmin:5.2.1-apache を使用します hub.docker.com github.com ⚠ 注意 元情報は Cloud Run 上の phpMyAdmin を経由して Cloud SQL にアクセスする環境を構築するハンズオン にあります ;) 作ってみる 0. 事前の定義 環境変数を設定する export _gc_pj_id='Your Goog…

前回に続き、Oracle Database19cと21cの隠しパラメータを比較した結果のうち、21cで新規に登場した隠しパラメータについての纏め。新規登場のパラメータ数が625個と非常に多いため、3回に分けて記載することとし、今回は_a～_fで始まる隠しパラメータを記載する。※19cとの比較による新規隠しパラメータの抽出であるため、20cで新規登場したものも21cでの新規として記載する。隠しパラメータ数が多いため、PCでの閲覧推奨。