postgresqlのパッケージに含まれているプログラムの1つ データベースの情報をファイルに出力する事ができる。
例 hogeがオーナーの foo データベースから bar テーブルをダンプする。
pg_dump -U hoge -t bar foo > example.dump
引数として -d ( copyコマンドではなくINSERT文でデータを挿入する)を使うとバージョン間の互換性が良くなる。
pg_dump したデータの投入 maintenance_work_mem = 1GB wal_level = minimal max_wal_size = 4GB archive_mode = offmaintenance_work_mem 4GB 16GB を 試したが差がなかった。 14.4.5. maintenance_work_memを増やす 14.4.6. max_wal_sizeを増やす 14.4.7. WALアーカイブ処理とストリーミングレプリケーションの無効化 https://www.sraoss.co.jp/PostgreSQL/Manual/document/14/pop…
Ubuntu 22.04のPleromaのバージョンを2.6.3から2.7.1に更新した。 それに伴い、Erlang/ElixirをUbuntu標準のリポジトリから導入したものから、asdfで導入したものに変更した。 環境 共通 さくらのVPS 1GB OS: Ubuntu 22.04 LTS Pleromaのインストール方法: ソースからインストール 更新前 Erlang: 24.2.1(Ubuntu 22.04公式のリポジトリからインストールしたもの) Elixir: 1.12.2(Ubuntu 22.04公式のリポジトリからインストールしたもの) Pleroma: 2.6.3 更新後 E…
はじめに ご覧いただきありがとうございます。ペグ酸です。 今回は、Docker上で動作するMisskeyのバックアップと復元の方法を、個人的な備忘録も兼ねてまとめます。 参考にされる際は自己責任にてお願いいたします。 目次 はじめに 目次 環境 バックアップの流れ 1. Misskeyを停止する 2. データベースだけ起動する 3. データベースをダンプする 4. 設定ファイルをバックアップする 5. リバースプロキシの設定をバックアップする 6. (必要に応じて)filesディレクトリをバックアップする バックアップからの復元の流れ 1. リポジトリの取得 2. 設定 3. ビルド 4. デ…
関連記事 概要 参考情報 ダウンロード 関連記事 GitHub - devlights/blog-summary: ブログ「いろいろ備忘録日記」のまとめ 概要 以下、自分用のメモです。忘れないうちにメモメモ。。。 先日、PostgreSQL 17がリリースされましたね。パフォーマンスが改善されたり、増分バックアップがネイティブ対応になったりと実務で利用することを考えると素晴らしい改善が入っているバージョン。 下の参考情報に記載している PostgreSQL 17 Press Kit より気になる部分を抜粋。 PostgreSQL のこのリリースでは、全体的なパフォーマンスの大幅な向上が図られて…
psql コマンドだけちょこっと使いたい。 ただそれだけなのだが、クライアントのみのバイナリは配布されていない。 そんな時は、zip archive 版から不要ファイルを削除すれば良い。 PostgreSQL ダウンロードサイトから zip archive のリンクを辿れば postgresql-16.4-1-windows-x64-binaries.zip のような zip archive が入手できる。 postgresql-16.4-1-windows-x64-binaries.zip を解凍すると以下のようなフォルダ構成になっている。 このまま bin\psql.exe を実行すれば …
チームの管理情報を溜めていたオンプレ基盤で動く NetBox を Amazon Elastic Container Service へ AWS Cloud Development Kit を用いて移植しました。 今まで NetBox をオンプレで動かしていた際には以下のような運用の難しさがありました。 DB も Docker コンテナによって管理されており、冗長化もなかったため DB コンテナが落ちてしまうとサービス提供できなくなる可能性があった Docker Compose で動かしているので、サービスの作り直しを実施するとそれまでのログが削除される そもそも NetBox を動かしている場…
他のRDBを使ったことがある前提で。 また、SQL Server でいうところのsa(Server Administrator)である、postgres(スーパーユーザー)で設定を行ってしまっているので、その点は留意されたい。 バージョンとサポート期間 インストール パッケージのインストール データベースクラスタの初期化 サービスの開始と自動起動の設定 設定ファイル postgresql.conf のうち、接続関係のここだけは確認しておく pg_hba.conf は完全に理解しなければならない PostgreSQLのインストールで利用可能になるツール群 psqlとメタコマンド バックアップとリ…
PostgresSQLとしてSupabaseの有料プランを利用しているが、主にコストの観点で厳しくなってきた。 今はPostgres上にあるデータをCloudflare D1に移行しようとしており、その過程でPostgres上にあるデータをダンプする pg dumpをしようとしたが、実行で手間取ったのでメモを残す。 コマンド 詳しくはpg_dumpの公式ドキュメントを参照 www.postgresql.jp docker run --rm -it --network host -v $(pwd):/tmp postgres:15 pg_dump \ -h host_name \ -U user…
G-gen の奥田梨紗です。当記事では、オンプレミスや他のクラウドサービス上にあるデータベースを Google Cloud の Cloud SQL に移行するメリットや、移行方法を紹介します。 はじめに Google Cloud のデータベース オンプレミスからクラウドへの移行 メリット メリット1. TCO の削減 メリット2. Google Cloud エコシステムとの連携強化 メリット3. 生成 AI によるデータベース運用の自動化 移行方法 1. Database Migration Service(DMS) 2. レプリケーション 3. ダンプファイルを利用 はじめに Google …
プロダクト開発本部の小本です。 kickflowでは2024年2月から RLS / activerecord-tenant-level-security を導入しています。RLSは安全なSaaSを開発するために必須の機能なのですが、やや複雑な機能であり、新入社員は困惑する事が多いようです。そこで、RLSの概念とkickflowでの使い方を概説します。
モチベーション GitLab Omnibus パッケージは,GitLab のコア・アプリケーションだけでなく PostgreSQL サーバや Nginx サーバを内包し, 該パッケージをインストールするだけですぐに利用できる優れものです。 本来は,単一 VM (又は単一の docker container など)で稼働させるように設計されていて, 内包されている PostgreSQL, Nginx はそのまま利用するのが良いのでしょうが, VMを動作させている Host のリソース(CPU core や memory)の都合で, GitLabサービスを稼働させる VM で,PostgreSQL…
こんにちは、技術推進部の佐藤です。 4 月ということもあり、社会人デビューをされた方たちを目にする機会が増えました。 「自分が若かった頃はこんなにしっかりしていたかな」などと懐かしんでいたら、ふと以前在籍していた会社で血の気が引くような失敗をしたことを思い出しました。 今回はそのお話をいたします。 ただ、その失敗から得た対策のおかげで、今まで 10 年以上もの間に一度も同じような失敗を起こしていません。 これからデータベースを触る方、今まで触っていても失敗したことがない方はご参考になれば幸いです。 何が起こったのか 背景 事件 どう対処したか 初動 その後 収束 学びとその後の対策 防止する仕…
こんにちは、Enterprise Cloud部 ソリューションアーキテクト1課 宮形 です。今年に入ってガバメントクラウドのブログを書くようになりまして、どの記事も前向きでポジティブな内容を心がけておりましたが、今回は一転して後ろ向きなタイトルになります。 本BLOGではガバメントクラウドにおいてAWSに各システムをリフト&シフトした後に、AWSから抜け出す方法 について検討した内容を記載させていただきます。 このBLOGを書こうと思い立った理由 AWSから抜け出す方法を各サービス毎に検討する 仮想サーバー EC2 データベースのマネージドサービス RDS、Aurora コンテナの実行環境 E…
カラム名で検索したい時は以下のようにする select table_name, column_name from information_schema.columns where column_name ='カラム名'; 登録したデータがどこに入っているのか分からない時は以下のようにする pg_dump --data-only --inserts -U postgres DB名 > a.txt a.txtをvi等で開いて、探したいデータを検索する
今回は皆さんが大好きな便利ツール「pg2arrow」のお話です。PostgreSQLでポータブルな列指向データ形式 Apache Arrow を読み出すには、Arrow_Fdwを利用する事ができます。 PG-StromではGPU-Direct SQLにも対応していますし、列指向データという事もあって、被参照列しかI/Oが発生しない、同じ列のデータが近傍に固まっているという大量データ処理に適した特性を持ってもいます。また、Apache Arrow形式のファイルを作成するにはPyArrowやPandasなど様々なツールがありますが、我々DB屋としてはPostgreSQLに格納されたトランザクショナ…