「ポストグレス」「ポストグレスキューエル」などとも読む。 オープンソース系RDBMS(Relational Database Management System) のひとつ。 最近のバージョンでは(SQL99の仕様に近い)オブジェクト指向リレーショナルデータベースとしての機能も充実してきており、その高機能さが特徴となっている。 同じオープンソース系RDBMSでも、機能よりも速度と扱いやすさを選んだMySQLとは対照的である。
cached plan must not change result type PostgreSQLにてアプリがプログラムに接続したままデータベースに対して変更を加えたとき、のちのSQLの実行で起こるエラーっぽい。 tkrd.hatenablog.com 一度アプリを終了して立ち上げ直したらキャッシュがクリアとなってOKって感じなのかな。アプリを立ち上げたまましたいと言うときの回避方法は何かあるんだろうか。
pg_basebackupしたデータからの復旧テスト バックアップしたデータ base.tar.gz backup_manifest pg_wal.tar.gz package_versions package_versions は dpkg -l |grep postgres を記録したもの。 残り3つは pg_basebackup が出力したファイル。 package_versionsの内容 rc pgdg-keyring 2018.2 all keyring for apt.postgresql.org ii postgresql-15 15.1-1.pgdg22.04+1 amd64 …
前提 こんな接続設定のDBがあったとする 項目名 値 ユーザー名 'dev_root' パスワード 'secret' ホスト名 'localhost' ポート番号 5432 DB名 'postgres' スキーマ名 'koralle' psycopg2をインストール 今回はバイナリを直接インストールする pip install psycopg2-binary psycopg2でPostgresSQLに接続 with connect( user="dev_root", password="secret", host="localhost", port=5432, database="postgr…
こんにちは、knsk765 です。 今回は数秘術を題材として SQL パズル的なことに挑戦します。 数秘術というのは占いの一種です。僕が占い好きなので今回の題材に選びましたが、占いの信憑性とかは置いておいて統計情報として数値の分析のみを行います。 前置き 数秘術とは 数秘術について分析したいこと 実現したいイメージ 実行環境 ポイント ゴールに至るまでの手順 制限事項 キーワード SQL を組み立てよう Step 0. (準備運動)数字を並べよう 列を取得する 行を取得する 行を取得する(繰り返し) Step 1. 日付を並べよう Step 2. 日付各桁の和を計算しよう 文字列を分割して表形…
皆様どうもこんにちは。会計ソフトに起票するよりSQLばかり書いている経理財務部のみおつくし0800です。 ところで。今日は私が生まれて始めてSQLのEXISTS句でエラーも出ず求めるデータセットを出力できた日となりました。 もう嬉しくて興奮冷めやらぬ間に書き上げてしまおうと、このチラシの裏にすらもったいないほど下らないEXISTS句の書き方、そして実行計画をさらっと眺めた結果をまとめておきます。 ※特に断りがない限り、すべてPostgreSQLで実行・検証しています。 取り急ぎ、どうやって書けば良いの? SELECT col1 FROM tab1 WHERE EXISTS (SELECT 1 …
OSS-DB Silver Ver.2.0とは 受験前の能力 受験結果 使用教材【使用した程度】 学習方法 最後に OSS-DB Silver Ver.2.0とは 公式サイトには以下のように書かれています。 下記のスキルと知識を持つエンジニアであることを証明する。 RDBMSとSQLに関する知識を有する。 オープンソースデータベースに関する基礎的な知識を有する。 オープンソースを利用して小規模なデータベースの運用管理ができる。 オープンソースを利用して小規模なデータベースの開発を行うことができる。 PostgreSQLを使ったデータベースシステムの運用管理ができる。 PostgreSQLを利用…
今日が仕事納めでした。 年末年始は、怠惰の限りを尽くします。 今回もPostgreSQLの実行計画とかいろいろ見ていく予定でしたが、、ある疑問が浮かびそれを調べた内容を書いていきます。 Part2にしていきなり番外編です。
やりたいこと どういう状況でそういうことが起こるか 今回用いるシンプルな例 できたもの つかうもの スクリプト/SQL 感想 参考 やりたいこと IDのリストを外部からもらい、自分達のサービスのDBにデータパッチ(データの更新 or 削除など)を行いたい。 このとき、IDのリストはかなり大きいもの (>100)とする。 このとき、SQLのレビューや再利用性の観点から IN句を使うのは避けたい。 避けたい例 id in (id1, id2, id3, ... , id1000) どういう状況でそういうことが起こるか IDのリストを自サービスで抽出できる場合、ファイルから渡さなくてもサブクエリ等で…
今年も早いものでもう年末です。 大掃除を意識した時に、「普段からこまめにやっておけば...」と毎年後悔しています。 そんな私とは違って、PostgreSQLには普段からデータをこまめに掃除してくれる優秀な「VACUUM」という機能があります。 しかもゴミがでやすい時は小まめに、そうでないときは手を抜いてゆっくりやるというように調整しながら掃除をしてくれます! ですがしっかりお世話をしないと、「あまりにも時間がかかりすぎる」「途中でやめてしまった」といったトラブルが発生します。 今回はそんなPostgreSQLのVACUUM機能を紹介したいと思います。
概要 Windows 10 の Hyper-V 上で稼働する仮想マシンにて、PostgreSQL のデータベースとベンチマークツール (pgbench) が異なる仮想プロセッサで動作する時に大きく性能劣化すると以前に報告しました。 Hyper-V のルートスケジューラでは複数 CPU 動作時に大きく性能劣化することがあるのかも - ぱと隊長日誌この原因を改めて調査したところ、ワークロードによっては論理プロセッサでのコンテキストスイッチを多発させ、これがパフォーマンスに影響を与えているのでは、という仮説に至りました。この仮説に至った調査をまとめます。 検証環境 検証環境 1 ホスト プロセッサ …
エンジニア・プログラマーの学習に約立つコンテンツのセール情報を集めました 1位 現役シリコンバレーエンジニアが教えるPython 3 入門 + 応用 +アメリカのシリコンバレー流コードスタイル ¥27,800 → ¥1,900 93%OFF!! ⭐ ⭐ ⭐ ⭐ (19,681件) 現役シリコンバレーエンジニアが教えるPython入門!応用では、データ解析、データーベース、ネットワーク、暗号化、並列化、テスト、インフラ自動化、キューイングシステム、非同期処理など盛り沢山の内容です! 2位 【キカガク流】人工知能・機械学習 脱ブラックボックス講座 - 初級編 - ¥15,800 → ¥1,800 …
参考 https://www.fujitsu.com/jp/products/software/resources/feature-stories/postgres/backup-recovery/ https://www.postgresql.jp/document/9.1/html/continuous-archiving.html https://qiita.com/bwtakacy/items/65260e29a25b5fbde835https://lets.postgresql.jp/documents/technical/backup/3 →詳しくて分かり易い 自分の解釈 ・論理と…
2023/01/31で8年11ヶ月勤務した株式会社カルテットコミュニケーションズを退職し、2023/02/01から株式会社リンケージに入社します。 引き続きPHPを書いていくのでよろしくお願いします! カルテットでやってきたこと Web広告の運用支援SaaS Lisket の開発・運営 https://lisket.jp いまコアとなっている機能のバックエンド開発にメインで携わりました 一回モノリスとして開発したものがうまく機能しないケースに直面し、マイクロサービス化を実施して運用まで担当しました 必要に迫られて、PHPだけでなくJavaのマイクロサービスが生まれたため、勉強して保守・機能追加…
当記事は みずほリサーチ&テクノロジーズ × G-gen エンジニアコラボレーション企画 で執筆されたものです。 みずほリサーチ&テクノロジーズ株式会社の藤根です。この度、G-gen さんとのコラボを通じて、弊社エンジニアによる Google Cloud の記事を執筆する機会をいただきました。 本記事では、Google Cloud が誇る BigQuery について、初学者を対象にご紹介させていただきます。 先行して弊社小野寺より AWS アーキテクトがはじめて Google Cloud で静的 Web ページを配信した話も公開しておりますので、こちらも是非ご覧ください。 当ブログは G-ge…
PowerDNS を PostgreSQL バックエンドでインストールして、PowerDNS Admin を動かしたいということで、 順を追って手順を記録していきます。 もくじ PostgreSQL をインストールする PowerDNS をインストールする PowerDNS Admin をインストールする ← 今回 h2o + Gunicorn で実行する 参考 github.com 準備 pdnsadm ユーザーの作成 PowerDNSAdmin を実行するユーザーを用意します。 # pw useradd pdnsadm -u 5120 -g pdns -s /usr/sbin/nologi…
PowerDNS を PostgreSQL バックエンドでインストールして、PowerDNS Admin を動かしたいということで、 順を追って手順を記録していきます。 もくじ PostgreSQL をインストールする PowerDNS をインストールする ← 今回 PowerDNS Admin をインストールする インストールと設定 パッケージから PowerDNS をインストールします。 # pkg install powerdns PostgreSQL の設定 PostgreSQL を操作するための postgres というユーザーは既にできているはずなので、PostgreSQL に p…
エンジニア・プログラマーの学習に約立つコンテンツのセール情報を集めました 1位 現役シリコンバレーエンジニアが教えるPython 3 入門 + 応用 +アメリカのシリコンバレー流コードスタイル ¥27,800 → ¥1,900 93%OFF!! ⭐ ⭐ ⭐ ⭐ (19,666件) 現役シリコンバレーエンジニアが教えるPython入門!応用では、データ解析、データーベース、ネットワーク、暗号化、並列化、テスト、インフラ自動化、キューイングシステム、非同期処理など盛り沢山の内容です! 2位 【キカガク流】人工知能・機械学習 脱ブラックボックス講座 - 初級編 - ¥15,800 → ¥1,800 …
2023/01/29分のコミットです。 CHANGELOGへの追加はありませんでした。 Never report negative idle time activesupport/lib/active_support/notifications/instrumenter.rbの修正です。 idel timeが負の値になった場合に、0を返すよう修正しています。idel timeの計算にはCPU-time clockとmonotonic clock両方の値を使用しており、その影響で値がマイナスになってしまう可能性がある為。 Revert "Add nodoc to Mail module [ci-…
CMU Advanced Database Systems Spring2023とは カーネギメロン大学(CMU)ではAdvanced Database Systemsという講義が開講されており、特に2023年1月始まりの講義です。 講義の内容はモダンなDBMSの内部実装を学んで行くコースとなっており、データベースの歴史を皮切りに OLAP DB、ストレージモデルやCompressionなどなど様々な実装を学べるそうです。 https://15721.courses.cs.cmu.edu/spring2023/ この講義はReading Assignmentがあり、その対象となる論文や書籍内容…
Azure Database for PostgreSQL Flexible ServerにてAzure AD認証を行う 特にハマらずにうまく動いてくれた。よかったよかった。 miyohide.hatenablog.com
プロパティファイルとResourceBundleクラスを使うと、いちいち書いていたデータベース接続情報を一つにまとめ、それを1行で呼び出すことができる。 1 プロパティファイルを作る 拡張子を「.properties」にする 1行ごとに key = valueにする データベース情報をDAOに書く場合(psqlを使用している) Private Final String jdbc_url = jdbc:postgresql://ポート番号/データベース名 プロパティファイルに書く場合 jdbc_url=jdbc:postgresql://ポート番号/データベース名 ファイルの場所は、呼び出すソー…
PostgreSQLをインストールしpgAdmin4を起動させようとすると、 The pgAdmin 4 server could not be contacted というエラーが表示され起動できませんでした。 既存のpgAdmin4をアンインストールし、pgAdmin4の最新版をインストールし直すことで解決したので方法をまとめます。 ※ mac OS Monterey 12.3 で検証しました。 まずPostgreSQLのアンインストーラを起動させます。 パスワードを要求されるのでPC起動時のパスワードを入力します。 PostgreSQLコンポーネントのうちpgAdmin4のみをアンインスト…
はじめに 先日、Azure Database for MySQL Flexible ServerにてAzure AD認証を行うことを実施しました。 miyohide.hatenablog.com そんな中、PostgreSQL Flexible ServerでもAzure AD認証がGAしたというアナウンスがあったので試してみました。 techcommunity.microsoft.com 設定 ドキュメントが以下にありますのでそれに沿って作業をします。 learn.microsoft.com PowerShellの環境がないのでAzure CloudShellを使い、以下のコマンドを打ちます…