postgreSQL

前提 こんな接続設定のDBがあったとする 項目名 値 ユーザー名 'dev_root' パスワード 'secret' ホスト名 'localhost' ポート番号 5432 DB名 'postgres' スキーマ名 'koralle' psycopg2をインストール 今回はバイナリを直接インストールする pip install psycopg2-binary psycopg2でPostgresSQLに接続 with connect( user="dev_root", password="secret", host="localhost", port=5432, database="postgr…

こんにちは、knsk765 です。 今回は数秘術を題材として SQL パズル的なことに挑戦します。 数秘術というのは占いの一種です。僕が占い好きなので今回の題材に選びましたが、占いの信憑性とかは置いておいて統計情報として数値の分析のみを行います。 前置き 数秘術とは 数秘術について分析したいこと 実現したいイメージ 実行環境 ポイント ゴールに至るまでの手順 制限事項 キーワード SQL を組み立てよう Step 0. （準備運動）数字を並べよう 列を取得する 行を取得する 行を取得する（繰り返し） Step 1. 日付を並べよう Step 2. 日付各桁の和を計算しよう 文字列を分割して表形…

皆様どうもこんにちは。会計ソフトに起票するよりSQLばかり書いている経理財務部のみおつくし0800です。 ところで。今日は私が生まれて始めてSQLのEXISTS句でエラーも出ず求めるデータセットを出力できた日となりました。 もう嬉しくて興奮冷めやらぬ間に書き上げてしまおうと、このチラシの裏にすらもったいないほど下らないEXISTS句の書き方、そして実行計画をさらっと眺めた結果をまとめておきます。 ※特に断りがない限り、すべてPostgreSQLで実行・検証しています。 取り急ぎ、どうやって書けば良いの？ SELECT col1 FROM tab1 WHERE EXISTS (SELECT 1 …

OSS-DB Silver Ver.2.0とは 受験前の能力 受験結果 使用教材【使用した程度】 学習方法 最後に OSS-DB Silver Ver.2.0とは 公式サイトには以下のように書かれています。 下記のスキルと知識を持つエンジニアであることを証明する。 RDBMSとSQLに関する知識を有する。 オープンソースデータベースに関する基礎的な知識を有する。 オープンソースを利用して小規模なデータベースの運用管理ができる。 オープンソースを利用して小規模なデータベースの開発を行うことができる。 PostgreSQLを使ったデータベースシステムの運用管理ができる。 PostgreSQLを利用…

やりたいこと どういう状況でそういうことが起こるか 今回用いるシンプルな例 できたもの つかうもの スクリプト/SQL 感想 参考 やりたいこと IDのリストを外部からもらい、自分達のサービスのDBにデータパッチ(データの更新 or 削除など)を行いたい。 このとき、IDのリストはかなり大きいもの (>100)とする。 このとき、SQLのレビューや再利用性の観点から IN句を使うのは避けたい。 避けたい例 id in (id1, id2, id3, ... , id1000) どういう状況でそういうことが起こるか IDのリストを自サービスで抽出できる場合、ファイルから渡さなくてもサブクエリ等で…

今年も早いものでもう年末です。 大掃除を意識した時に、「普段からこまめにやっておけば...」と毎年後悔しています。 そんな私とは違って、PostgreSQLには普段からデータをこまめに掃除してくれる優秀な「VACUUM」という機能があります。 しかもゴミがでやすい時は小まめに、そうでないときは手を抜いてゆっくりやるというように調整しながら掃除をしてくれます！ ですがしっかりお世話をしないと、「あまりにも時間がかかりすぎる」「途中でやめてしまった」といったトラブルが発生します。 今回はそんなPostgreSQLのVACUUM機能を紹介したいと思います。

概要 Windows 10 の Hyper-V 上で稼働する仮想マシンにて、PostgreSQL のデータベースとベンチマークツール (pgbench) が異なる仮想プロセッサで動作する時に大きく性能劣化すると以前に報告しました。 Hyper-V のルートスケジューラでは複数 CPU 動作時に大きく性能劣化することがあるのかも - ぱと隊長日誌この原因を改めて調査したところ、ワークロードによっては論理プロセッサでのコンテキストスイッチを多発させ、これがパフォーマンスに影響を与えているのでは、という仮説に至りました。この仮説に至った調査をまとめます。 検証環境 検証環境 1 ホスト プロセッサ …

エンジニア・プログラマーの学習に約立つコンテンツのセール情報を集めました 1位 現役シリコンバレーエンジニアが教えるPython 3 入門 + 応用 +アメリカのシリコンバレー流コードスタイル ¥27,800 → ¥1,900 93%OFF!! ⭐ ⭐ ⭐ ⭐ （19,681件） 現役シリコンバレーエンジニアが教えるPython入門！応用では、データ解析、データーベース、ネットワーク、暗号化、並列化、テスト、インフラ自動化、キューイングシステム、非同期処理など盛り沢山の内容です！ 2位 【キカガク流】人工知能・機械学習 脱ブラックボックス講座 - 初級編 - ¥15,800 → ¥1,800 …

2023/01/31で8年11ヶ月勤務した株式会社カルテットコミュニケーションズを退職し、2023/02/01から株式会社リンケージに入社します。 引き続きPHPを書いていくのでよろしくお願いします！ カルテットでやってきたこと Web広告の運用支援SaaS Lisket の開発・運営 https://lisket.jp いまコアとなっている機能のバックエンド開発にメインで携わりました 一回モノリスとして開発したものがうまく機能しないケースに直面し、マイクロサービス化を実施して運用まで担当しました 必要に迫られて、PHPだけでなくJavaのマイクロサービスが生まれたため、勉強して保守・機能追加…

当記事は みずほリサーチ&テクノロジーズ × G-gen エンジニアコラボレーション企画 で執筆されたものです。 みずほリサーチ＆テクノロジーズ株式会社の藤根です。この度、G-gen さんとのコラボを通じて、弊社エンジニアによる Google Cloud の記事を執筆する機会をいただきました。 本記事では、Google Cloud が誇る BigQuery について、初学者を対象にご紹介させていただきます。 先行して弊社小野寺より AWS アーキテクトがはじめて Google Cloud で静的 Web ページを配信した話も公開しておりますので、こちらも是非ご覧ください。 当ブログは G-ge…

PowerDNS を PostgreSQL バックエンドでインストールして、PowerDNS Admin を動かしたいということで、 順を追って手順を記録していきます。 もくじ PostgreSQL をインストールする PowerDNS をインストールする PowerDNS Admin をインストールする ← 今回 h2o + Gunicorn で実行する 参考 github.com 準備 pdnsadm ユーザーの作成 PowerDNSAdmin を実行するユーザーを用意します。 # pw useradd pdnsadm -u 5120 -g pdns -s /usr/sbin/nologi…

エンジニア・プログラマーの学習に約立つコンテンツのセール情報を集めました 1位 現役シリコンバレーエンジニアが教えるPython 3 入門 + 応用 +アメリカのシリコンバレー流コードスタイル ¥27,800 → ¥1,900 93%OFF!! ⭐ ⭐ ⭐ ⭐ （19,681件） 現役シリコンバレーエンジニアが教えるPython入門！応用では、データ解析、データーベース、ネットワーク、暗号化、並列化、テスト、インフラ自動化、キューイングシステム、非同期処理など盛り沢山の内容です！ 2位 【キカガク流】人工知能・機械学習 脱ブラックボックス講座 - 初級編 - ¥15,800 → ¥1,800 …

エンジニア・プログラマーの学習に約立つコンテンツのセール情報を集めました 1位 現役シリコンバレーエンジニアが教えるPython 3 入門 + 応用 +アメリカのシリコンバレー流コードスタイル ¥27,800 → ¥1,900 93%OFF!! ⭐ ⭐ ⭐ ⭐ （19,666件） 現役シリコンバレーエンジニアが教えるPython入門！応用では、データ解析、データーベース、ネットワーク、暗号化、並列化、テスト、インフラ自動化、キューイングシステム、非同期処理など盛り沢山の内容です！ 2位 【キカガク流】人工知能・機械学習 脱ブラックボックス講座 - 初級編 - ¥15,800 → ¥1,800 …

2023/01/29分のコミットです。 CHANGELOGへの追加はありませんでした。 Never report negative idle time activesupport/lib/active_support/notifications/instrumenter.rbの修正です。 idel timeが負の値になった場合に、0を返すよう修正しています。idel timeの計算にはCPU-time clockとmonotonic clock両方の値を使用しており、その影響で値がマイナスになってしまう可能性がある為。 Revert "Add nodoc to Mail module [ci-…

CMU Advanced Database Systems Spring2023とは カーネギメロン大学(CMU)ではAdvanced Database Systemsという講義が開講されており、特に2023年1月始まりの講義です。 講義の内容はモダンなDBMSの内部実装を学んで行くコースとなっており、データベースの歴史を皮切りに OLAP DB、ストレージモデルやCompressionなどなど様々な実装を学べるそうです。 https://15721.courses.cs.cmu.edu/spring2023/ この講義はReading Assignmentがあり、その対象となる論文や書籍内容…

Azure Database for PostgreSQL Flexible ServerにてAzure AD認証を行う 特にハマらずにうまく動いてくれた。よかったよかった。 miyohide.hatenablog.com

PostgreSQLをインストールしpgAdmin4を起動させようとすると、 The pgAdmin 4 server could not be contacted というエラーが表示され起動できませんでした。 既存のpgAdmin4をアンインストールし、pgAdmin4の最新版をインストールし直すことで解決したので方法をまとめます。 ※ mac OS Monterey 12.3 で検証しました。 まずPostgreSQLのアンインストーラを起動させます。 パスワードを要求されるのでPC起動時のパスワードを入力します。 PostgreSQLコンポーネントのうちpgAdmin4のみをアンインスト…

はじめに 先日、Azure Database for MySQL Flexible ServerにてAzure AD認証を行うことを実施しました。 miyohide.hatenablog.com そんな中、PostgreSQL Flexible ServerでもAzure AD認証がGAしたというアナウンスがあったので試してみました。 techcommunity.microsoft.com 設定 ドキュメントが以下にありますのでそれに沿って作業をします。 learn.microsoft.com PowerShellの環境がないのでAzure CloudShellを使い、以下のコマンドを打ちます…

エンジニア・プログラマーの学習に約立つコンテンツのセール情報を集めました 1位 現役シリコンバレーエンジニアが教えるPython 3 入門 + 応用 +アメリカのシリコンバレー流コードスタイル ¥27,800 → ¥1,900 93%OFF!! ⭐ ⭐ ⭐ ⭐ （19,666件） 現役シリコンバレーエンジニアが教えるPython入門！応用では、データ解析、データーベース、ネットワーク、暗号化、並列化、テスト、インフラ自動化、キューイングシステム、非同期処理など盛り沢山の内容です！ 2位 【キカガク流】人工知能・機械学習 脱ブラックボックス講座 - 初級編 - ¥15,800 → ¥1,800 …