postgreSQL

前提 こんな接続設定のDBがあったとする 項目名 値 ユーザー名 'dev_root' パスワード 'secret' ホスト名 'localhost' ポート番号 5432 DB名 'postgres' スキーマ名 'koralle' psycopg2をインストール 今回はバイナリを直接インストールする pip install psycopg2-binary psycopg2でPostgresSQLに接続 with connect( user="dev_root", password="secret", host="localhost", port=5432, database="postgr…

こんにちは、knsk765 です。 今回は数秘術を題材として SQL パズル的なことに挑戦します。 数秘術というのは占いの一種です。僕が占い好きなので今回の題材に選びましたが、占いの信憑性とかは置いておいて統計情報として数値の分析のみを行います。 前置き 数秘術とは 数秘術について分析したいこと 実現したいイメージ 実行環境 ポイント ゴールに至るまでの手順 制限事項 キーワード SQL を組み立てよう Step 0. （準備運動）数字を並べよう 列を取得する 行を取得する 行を取得する（繰り返し） Step 1. 日付を並べよう Step 2. 日付各桁の和を計算しよう 文字列を分割して表形…

皆様どうもこんにちは。会計ソフトに起票するよりSQLばかり書いている経理財務部のみおつくし0800です。 ところで。今日は私が生まれて始めてSQLのEXISTS句でエラーも出ず求めるデータセットを出力できた日となりました。 もう嬉しくて興奮冷めやらぬ間に書き上げてしまおうと、このチラシの裏にすらもったいないほど下らないEXISTS句の書き方、そして実行計画をさらっと眺めた結果をまとめておきます。 ※特に断りがない限り、すべてPostgreSQLで実行・検証しています。 取り急ぎ、どうやって書けば良いの？ SELECT col1 FROM tab1 WHERE EXISTS (SELECT 1 …

OSS-DB Silver Ver.2.0とは 受験前の能力 受験結果 使用教材【使用した程度】 学習方法 最後に OSS-DB Silver Ver.2.0とは 公式サイトには以下のように書かれています。 下記のスキルと知識を持つエンジニアであることを証明する。 RDBMSとSQLに関する知識を有する。 オープンソースデータベースに関する基礎的な知識を有する。 オープンソースを利用して小規模なデータベースの運用管理ができる。 オープンソースを利用して小規模なデータベースの開発を行うことができる。 PostgreSQLを使ったデータベースシステムの運用管理ができる。 PostgreSQLを利用…

やりたいこと どういう状況でそういうことが起こるか 今回用いるシンプルな例 できたもの つかうもの スクリプト/SQL 感想 参考 やりたいこと IDのリストを外部からもらい、自分達のサービスのDBにデータパッチ(データの更新 or 削除など)を行いたい。 このとき、IDのリストはかなり大きいもの (>100)とする。 このとき、SQLのレビューや再利用性の観点から IN句を使うのは避けたい。 避けたい例 id in (id1, id2, id3, ... , id1000) どういう状況でそういうことが起こるか IDのリストを自サービスで抽出できる場合、ファイルから渡さなくてもサブクエリ等で…

今年も早いものでもう年末です。 大掃除を意識した時に、「普段からこまめにやっておけば...」と毎年後悔しています。 そんな私とは違って、PostgreSQLには普段からデータをこまめに掃除してくれる優秀な「VACUUM」という機能があります。 しかもゴミがでやすい時は小まめに、そうでないときは手を抜いてゆっくりやるというように調整しながら掃除をしてくれます！ ですがしっかりお世話をしないと、「あまりにも時間がかかりすぎる」「途中でやめてしまった」といったトラブルが発生します。 今回はそんなPostgreSQLのVACUUM機能を紹介したいと思います。

概要 Windows 10 の Hyper-V 上で稼働する仮想マシンにて、PostgreSQL のデータベースとベンチマークツール (pgbench) が異なる仮想プロセッサで動作する時に大きく性能劣化すると以前に報告しました。 Hyper-V のルートスケジューラでは複数 CPU 動作時に大きく性能劣化することがあるのかも - ぱと隊長日誌この原因を改めて調査したところ、ワークロードによっては論理プロセッサでのコンテキストスイッチを多発させ、これがパフォーマンスに影響を与えているのでは、という仮説に至りました。この仮説に至った調査をまとめます。 検証環境 検証環境 1 ホスト プロセッサ …

エンジニア・プログラマーの学習に約立つコンテンツのセール情報を集めました 1位 現役シリコンバレーエンジニアが教えるPython 3 入門 + 応用 +アメリカのシリコンバレー流コードスタイル ¥27,800 → ¥1,900 93%OFF!! ⭐ ⭐ ⭐ ⭐ （19,666件） 現役シリコンバレーエンジニアが教えるPython入門！応用では、データ解析、データーベース、ネットワーク、暗号化、並列化、テスト、インフラ自動化、キューイングシステム、非同期処理など盛り沢山の内容です！ 2位 【キカガク流】人工知能・機械学習 脱ブラックボックス講座 - 初級編 - ¥15,800 → ¥1,800 …

CMU Advanced Database Systems Spring2023とは カーネギメロン大学(CMU)ではAdvanced Database Systemsという講義が開講されており、特に2023年1月始まりの講義です。 講義の内容はモダンなDBMSの内部実装を学んで行くコースとなっており、データベースの歴史を皮切りに OLAP DB、ストレージモデルやCompressionなどなど様々な実装を学べるそうです。 https://15721.courses.cs.cmu.edu/spring2023/ この講義はReading Assignmentがあり、その対象となる論文や書籍内容…

Azure Database for PostgreSQL Flexible ServerにてAzure AD認証を行う 特にハマらずにうまく動いてくれた。よかったよかった。 miyohide.hatenablog.com

プロパティファイルとResourceBundleクラスを使うと、いちいち書いていたデータベース接続情報を一つにまとめ、それを１行で呼び出すことができる。 1 プロパティファイルを作る 拡張子を「.properties」にする １行ごとに key = valueにする データベース情報をDAOに書く場合（psqlを使用している） Private Final String jdbc_url = jdbc:postgresql://ポート番号/データベース名 プロパティファイルに書く場合 jdbc_url=jdbc:postgresql://ポート番号/データベース名 ファイルの場所は、呼び出すソー…

PostgreSQLをインストールしpgAdmin4を起動させようとすると、 The pgAdmin 4 server could not be contacted というエラーが表示され起動できませんでした。 既存のpgAdmin4をアンインストールし、pgAdmin4の最新版をインストールし直すことで解決したので方法をまとめます。 ※ mac OS Monterey 12.3 で検証しました。 まずPostgreSQLのアンインストーラを起動させます。 パスワードを要求されるのでPC起動時のパスワードを入力します。 PostgreSQLコンポーネントのうちpgAdmin4のみをアンインスト…

エンジニア・プログラマーの学習に約立つコンテンツのセール情報を集めました 1位 現役シリコンバレーエンジニアが教えるPython 3 入門 + 応用 +アメリカのシリコンバレー流コードスタイル ¥27,800 → ¥1,900 93%OFF!! ⭐ ⭐ ⭐ ⭐ （19,666件） 現役シリコンバレーエンジニアが教えるPython入門！応用では、データ解析、データーベース、ネットワーク、暗号化、並列化、テスト、インフラ自動化、キューイングシステム、非同期処理など盛り沢山の内容です！ 2位 【キカガク流】人工知能・機械学習 脱ブラックボックス講座 - 初級編 - ¥15,800 → ¥1,800 …

AWSデベロッパーアソシエイト試験の勉強をしていたときにSystems Manager Parameter StoreとSecrets Managerの問題がでてきて気になったので少し調べてみました。 一番の疑問としては、「何が違うの？？」ということでした。 同じ疑問をもった人の良記事やAWS公式のFAQがあったので、そちらを紹介していきます。 よくある質問 - AWS Systems Manager | AWS AWSのParameter StoreとSecrets Manager、結局どちらを使えばいいのか？比較 - Qiita 2019年5月までは情報更新あり 結論 AWS公式のFAQの…

MacでPostgreSQLをインストールしたので方法をまとめます。 ※ OSバージョン:Monterey 12.3 まずPostgreSQLをインストールするサイトにアクセスします。 www.postgresql.org ホーム画面からダウンロード画面に移動します。 インストールするPCのOSを選択します（今回はmacOSを選択）。 Download the installer をクリックします。 PostgreSQLのバージョンを選択します。 今回は、11系の最新バージョン11.18をダウンロードします。 DMGファイルがダウンロードされるので、ダブルクリックすると仮想ドライブがマウントさ…

全般 BigQuery データ取り込み クエリ Routine セッション 外部データソースへのクエリ テーブルスキーマ ネスト（STRUCT）され、且つ繰り返しフィールド（ARRAY）のあるスキーマ 検索インデックス BigQuery BI Engine BigQuery Migration Service BigQuery Data Transfer Service データの暗号化・マスキング BigQuery ML アクセス制御 管理 Cloud SQL インスタンス・構成 管理 アクセス制御 Database Migration Service Cloud Bigtable アーキテク…

YAPC::Kyoto 2023の採択トークが決まったようですね。面白そうなトークが沢山あってすごいですね。 blog.yapcjapan.org 私のトークも採択されました。ありがてぇ！ こういう話をします。 マルチテナントを提供する上で一番の悩みどころはどこでしょうか。 私はテナント毎のデータの分割とセキュリティの確保、そして共有情報の分割です。 この一つの答えに私がtryした結果が、PostgreSQLの活用です。 PostgreSQLにはRow Level Securityをはじめとした様々な機能があり、アプリケーションから意識することなく、マルチテナントを実現することができます。 現…

えっ！SQLだけでデータ分析！？ 2023年1月26日にオライリージャパンから『SQL for Data Analysis』の邦訳である 『SQLではじめるデータ分析』が発売される。 www.oreilly.co.jp この度、邦訳の査読者として少しお手伝いさせていただいた。 主に日本語回りのお手伝いである。 タイトルの通り、SQLを駆使してデータ分析を行う本であり、『SQLクックブック 第2版』と同じようにSQLの能力を活かす本である。 対象となるデータベースはPostgreSQLであるが、基本的な考え方はデータベースエンジンによらず通用するだろう。 監訳者の2人が本文中にでてくるSQLを精…