postgreSQL

前提 こんな接続設定のDBがあったとする 項目名 値 ユーザー名 'dev_root' パスワード 'secret' ホスト名 'localhost' ポート番号 5432 DB名 'postgres' スキーマ名 'koralle' psycopg2をインストール 今回はバイナリを直接インストールする pip install psycopg2-binary psycopg2でPostgresSQLに接続 with connect( user="dev_root", password="secret", host="localhost", port=5432, database="postgr…

こんにちは、knsk765 です。 今回は数秘術を題材として SQL パズル的なことに挑戦します。 数秘術というのは占いの一種です。僕が占い好きなので今回の題材に選びましたが、占いの信憑性とかは置いておいて統計情報として数値の分析のみを行います。 前置き 数秘術とは 数秘術について分析したいこと 実現したいイメージ 実行環境 ポイント ゴールに至るまでの手順 制限事項 キーワード SQL を組み立てよう Step 0. （準備運動）数字を並べよう 列を取得する 行を取得する 行を取得する（繰り返し） Step 1. 日付を並べよう Step 2. 日付各桁の和を計算しよう 文字列を分割して表形…

皆様どうもこんにちは。会計ソフトに起票するよりSQLばかり書いている経理財務部のみおつくし0800です。 ところで。今日は私が生まれて始めてSQLのEXISTS句でエラーも出ず求めるデータセットを出力できた日となりました。 もう嬉しくて興奮冷めやらぬ間に書き上げてしまおうと、このチラシの裏にすらもったいないほど下らないEXISTS句の書き方、そして実行計画をさらっと眺めた結果をまとめておきます。 ※特に断りがない限り、すべてPostgreSQLで実行・検証しています。 取り急ぎ、どうやって書けば良いの？ SELECT col1 FROM tab1 WHERE EXISTS (SELECT 1 …

OSS-DB Silver Ver.2.0とは 受験前の能力 受験結果 使用教材【使用した程度】 学習方法 最後に OSS-DB Silver Ver.2.0とは 公式サイトには以下のように書かれています。 下記のスキルと知識を持つエンジニアであることを証明する。 RDBMSとSQLに関する知識を有する。 オープンソースデータベースに関する基礎的な知識を有する。 オープンソースを利用して小規模なデータベースの運用管理ができる。 オープンソースを利用して小規模なデータベースの開発を行うことができる。 PostgreSQLを使ったデータベースシステムの運用管理ができる。 PostgreSQLを利用…

やりたいこと どういう状況でそういうことが起こるか 今回用いるシンプルな例 できたもの つかうもの スクリプト/SQL 感想 参考 やりたいこと IDのリストを外部からもらい、自分達のサービスのDBにデータパッチ(データの更新 or 削除など)を行いたい。 このとき、IDのリストはかなり大きいもの (>100)とする。 このとき、SQLのレビューや再利用性の観点から IN句を使うのは避けたい。 避けたい例 id in (id1, id2, id3, ... , id1000) どういう状況でそういうことが起こるか IDのリストを自サービスで抽出できる場合、ファイルから渡さなくてもサブクエリ等で…

今年も早いものでもう年末です。 大掃除を意識した時に、「普段からこまめにやっておけば...」と毎年後悔しています。 そんな私とは違って、PostgreSQLには普段からデータをこまめに掃除してくれる優秀な「VACUUM」という機能があります。 しかもゴミがでやすい時は小まめに、そうでないときは手を抜いてゆっくりやるというように調整しながら掃除をしてくれます！ ですがしっかりお世話をしないと、「あまりにも時間がかかりすぎる」「途中でやめてしまった」といったトラブルが発生します。 今回はそんなPostgreSQLのVACUUM機能を紹介したいと思います。

概要 Windows 10 の Hyper-V 上で稼働する仮想マシンにて、PostgreSQL のデータベースとベンチマークツール (pgbench) が異なる仮想プロセッサで動作する時に大きく性能劣化すると以前に報告しました。 Hyper-V のルートスケジューラでは複数 CPU 動作時に大きく性能劣化することがあるのかも - ぱと隊長日誌この原因を改めて調査したところ、ワークロードによっては論理プロセッサでのコンテキストスイッチを多発させ、これがパフォーマンスに影響を与えているのでは、という仮説に至りました。この仮説に至った調査をまとめます。 検証環境 検証環境 1 ホスト プロセッサ …

更新日時 2023/01/29/07:07 Qiita Trends Daily 1位 [New] ShellScript,Bash,国際化,Gettext,POSIX Qiita Trends Daily 2位 ※前日3位 JavaScript,チーム開発,ゲーム制作,Phaser3 Qiita Trends Daily 3位 ※前日8位 Windows,コマンドプロンプト Qiita Trends Daily 4位 [New] Docker,SteamDeck,distrobox Qiita Trends Daily 5位 [New] フロントエンド,Next.js,t3-stack Qi…

AWSデベロッパーアソシエイト試験の勉強をしていたときにSystems Manager Parameter StoreとSecrets Managerの問題がでてきて気になったので少し調べてみました。 一番の疑問としては、「何が違うの？？」ということでした。 同じ疑問をもった人の良記事やAWS公式のFAQがあったので、そちらを紹介していきます。 よくある質問 - AWS Systems Manager | AWS AWSのParameter StoreとSecrets Manager、結局どちらを使えばいいのか？比較 - Qiita 2019年5月までは情報更新あり 結論 AWS公式のFAQの…

MacでPostgreSQLをインストールしたので方法をまとめます。 ※ OSバージョン:Monterey 12.3 まずPostgreSQLをインストールするサイトにアクセスします。 www.postgresql.org ホーム画面からダウンロード画面に移動します。 インストールするPCのOSを選択します（今回はmacOSを選択）。 Download the installer をクリックします。 PostgreSQLのバージョンを選択します。 今回は、11系の最新バージョン11.18をダウンロードします。 DMGファイルがダウンロードされるので、ダブルクリックすると仮想ドライブがマウントさ…

全般 BigQuery データ取り込み クエリ Routine セッション 外部データソースへのクエリ テーブルスキーマ ネスト（STRUCT）され、且つ繰り返しフィールド（ARRAY）のあるスキーマ 検索インデックス BigQuery BI Engine BigQuery Migration Service BigQuery Data Transfer Service データの暗号化・マスキング BigQuery ML アクセス制御 管理 Cloud SQL インスタンス・構成 管理 アクセス制御 Database Migration Service Cloud Bigtable アーキテク…

エンジニア・プログラマーの学習に約立つコンテンツのセール情報を集めました 1位 現役シリコンバレーエンジニアが教えるPython 3 入門 + 応用 +アメリカのシリコンバレー流コードスタイル ¥27,800 → ¥1,900 93%OFF!! ⭐ ⭐ ⭐ ⭐ （19,654件） 現役シリコンバレーエンジニアが教えるPython入門！応用では、データ解析、データーベース、ネットワーク、暗号化、並列化、テスト、インフラ自動化、キューイングシステム、非同期処理など盛り沢山の内容です！ 2位 【キカガク流】人工知能・機械学習 脱ブラックボックス講座 - 初級編 - ¥15,800 → ¥1,800 …

えっ！SQLだけでデータ分析！？ 2023年1月26日にオライリージャパンから『SQL for Data Analysis』の邦訳である 『SQLではじめるデータ分析』が発売される。 www.oreilly.co.jp この度、邦訳の査読者として少しお手伝いさせていただいた。 主に日本語回りのお手伝いである。 タイトルの通り、SQLを駆使してデータ分析を行う本であり、『SQLクックブック 第2版』と同じようにSQLの能力を活かす本である。 対象となるデータベースはPostgreSQLであるが、基本的な考え方はデータベースエンジンによらず通用するだろう。 監訳者の2人が本文中にでてくるSQLを精…

【訂正】2023/1/27 13:53 ... ブログエントリ公開時, 採択したトークの一覧に鈴木 正樹(SUZUKI Masaki)さんの｢CloudWatchエージェントとCloudWatchで行うアプリケーション監視｣の記載が漏れておりました. お詫びして訂正いたします. 【訂正】2023/1/27 16:02 ... 手違いにより, Yusuke Wadaさんのトークのタイトルを誤って記載しておりました. 現在は修正済みです. 皆さんこんにちは, YAPC::Kyoto 2023実行委員会の id:papix です. まず初めに, YAPC::Kyoto 2023のスピーカー募集に応募…

nextcloudを使いたい Google Photoの容量がきつくなってきたので写真と動画の保存先を移行する必要が出てきました。 他のクラウドサービスも検討したのですが、HDDが昔に比べてかなり安くなっていることもあり、自宅サーバーを立ててみることにしました。 RAID1に対応したかったので、ハードウェアRAIDに対応したHDDケースも検討したのですが、安いものは評判がよくない、本格的なものは高すぎるということで、今回はHP ProLiant Gen8を採用しました。 発売から10年程経過していますが、中古で1万円程度で買える、3.5インチベイが4つある、コンパクトでそこそこの静音性を持つと…

みなさん、こんにちは！ユーザープラットフォーム開発部の吉川です。 現在、JMDCが保有している医療ビッグデータを活用して生活者や医療に新しい価値を提供する新規プロダクト開発チームのバックエンドを担当しております。今回は新規プロダクト開発のバックエンドで採用している技術や設計について紹介させていただきます。 Go ユーザープラットフォーム開発部の新規プロダクト開発チームは Go を採用しています。採用した理由は色々ありますが、主に以下の点から新規プロダクト開発でもGoを採用することにしました。 静的型付け言語である APIを作りやすい シンプルなコードを書ける メンバーのGoでの開発に対するモチ…

エンジニア・プログラマーの学習に約立つコンテンツのセール情報を集めました 1位 現役シリコンバレーエンジニアが教えるPython 3 入門 + 応用 +アメリカのシリコンバレー流コードスタイル ¥27,800 → ¥1,600 94%OFF!! ⭐ ⭐ ⭐ ⭐ （19,643件） 現役シリコンバレーエンジニアが教えるPython入門！応用では、データ解析、データーベース、ネットワーク、暗号化、並列化、テスト、インフラ自動化、キューイングシステム、非同期処理など盛り沢山の内容です！ 2位 【キカガク流】人工知能・機械学習 脱ブラックボックス講座 - 初級編 - ¥15,800 → ¥1,600 …

エンジニア・プログラマーの学習に約立つコンテンツのセール情報を集めました 1位 現役シリコンバレーエンジニアが教えるPython 3 入門 + 応用 +アメリカのシリコンバレー流コードスタイル ¥27,800 → ¥1,900 93%OFF!! ⭐ ⭐ ⭐ ⭐ （19,633件） 現役シリコンバレーエンジニアが教えるPython入門！応用では、データ解析、データーベース、ネットワーク、暗号化、並列化、テスト、インフラ自動化、キューイングシステム、非同期処理など盛り沢山の内容です！ 2位 【キカガク流】人工知能・機械学習 脱ブラックボックス講座 - 初級編 - ¥15,800 → ¥1,800 …