postgreSQL

データベースに接続してCSVファイルを取得したいことが度々あるが、その度にやり方を忘れてしまっているのでここにメモします。 CSV出力の構文 PostgreSQLでは"psql"で接続後に以下のコマンドを実行すればCSVファイルが出力されます。 デフォルト 対象テーブルの全カラムが出力対象となります。 \COPY {{table名}} TO '{{出力ファイルパス}}' WITH CSV DELIMITER ','; カラムを選択してCSV出力 出力するカラムを指定したい場合は以下のようにします。 \COPY {{table名}({{column名1}, {{column名2}, {{colu…

はじめに Go言語でWebアプリを作ってみたいと思い，作ったWebアプリを簡単に公開できる方法について調べていた．まずは無料でできる方法から始めたかったので，そこでHerokuを使ってみることにした． また，アプリを作る上でデータベースに関わる処理も必要になってくるので，データベースが関わるコードをHerokuで動作させるために必要な設定の仕方についても試してみることにした． 今回試すのは，取りあえずデータベースに適当なテーブルを作成し，そのデータを読み取ってHTMLに表示するだけのGo言語で書いたサーバーサイドプログラムである．Heroku上でデータベース連携の処理を実行するのは，アドオンを…

環境 Pacemaker 1.1.20-5.el7_7.2.x86_64 Corosync 1.1.20-5.el7_7.2-3c4c782f70 Pgpool-Ⅱ 4.0.7 PostgreSQL 9.6 Corosync, Pgpool config # corosync totem { join: 5000 token: 100000 } # pgpool health_check_period = 300 health_check_max_retries = 3 health_check_retry_delay = 3 search_primary_node_timeout = 1 P…

PostgreSQL のエクゼキュータによるノードの処理順はマニュアルに解説されています。 50.6. エクゼキュータこの説明をかみ砕いて説明します。エクゼキュータはプランナ/オプティマイザで作成された計画に従って処理を進めます。その際、上位ノードの要求に応じて下位ノードはタプル（行）を返します。例えば、Sort ノードを実行するためにはソート対象のタプルが必要となります。そこで、Sort ノードの下位ノードは Sort ノードの要求に応じてタプルを渡します。マニュアルの記載に近い具体例で説明します。 =# CREATE TABLE tab1(c1 INTEGER); =# CREATE TA…

Django の docker 環境をクイックスタートのドキュメントを参考に作っていたけど DB にしていされていた Postgres のコンテナが起動しなかった。 docker-compose.yml version: '3' services: # 略 db: image: postgres restart: always # 永続化 volumes: - ./db/pgsql-data:/var/lib/pgsql Postgres が起動しない $ docker-compose up db_1 | Error: Database is uninitialized and superus…

はじめに メリークリスマス！この記事は Qiita AWS ADVENT Calendar 2の25日目の記事です。 qiita.com 最近、Postgres 9.6を 13.3 にアップグレードしました。マネジメントコンソールからポチポチするだけで簡単に上がるだろうと思っていましたが、思っていた以上に色々ハマったので記事として残します。 アップグレードの経緯 今年の3月に Postgres 9.6 がサポート終了されるというアナウンスがされました。 aws.amazon.com また、 Management Console 上でも、2022年1月18日に PostgreS 9.6を、強制的…

この記事はテックタッチアドベントカレンダー22日目の記事です。 こんにちは。データアナリストの bibi です。今回初めてアドベントカレンダーの記事を書きます。よろしくお願いいたします！ 2020年12月に入社してからちょうど1年が経ちました。 私の主な業務はデータの取得で、毎日クエリを書きながら、様々なチームの意思決定のサポートをしています。 データの取得クエリは時に非常に複雑になることがありますが、 その一つである、SQLでのリレーション代数系のクエリを解決する方法について、この記事で紹介します。 PostgreSQLのSQLを利用して説明します。 はじめに サンプルデータベース 複雑にな…

前回の記事までSQLでデータサイエンス100本ノックの問題を解いていこうと考えていたのですが、やっぱり方針変えてPythonも同時進行で進めていきたいと思います。 細かいPandasの文法は現時点では一つもわかりませんが、解答を写経しながら調べていきます。

はじめに 事前準備 postgresql+pgpoolの設定 Pacemaker+Zabbixの設定 最後に はじめに postgresqlを使ったZabbixの情報はあまり出てこないので、 色々と自分で試しつつ、Zabbix5.0のLTSをCluster構成にしてみました。 pgpoolの公式サイトを参考にしながら作ってはいますが、間違っているところがあるかもしれませんので、 利用する方はあくまで参考程度にしてくだい。 また今回の投稿では細かい設定パラメータまでは触れません。 実際はパラメータの調整をしていますが利用の仕方によっても変わってくるので、Postgresqlのパタメータをちゃんと…

はじめに Patroniで作成したDBを利用してZabbixをインストールしていきたいと思います。 DBはクラスタ化しているので、WEB側もクラスタ化していきます。 Linux-HA Japan プロジェクトより、 RHEL8 / CentOS8 では HA add-on版 Pacemakerパッケージの利用を続けることが推奨されているので、 こちらを使って冗長化をを実施していきたいと思います。 OSはRHEL8.3を利用しています。 RHELは事前にsubscription-managerを利用してアカウントを登録しないとPKGのUpdateができないので、 必ず登録を行なった上で実施するよ…

はじめに 準備したもの etcdのインストール PostgreSQLとPatroniのインストール keepalivedとHAproxyのインストール HAproxyのインストール 最後に はじめに Part1ではそれぞれの機能について簡単に説明をしました。 ここからはPatroniを使ったPostgreSQLのクラスタ構築について記載します。 少し長いですがご了承ください。

はじめに Patroniとは etcdとは HAproxyとは 全体を作ってみた感想 はじめに 今回はPatroniを利用したDBクラスタについて書いていきたいと思います。 Part1ではそれぞれの機能について簡単に説明をしたいと思います。

こんにちは。 本日はdocker-compose.ymlについてのメモです。 概要 docker-compose.ymlの作成 version networks services docker-composeのコマンド ビルド 起動 停止 削除 概要 以前作成したapp01とdb01の環境を docker-compose.ymlを使って起動する。 ファイルの配置は以下です。 - docker-compose.yml - Dockerfile.db01 - Dockerfile.app01 - springbootapp01 - demo - target - demo.jar docker-c…

前回からデータサイエンス100本ノックで勉強し始めています。 github.com Docker環境が用意されていて、docker composeコマンドでJupyter NotebookとPostgresqlのコンテナが立ち上がるのでかなり便利です。

環境 postgresql 12.9 Docker 20.10.10 Dockerを使用し、2つのデータベースサーバを起動 ファイル単位のログシッピング、ストリーミングレプリケーションを分けて実行してみる マスタサーバ IPアドレス: 172.10.1.2 スタンバイサーバ IPアドレス: 172.10.1.3 マスタサーバの起動・接続 # ボリューム作成 $ docker volume create master_db # マスタDB保存先 $ docker volume create standby_db # スタンバイDB保存先 $ docker volume create archiv…

データはマーケティングのバックボーンです。広告費をどこに集中させるか、どのタイプの顧客が最も収益性が高いかなどを示すことができます。 ただし、それ自体では、データは単なる数値です。データを最大限に活用するには、データの意味を理解する必要があります。 そこでGoogleData Studioが登場します。データを収集して（限定された）表示分析機能を提供するGoogle Analyticsとは異なり、GoogleのData Studioは、データの意味を理解するのに役立ちます。 それがどのように機能するのか、または努力する価値があるのか​​わからない場合は、このガイドでは、Google Data …

タイトル通りです。 具体的には以下のドキュメントに書いてある手順を実際に行っていきます。 Amazon S3 への DB スナップショットデータのエクスポート - Amazon Relational Database Service データは以下の記事で準備したものを利用します。 RDSにCloudShellからアクセスしてみる - カピバラ好きなエンジニアブログ

以前から思ってたんだけど、覚えたことが端から全部記憶の外にさようならしてしまう。 覚えないといけないこと多すぎ問題。 折角資格とったPostgreSQLのコマンドも今や本開きなおさないと思い出せない始末。 そうだ、勉強したことメモっておけばいいじゃないか。 で、いろいろ調べた結果「Notion」を使ってみることにしました。 おお、ダークモードなかなかいい色合い。 そして書いたことをすぐにページ公開できるの優秀すぎん？ しばらく使い込んでみようと思います。

タイトル通りです。 ローカルのPCから接続するときはpsqlコマンドをインストールしてアクセスできますが、自分のPCにインストールしたくない人はEC2を立てたりする必要があります。 今回はEC2ではなく、AWS CloudShellで接続できるか確認してみます。