postgreSQL

データベースに接続してCSVファイルを取得したいことが度々あるが、その度にやり方を忘れてしまっているのでここにメモします。 CSV出力の構文 PostgreSQLでは"psql"で接続後に以下のコマンドを実行すればCSVファイルが出力されます。 デフォルト 対象テーブルの全カラムが出力対象となります。 \COPY {{table名}} TO '{{出力ファイルパス}}' WITH CSV DELIMITER ','; カラムを選択してCSV出力 出力するカラムを指定したい場合は以下のようにします。 \COPY {{table名}({{column名1}, {{column名2}, {{colu…

はじめに Go言語でWebアプリを作ってみたいと思い，作ったWebアプリを簡単に公開できる方法について調べていた．まずは無料でできる方法から始めたかったので，そこでHerokuを使ってみることにした． また，アプリを作る上でデータベースに関わる処理も必要になってくるので，データベースが関わるコードをHerokuで動作させるために必要な設定の仕方についても試してみることにした． 今回試すのは，取りあえずデータベースに適当なテーブルを作成し，そのデータを読み取ってHTMLに表示するだけのGo言語で書いたサーバーサイドプログラムである．Heroku上でデータベース連携の処理を実行するのは，アドオンを…

環境 Pacemaker 1.1.20-5.el7_7.2.x86_64 Corosync 1.1.20-5.el7_7.2-3c4c782f70 Pgpool-Ⅱ 4.0.7 PostgreSQL 9.6 Corosync, Pgpool config # corosync totem { join: 5000 token: 100000 } # pgpool health_check_period = 300 health_check_max_retries = 3 health_check_retry_delay = 3 search_primary_node_timeout = 1 P…

PostgreSQL のエクゼキュータによるノードの処理順はマニュアルに解説されています。 50.6. エクゼキュータこの説明をかみ砕いて説明します。エクゼキュータはプランナ/オプティマイザで作成された計画に従って処理を進めます。その際、上位ノードの要求に応じて下位ノードはタプル（行）を返します。例えば、Sort ノードを実行するためにはソート対象のタプルが必要となります。そこで、Sort ノードの下位ノードは Sort ノードの要求に応じてタプルを渡します。マニュアルの記載に近い具体例で説明します。 =# CREATE TABLE tab1(c1 INTEGER); =# CREATE TA…

Django の docker 環境をクイックスタートのドキュメントを参考に作っていたけど DB にしていされていた Postgres のコンテナが起動しなかった。 docker-compose.yml version: '3' services: # 略 db: image: postgres restart: always # 永続化 volumes: - ./db/pgsql-data:/var/lib/pgsql Postgres が起動しない $ docker-compose up db_1 | Error: Database is uninitialized and superus…

はじめに メリークリスマス！この記事は Qiita AWS ADVENT Calendar 2の25日目の記事です。 qiita.com 最近、Postgres 9.6を 13.3 にアップグレードしました。マネジメントコンソールからポチポチするだけで簡単に上がるだろうと思っていましたが、思っていた以上に色々ハマったので記事として残します。 アップグレードの経緯 今年の3月に Postgres 9.6 がサポート終了されるというアナウンスがされました。 aws.amazon.com また、 Management Console 上でも、2022年1月18日に PostgreS 9.6を、強制的…

この記事はテックタッチアドベントカレンダー22日目の記事です。 こんにちは。データアナリストの bibi です。今回初めてアドベントカレンダーの記事を書きます。よろしくお願いいたします！ 2020年12月に入社してからちょうど1年が経ちました。 私の主な業務はデータの取得で、毎日クエリを書きながら、様々なチームの意思決定のサポートをしています。 データの取得クエリは時に非常に複雑になることがありますが、 その一つである、SQLでのリレーション代数系のクエリを解決する方法について、この記事で紹介します。 PostgreSQLのSQLを利用して説明します。 はじめに サンプルデータベース 複雑にな…

Amazon RDS のメモリ使用状況を調べる際に確認すべきポイント。以下のスクリーンショットは Aurora MySQL。 CloudWatch メトリクス Freeable Memory （実質メモリ使用量）を確認する。/proc/meminfo に MemAvailable に相当する（参考）。メモリ使用量を監視する場合はこのメトリクスを使う。 Enhanced Monitoring Swap でスワップ領域が使用されていたり、Swaps in、Swaps out で ページイン／アウトが発生している場合、メモリが不足している可能性がある。 Page Tables で OS カーネルのペ…

以前から思ってたんだけど、覚えたことが端から全部記憶の外にさようならしてしまう。 覚えないといけないこと多すぎ問題。 折角資格とったPostgreSQLのコマンドも今や本開きなおさないと思い出せない始末。 そうだ、勉強したことメモっておけばいいじゃないか。 で、いろいろ調べた結果「Notion」を使ってみることにしました。 おお、ダークモードなかなかいい色合い。 そして書いたことをすぐにページ公開できるの優秀すぎん？ しばらく使い込んでみようと思います。

タイトル通りです。 ローカルのPCから接続するときはpsqlコマンドをインストールしてアクセスできますが、自分のPCにインストールしたくない人はEC2を立てたりする必要があります。 今回はEC2ではなく、AWS CloudShellで接続できるか確認してみます。

SQLによるバックアップとは バックアップファイルとして、SQLコマンドを生成する 他のDBサーバへそのファイルを実行することで、同じ状態を再構築出来る バージョン違いや、マシンアーキテクチャの違うDBサーバ間でも実行出来る 環境 postgresql 12.4 テストデータの作成 sampleデータベース作成 usersテーブル作成し、テストデータを3件追加 restore_sampleリストア先のデータベース作成 -- db作成 create database sample; -- usersテーブル作成 create table users( id serial not null, na…

データベース管理システム ExcelやAccessとの違い データベースサーバとクライアント 参考図書 データベース管理システム データベースには「データを管理、運用するためのエンジン」というものがあります。 私たちは、このエンジンに決められた方式で命令を送ることによって、自由にデータを操作することができます。 このエンジンのことを、データベース管理システムといいます。 リレーショナルデータベースの場合は、RDBMS (Relational Database Mnagement System)と呼びます。 ポイント！エンジン（engine） エンジンは英語で「仕組み、構造」という意味で、コンピ…

右の画像は、会議室を即座に納得させます。 その新しいクライアントを売り、上司の承認を得て、あなたの後ろにいるチームを結集させます。データ視覚化ツールは、混乱した数字全体を、すべてを伝える鮮明な画像に変換します。 適切な製品を使用すると、圧倒的な量のデータを指揮して、明確で説得力のあるストーリーを伝えることができます。プレゼンテーションが終了した後も、聴衆に響き渡るビジュアルを残してください。 この投稿では、最高のデータ視覚化ツールの完全な概要と、意思決定の際に何を探すべきかについて説明します。 ＃1 – Tableauレビュー—エンタープライズに最適最高のデータ視覚化ツールのためのTablea…

（アメブロの記事を修正して引っ越しました） パソコンを複数台使う？ 現在、自宅のPCはWindows 10で動いているものとLinux Mintで動いているものとの2台です。 Windows 10のPCは、2013年の初夏に買ったものですが、当初はWindows 8で動いていました。 無償でWindows 10にアップグレードされたのですが、大きなトラブルなく使えています。 バックグラウンドでいろいろと更新されたりしているようで、長期に留守にしていてPCの電源を落としたままにしていると、次に電源を入れた時にそれを一気に回復しようとするらしく、動作が遅くなるのが気になります。 が、それくらいで、…

目次 目次 とある日 学生の限界 学生できるデータベースの学習方法 書籍を読む 資格を受験 コミュニティーやセミナーへの参加 コンテストへの参加 やっておいたほうがいいこと 幅広いITの知識 検証環境構築 いろんなデータベースを触る＆知る おまけ：就職について 〆 とある日 下記のツイートが流れてきました。 学生にデータベースは儲かるって話をしようと思います。https://t.co/A3oCq3jpIY— そーだい@初代ALF (@soudai1025) 2022年1月17日 確かにデータベースは重要だと思いますし、やってて楽しいです。 ただ、いざデータベースを学ぶとなると学生だと限界があり…

ブログには必須の月間アーカイブ機能を作ります メソッドの作成 # Article.rb def divide_monthly return Article.group("strftime('%Y%m', articles.created_at)") .order(Arel.sql("strftime('%Y%m', articles.created_at) desc")) .count end orderに直接SQLを指定するとエラーが出る(SQLインジェクション対策)のでArel.sqlで囲む。リクエストパラメーターなどには適用しない方がいいとのことqiita.comPostgreSQLでは…

これは、なにをしたくて書いたもの？ Node.js＋TypeScript環境でのORMはどれを使ったらいいのかな？ということで。 このあたりみたいです。 Sequelize | Sequelize ORM v5以降、TypeScriptをサポート TypeORM - Amazing ORM for TypeScript and JavaScript (ES7, ES6, ES5). Supports MySQL, PostgreSQL, MariaDB, SQLite, MS SQL Server, Oracle, WebSQL databases. Works in NodeJS, Brow…

今日ちょっと雑に、Mastodon管理者向けにチェック項目をなげたのですが、投げっぱなしもなんなので、説明つけときます。 fedibird.com Mastodon保守メモ 移転！！ ディスク空き容量は大丈夫？ ストレージ全体 PostgreSQL ログ Mastodon 証明書の期限は大丈夫？ systemd timerでcertbot renew 証明書の確認 certbot nginx 定期実行タスクの確認 バックアップ……ちゃんと動いてる？ サーバからのメールちゃんと届く？ schedulerキュー動いてる？ ストリーミング死んでない？ WebUI生きてる？ /api/v1/insta…