postgreSQL

概要 PostgreSQL 11 にて ALTER TABLE で列を追加する際に、NULL でないデフォルト値を指定しても全行の書き直しが不要となりました。これにより、PostgreSQL 10 以前では長時間かかることのあった処理がごく短時間で済むようになりました。この改善を解説する記事では NOT NULL 制約と組み合わせているケースがありますが、実際には NOT NULL 制約無しでも同様の効果が得られます。 解説 PostgreSQL 11 にて ALTER TABLE で列を追加する際に、NULL でないデフォルト値を指定した場合の処理が変更されました。これにより処理時間の短縮が…

概要 ソースコードからインストールした PostgreSQL をマイナーアップグレードするには、新規インストールと同じ手順を踏みます。 詳細 PostgreSQL のマイナーリリースの間には互換性があります。 マイナーリリースでは内部格納書式が変わることは決してありませんので、同じメジャーバージョンにおける前後のマイナーリリースとの間で常に互換性があります。 例えばバージョン10.1はバージョン10.0やバージョン10.6と互換性があります。 同様に、例えば9.5.3は9.5.0、9.5.1、9.5.6と互換性があります。 互換性があるバージョンとの間で更新するためには、サーバを停止させ、実行…

centosのpostgres 初期だとログインできないケースがある # psql -U postgrespsql: FATAL: ユーザ "postgres" で対向(peer)認証に失敗しました /var/lib/pgsql/data/pg_hba.conf ファイルをみてみると local all all peer となっている、クライアントのログインユーザを元に判別する方法 まあ、centosのログインユーザや、root ではエラーとなる pear を、trust にかえることで、パスワード不要になる local all all trust サービスを再起動する サーバ接続にて、適切な…

データベース移行後記 技術開発部の杉山です。 先日、弊社のAdvent Calenderで書かせて頂いた、Pg_pool+ReplicationからAurora PostgreSQLへの移行が完了しました。 同様にEOL済みのPostgreSQLから少し新しいPostgreSQLへの移行や、Auroraへの移行を検討されている方の参考になればと思い後記に残す事にしました。 techblog.lclco.com メジャーバージョンのEOLステータス 弊社で利用していた、PostgreSQLは9.xでしたのでFirst Releaseから既に5年以上の月日が経っていて、Final Releaseも…

オミカレでテックリードをしております、高橋です。 ちなみにその任も後2週間足らずで終わりです。 3月からは別の会社で働く事になっておりますが、これは転職 or 退職エントリでは無いのでまたの機会に..! いやぁーーー、この2〜3ヶ月、本当に色んなタスクを倒してきたなーーー！DMS撤退に始まり数十万円単位でのインフラリソースの削減等も完了出来る状態になった。思い残す事は何も無い。という事で本日、高橋は最終出社日でございます！— ikkitang (@ikkitang) 2021年2月11日 さて、表題の通りですが、この度 オミカレでの最後の大仕事として DMS撤退、Aurora撤退を決めてきたの…

家のWindows10のPCにPostgreSQL*1をインストールしたら、pgAdminがローディングのままずっと開かなかった。ggったら以下のサイトで解決したので備忘録。 stackoverflow.com レジストリエディター上で、 コンピューター HKEY_CLASSES_ROOT .js と辿って、.jsクリックした状態で右に表示されるContent Typeを右クリック→修正→値のデータを「text/javascript」に変更し、pgAdminを起動し直すと治った。直してほしい。 *1:12、13両方

この記事では、『【元祖WEB3層構築②】ミドルウェア導入編』で構築したインフラにNTTデータ社が提供しているサンプルアプリケーション「TERASOLUNAツアー予約システム」をデプロイし、WEBアプリケーションが動作することを確認する。 サンプルアプリ用DBデータ準備 データベース作成 サンプルアプリ用DBデータINSERT INSERT結果確認 サンプルアプリのデプロイ サンプルアプリのダウンロード＆コンパイル サンプルアプリのデプロイ サンプルアプリ接続確認 AJP設定追加 サンプルアプリの動作確認 PostgreSQLのログ出力設定変更 アプリケーション動作確認（会員登録処理） アプリケ…

この記事では、『【元祖WEB3層構築①】OSインストール編』で準備したWEB/APサーバとDBサーバに必要なミドルウェアをインストール、設定する。また、各ソフトウェアコンポーネント間の接続確認まで行い、アプリケーションが動作するためのインフラを構築する。 プレゼンテーション層 Apacheインストール Apacheテストページアクセス アプリケーション層 Javaインストール Java環境変数設定 Tomcatインストール Tomact環境変数設定 Tomcatテストページアクセス WEBアプリケーションマネージャ設定 データベース層 PostgreSQLインストール データベース初期化 Po…

結論 例えば、my_hobbies のようなカラムがあり、配列型で定義されているとします*1。そのようなカラムを含んだテーブルを特に何もせずに embulk-output-postgresql で PostgreSQL に書き込むと、以下のようなエラーが出て怒られます。 org.embulk.exec.PartialExecutionException: java.lang.UnsupportedOperationException: Unsupported type _VARCHAR (sqlType=2003, size=2147483647, scale=0) このとき、当該カラムを {…

Purpose Pgadmin 4 の設定をExport/Importする方法をまとめる 設定のExport/Import やりたいこと PostgresのクライアントツールのpgAdmin。pgAdminからDBに接続するためには、Serverへの接続設定を行わないといけない。この設定を複数環境（別PCなど）にコピーして、使いまわせるようにしたい。 pgAdmin3の場合 pgAdmin3までは、レジストリに設定が保存される仕様だったようで、HKEY_CURRENT_USER\Software\pgAdmin IIIレジストリの下に保存されている。らしい。もうPgadmin3使わないから確認…

概要 概要 結構便利なので、ここに残しておきます。よく忘れるので。 開発時などで、たまにテーブルデータをガサーっと一気にクリアしたいときとかがあります。 そういうときに、テーブル仕様書とかを見ながら、削除するクエリを作っても全然問題ないのですが、めんどくさい・・・。 こういう作業は、コンピュータにやってもらったほうが楽です。なので、PostgreSQLさん自身にクエリつくってもらいましょう。 SELECT 'TRUNCATE TABLE ' || ARRAY_TO_STRING(ARRAY_AGG(relname), ',') || ';' AS query FROM pg_stat_user…

久しぶりに書こうとすると、どうするんだっけってド忘れしてちょこちょこ調べている気がするのでメモ。 例えばシーケンスならこう。pg_classに対してSELECTする。 select 1 from pg_class where relname = 'sequence_name' and relkind = 'S'; relkindは、それが何なのかを表す。 r: 通常のテーブル i: インデックス S: シーケンス v: ビュー 詳しくはpg_classの公式ドキュメント

お疲れ様です😃本日のアウトプットです💪 ①ITパスポートの勉強（Udemy） ②オリジナルアプリ ③PHPの勉強（Udemy） ①ITパスポート ・オフィスツール編 pdfに変換すると無償で閲覧できる。 ・オープンソフトフェア編 webプラウザ→FireFox webサーバー→Apache データベース→MySQL,PostgreSQL ・ワークステーション ビジネス用として利用できる大型のコンピュータ ②オリジナルアプリ ・テーブルのカラムをroll_idからroleへ変更。 ・新しいマイグレーションファイルを作成し変更した。 ・integerには、defalt "0"と記入した。(セキュリ…

IPAの情報処理技術者試験を受けたかったのだが、毎度のごとく申し込みを忘れてしまう。 今年はコロナで特に忘れやすい。 実は春のITアーキテクトも受けたかったのだが、今日テキスト買って、サイトを見ると…もう申込み終わってる。 本屋にたくさん平積みしてあったのに…（ ＾ω＾）・・・ うっかり3000円くらい損してしまうのであった。 ということでIPAのメールニュースに登録してみた。 あとiCloudカレンダーで次の秋試験の申込できる日あたりに予約を入れておいた。 今日はOSS-DB Silverを受けてみた。 PostgreSQLの試験なので比較的標準的なデータベースで他にも応用が利きそうと思って…

MySQL (8)https://dev.mysql.com/doc/refman/8.0/en/innodb-deadlock-detection.html 小さいトランザクションがロールバックされる InnoDB tries to pick small transactions to roll back, where the size of a transaction is determined by the number of rows inserted, updated, or deleted Oracle (12cR1)https://docs.oracle.com/cd/E5742…

今回はデプロイのお試しとして、Ruby on Rails で作成したプログラムを Heroku へデプロイしてみたいと思います。 以前、Java Servlet で実施した Ruby on Rails バージョンです。 phoeducation.work Heoku とは Webアプリケーションの準備 Gemファイルの準備 Heroku へのアカウント登録 Heroku CLI ツールのインストール Herokuにログイン Heroku にデプロイする デプロイしたアプリの動作確認 まとめ 参考図書 Heoku とは Heroku とは、PaaS(Platform as a Service) …

はじめに SRE チームの川又です。 Volterraはグローバルで優れたEdge-as-a-Service プラットフォームサービスを提供する事で注目を集めています。 先日、F5, Inc. に買収された事でも話題になりました。 一方、弊社intdash の一部を構成する intdash Server は基本的にクラウド上で動作させます。 ですが、お客様の要件によってはEdge 環境で動作させる事もあります。 SRE チームの検討課題の1つとして、Edge 環境における効率的なサーバアプリケーションの管理・提供 があります。 以上の背景から、今回はVolterraのサービスプラットフォーム上…

go-sqlmock を使ったことがなかったので、Gormを使ってデータベースにアクセスするアプリケーションをテストするコードを書いてみました。 go-sqlmock の READMEに sqlmock is a mock library implementing sql/driver. Which has one and only purpose - to simulate any sql driver behavior in tests, without needing a real database connection. sqlmockはsql/driverを実装したモックライブラリで…

会社でMackerelを使ってMysqlサーバーの監視を行っているのですが、Mysql Threadsの見方が初めはさっぱり分からなかったので、自分で調べたり、先輩に聞いたりして得た自分の理解を残しておこうと思います。 メトリック Mysql Threadsのグラフには5つのメトリックが表示されます。 Cache Size Connected Running Created Cached （グラフは会社で実運用しているものなので出せませんが、知らないとこの記事には辿り着かなそう、、） こちらに説明している記事がありますが、自分はMysqlのスレッドとコネクションについて知らなかったので、理解で…

こんにちは。CData Software Japan リードエンジニアの杉本です。 今日はノーコードプラットフォームであるUnqorkと CData API Serverを組み合わせたOracle データベースとの連携方法を紹介したいと思います。 Unqorkとは？ 本記事のシナリオ 必要なもの 手順1：API Server API Server の環境構成 オンプレミス側 Oracle Client のインストール Oracle の接続を追加する 対象のエンドポイントを追加する ユーザーの追加と動作確認 手順2：Unqork Unqork で作成する画面について Unqork に API S…

タスクモデルの作成 rails g model Task name:string description:text マイグレーションファイルが作成される。 ->create db/migrate/20210225083532_create_tasks.rb マイグレーションを実行 bin/rails db:migrate Postgresqlにログイン psql アプリ名_development ログイン後\dtでテーブル一覧を表示

何も考えずに、git pullしたら起動しなくなったという話。 Exception while creating PDO object:SQLSTATE[08006] [7] FATAL: role "www-data" does not exist どうもconfig.phpの方式が変わったらしく、defineからputenvで指定する新しい形式に変更しないとダメのもよう。 For any config.php settings you have changed from the defaults (normally this is the DB_ group of settings and…

下記ツイートを見て改めて考えてみました。 更新系APIでDBトランザクション張る時、対象のリソース群の親となるリソース（大抵はUser）を無条件で最初にロックする手法が当たり前だと思っていたけど、もしかして世間ではそうではないのかな...デッドロックリスクを忘れられる大きなメリットがあると考えていたんだけど。— やまでぃ🤗 | YOUTRUST (@aiueo4u) 2021年2月16日 並行に書き込みをどのように処理するかという点も含めて整理してみました。 並行性の問題一覧 名称 内容 ダーティリード あるクライアントが他のクライアントのまだコミットされていない書き込みを見ることができる。 …