「ポストグレス」「ポストグレスキューエル」などとも読む。 オープンソース系RDBMS(Relational Database Management System) のひとつ。 最近のバージョンでは(SQL99の仕様に近い)オブジェクト指向リレーショナルデータベースとしての機能も充実してきており、その高機能さが特徴となっている。 同じオープンソース系RDBMSでも、機能よりも速度と扱いやすさを選んだMySQLとは対照的である。
こんにちは、knsk765 です。データの分析するときってウィンドウ関数は欠かせないですよね。 はじめてウィンドウ関数を知ったときは衝撃でした。これまで強引な集計処理をゴリゴリ書いてどれだけの時間を無駄にしつづけたのかと。 ざっくりいうと GROUP BY を使った集約関数のように結果をまとめてしまわずに、元の行を保持したまま集計列を追加できるのがウィンドウ関数です。 Excel の表に関数を入れた集計列を追加するのがイメージとしては近いかなと思います。 ウィンドウ関数のちゃんとした説明はこちら(PostgreSQL 文書)。 www.postgresql.jp .entry-content …
概要 ChatGPT が世に公開されてから、AI を使用したチャットサービスや対話型 AI などが広く普及しています。 https://chat.openai.com/auth/login ChatGPT にタスクを任せたいが、どのサービスを使用すればよいのか、いろいろなサービスが急速に作成されていますが、どれを使用すればよいのかわからない方も多いのではないでしょうか。 今回はそんな悩みを解決できるかもしれない OSS を見つけましたので、ご紹介したいと思います。 今回ご紹介する OSS は、ターミナル、ブラウザ、エディタで複雑なタスクやプロジェクトを実行できる完全自律型 AI エージェント「…
Rails7がリリースされてから、環境構築で躓いた経験がある方は少なくないのではないでしょうか。 今回は、Rails7 + PostgreSQL + esbuild の環境を docker-compose で構築していきたいと思います。 Rails7 + PostgreSQL + importmap の環境構築については以下の記事をご参照ください。 www.mof-mof.co.jp 1. ファイルを準備する まず始めに、以下の2つのファイルを作成します。 Dockerfile.dev docker-compose.yml Rails7.1から rails new で新規プロジェクトを作成した…
はじめに PostgreSQLのサーチパスが想定してたより面倒だったのでまとめておく。 PostgreSQLのサーチパスとは PostgreSQLのサーチパスは、オブジェクト(テーブル、ビュー、関数など)を参照する際に、どのスキーマを検索するかを指定する機能です。 サーチパスの優先順位 現在のユーザと同名のスキーマ(存在する場合) publicスキーマ 異なるスキーマに同名のオブジェクトが存在する場合、サーチパスの順序によって参照されるオブジェクトが決まる サーチパスの先頭にあるスキーマから順に検索され、最初に見つかったオブジェクトが使用される サーチパスの設定レベル サーチパスはさまざまなレ…
こんにちは。 エキサイト株式会社の三浦です。 今回は、Metabaseをコンテナで立ち上げてみた話をしていきます。 Metabaseとは コンテナで立ち上げる 最後に 参考 Metabaseとは MetabaseはBIツールの一つで、社内のデータを可視化するのに役立ちます。 www.metabase.com Dockerを使って簡単に起動できる 様々なデータソースと接続できる など、使いやすいツールです。 今回はこのMetabaseを、実際にコンテナで立ち上げてみます。 コンテナで立ち上げる それでは、実際に立ち上げてみます。 とは言っても、 docker compose を使えば以下の設定だ…
概要 PostgreSQLでプログラム上から単発のSQLを実行したい場合に、ファイルを経由せずに1回限りのパスワードを与える方法の話です。 最初に結論まとめ コマンドプロンプトの/cのセッション内で環境変数を設定し、そのままコマンドも実行します。例えば次のようになります。 cmd /c "set PGPASSWORD=user1password&&psql.exe --username=user1 --dbname=postgres --command="CREATE DATABASE database1'"" 話の背景 PostgreSQLでpsql.exeを使って、--commandオプシ…
はじめに みなさん、こんにちは。ACS事業部 亀崎です。 以前からPostgreSQLなどCloud Serviceのバージョンアップどうすればいいのかな、といつも考えていたのですが、Azure Database for PostgreSQL Flexible Serverの場合、メジャーバージョンアップ機能が1年前の2023年2月にGAになっていました。 techcommunity.microsoft.com こちらがドキュメントです。 learn.microsoft.com デモ環境の構築初期で、まだ壊れても問題にならないって状態のPostgreSQL Flexible Server(v1…
自分ようにメモ。PostgreSQLで定義しているDBのサイズを確認する必要が出てきた。 DBのサイズを確認するには、pgAdminのクエリツールなどを開いて以下のコマンドを実行するとよい。 SELECT datname, pg_size_pretty(pg_database_size(datname)) FROM pg_database;
はじめに RDSにてPostgreSQLを使っているとき、マスターユーザーとは別のユーザーを作ってそのユーザがオーナーのデータベースを作ろうとするとERROR: must be member of role "xxxxx"というメッセージが出ることがあります。例を以下に記します。 postgres=> CREATE ROLE testuser001 WITH PASSWORD 'hogehogehoge' LOGIN; CREATE ROLE postgres=> CREATE DATABASE mytestdb001 WITH OWNER testuser001; ERROR: must b…
Activerecord-Import とは github.com 結論(どうするか) インポート時に batch_size オプションを指定してやる。 具体例 User.import!(users, batch_size: 10000) PostgreSQL が落ちたときのエラーメッセージ PQconsumeInput() SSL SYSCALL error: EOF detected (ActiveRecord::ConnectionFailed) 参考 https://webcache.googleusercontent.com/search?q=cache:jdX4uXcvCb4J:h…
AWS Glueを使用してRDS内のデータのETLを行う機会があったので、CDKで実装してみました。いくつかハマった点もあったのでその記録です。 今回は以下のようにRDSにアクセスするCrawlerとジョブを実装します Glue Crawler からRDSにアクセスしてData Catalogを生成 Glue JobからRDSのデータをETLしてS3に格納。
この記事は個人ブログと同じ内容です www.ritolab.com // .table-warp {overflow-x: scroll;} データベースを操作する SQL SQL(Structured Query Language)は、関係データベース管理システム(RDBMS)でデータを管理・操作するための標準化された言語です。データベースに格納された情報を効果的に取得、挿入、更新、削除するために使用されます。 SQLは、テーブルと呼ばれるデータの形式で情報を格納し、クエリを使用してデータベースとの対話を行います。初心者にとっても覚えやすく、構文も直感的であるため、多くのデータベース管理シス…
こんにちは、Enterprise Cloud部 ソリューションアーキテクト1課 宮形 です。今年に入ってガバメントクラウドのブログを書くようになりまして、どの記事も前向きでポジティブな内容を心がけておりましたが、今回は一転して後ろ向きなタイトルになります。 本BLOGではガバメントクラウドにおいてAWSに各システムをリフト&シフトした後に、AWSから抜け出す方法 について検討した内容を記載させていただきます。 このBLOGを書こうと思い立った理由 AWSから抜け出す方法を各サービス毎に検討する 仮想サーバー EC2 データベースのマネージドサービス RDS、Aurora コンテナの実行環境 E…
注意 各サービス RDBMS Neon Vercel Postgres Cloudflare D1 Supabase NoSQL Firestore(Firebase) / Cloud Datastore MongoDB Atlas DWH(Data ware house) BigQuery 比較的安価なサービス さくらのレンタルサーバー Heroku PlanetScale Render 期間限定無料枠のあるプラットフォーム AWS GCP 僕はこう思ったっス Herokuに引き続き、PlanetScaleの半永久無料枠が終了してしまいました。 個人開発でサービスを公開したいけど維持費を無料…
はじめに プライベートサブネットに配置しているEC2に対してインストールしたいアプリやセキュリティパッチなどを当てたい場合、一般的にはインターネットに接続する必要があります。 ただ、Amazon Linuxにおいてはインターネットにアクセスせずに更新したりパッケージのインストールができたりします。詳細は以下を参照してください。 repost.aws 以下では、Amazon Linux 2023においてプライベートサブネットにおいたインスタンスにパッケージのインストールをすることをCDKで実装してみます。 VPC作成 VPCを作成します。natGatewaysを0にしておきます。 const v…
このすみ(ver.2024.04.21)がリリースされました。 仕事関連 ElectronとOracle DBを扱う仕事がメインである。 ElectronはIPC通信を扱い、バックエンドとフロントエンドの連携をうまく出来るかが鍵であるように思える。 Oracle DBはMySQLやPostgreSQLとの勝手の違いに戸惑っており、基礎から体系的に学び直している最中です。 プライベート ゴールデンウィークの予定を検討中。旅行に行くことだけは決めているのですが、旅行以外の日をどう過ごすか。 楽天経済圏に入門した結果、楽天Payの便利さに気づきました。 USENの音楽ch (SMART USEN)が…
PostgreSQLの使い方 JavaDrive https://www.javadrive.jp/postgresql/PostgreSQL日本語ドキュメント https://www.postgresql.jp/document/PostgreSQL】データ型一覧 https://plus-info-tech.com/postgresql-typelist # 文字列や数値の値の入力方法 https://www.javadrive.jp/postgresql/basic/index1.htmlエスケープ文字を使う場合はeかEをつけるe'abc\ndef' → 改行がはいる 'abc\ndef…
サーバー サーバーとは、ネットワーク上で他のコンピュータ(クライアント)にサービスを提供するコンピュータまたはプログラムのことを指します。サーバーは、クライアントからの要求を受け取り、それに応じて適切な応答やリソースを提供します。 サーバーには、ハードウェアとソフトウェアの両方の意味があります: 1. ハードウェアとしてのサーバー:高性能で信頼性の高いコンピュータで、一般的にデータセンターやサーバールームに設置されます。これらのサーバーは、大量のデータを保存・処理し、多数のクライアントに同時にサービスを提供するように設計されています。 2. ソフトウェアとしてのサーバー:サーバーソフトウェアは…
先日のentryの続きとして、更に fastapi を経由し、 postgres への 生sqlを実行します import os import sys sys.path.append( os.path.dirname(__file__)+"/../lib" ) from fastapi.middleware.cors import CORSMiddleware import fastapi import json import sqlalchemy import sqlalchemy.orm conf_src = os.path.join(os.path.dirname(__file__), …
初めに クィックスタート: Compose と Railsを実際に行って躓いたところや、わからないことをまとめてみました。 同じように悩んでいる方に向けて書きます。 間違っていることを発信いる場合はコメントなどで教えていただけると幸いです。 クィックスタート: Compose と Railsの最終目的 docker-composeを使用して簡易的にrailsを立ち上げてみる。 使用するアプリケーションはrails。 データベースは,postresSQL。 初めにクイックスタートの通りファイルを作成し、記述を行う。 quick-startフォルダを作成し移動する。 mkdir quick-sta…
# -*- coding: utf-8 -*- import sqlalchemy db_conf = {"user":"postgres", "passwd":"", "host" :"localhost", "port" :"5432", "db" :"saawo" } def main(): sql = sqlalchemy.text("SELECT * FROM city WHERE code = :code") engine = sqlalchemy.create_engine( "postgresql://{user}:{passwd}@{host}:{port}/{db}".fo…
前回解説したように、Laravelを使うとWebアプリの枠組みだけは比較的簡単に作成できます。しかし、Webアプリを開発するためには、PHPやLaravelだけを学ぶだけでは足りません。 PHPはWebアプリの開発に使われる言語なので、Webについての関連技術を併せて学ぶことで、よりスムーズに学びを活かすことができます。そこで、今回はPHP以外に学んでおくとよい技術を紹介します。 HTML/CSS 静的なWebサイトであっても、動的なWebアプリであっても、Webブラウザで表示するためにはHTML(Hypertext Markup Language)という言語で記述する必要があります。そして、…
概要 皆さまはアプリ開発やシステム開発でデータベースを使用する機会はありますでしょうか? 私自身は最近データベースをよく触っており、かつ SQL コマンドも使う機会が増えてきているので勉強しているところになります。 初めてデータベースを触ったり既存のシステムのデータベースを修正するなどの場合、簡易的でも簡単なシステム構成図やテーブル構成図などがあるとよいですよね。 ただデータベースの絵を描くとなるとエクセルを使用しなければならない場合などがあり、エクセルを好まない人にとってはどうやって作成しようかと悩む方も多いかと思います。 そんな中、データベースのテーブル一覧を簡単に描画でき、さらに SQL…
こんにちは🐱 カスタマーサクセス部の山本です。 以前からある機能なものの、Aurora のアクティビティストリームについて初めて調べたので記事にします。 アクティビティストリームはデータベース操作の監査を行う機能です。 監査ログ機能は他にもあるので、使い分けについて主に調べて記述します。 2019 年の 5 月に Aurora Postgres 向けに出来た機能です。 Amazon Aurora (PostgreSQL 互換) でのデータベースアクティビティストリームのサポートによりリアルタイムのモニタリングが可能に 2020 年の 6 月に、Aurora MySQL にも対応しています。 デ…
※本記事は、ChatGPTによる意訳+翻訳を活用し、レイアウト調整したものです。 ※感想は、オリジナルです。 原文 意訳+要約 なぜPHPは2024年でも関連性があるのか? ChatGPTへのQA Q:PHPが利用される分野は、どこでしょうか? Q:PHPのメリット・デメリットを教えて下さい 感想+雑記 原文 Why is PHP still relevant in 2024? - DEV Community 意訳+要約 なぜPHPは2024年でも関連性があるのか? このブログでは、2024年にもなおPHPがなぜ重要かについて議論されています。以下はその要点です。 広範な利用: PHPはWeb…