「ポストグレス」「ポストグレスキューエル」などとも読む。 オープンソース系RDBMS(Relational Database Management System) のひとつ。 最近のバージョンでは(SQL99の仕様に近い)オブジェクト指向リレーショナルデータベースとしての機能も充実してきており、その高機能さが特徴となっている。 同じオープンソース系RDBMSでも、機能よりも速度と扱いやすさを選んだMySQLとは対照的である。
github.com/jackc/pgx/v5 v5.7.6 での検証 pgx.Conn pgx.Connを使っている場合は、[]stringをそのまま使えるのであまり考える必要はない。 package main import ( "context" "fmt" "log" "github.com/jackc/pgx/v5" ) func main() { ctx := context.Background() conn, err := pgx.Connect(ctx, "postgres://postgres@localhost:5432/postgres") if err != nil {…
テスト接続で以下が発生 no pg_hba.conf entry for host "***", user "***", database "***", no encryption SSLの設定をしたら解決した
パーソナルヒートマップ この記事では、Strava APIで取得したサイクリングデータを使って、 Foliumライブラリでパーソナルヒートマップを作成する方法を解説します。 よく走るルートが一目でわかる美しい可視化が実現できます。 前回ブログまででPython、Strava API、PostgreSQL JSONB、Streamlitを使って自分のアクテビティが分析できるアプリを作ってきました。 前回までは、こちら atsushi3.hatenablog.com 今回は、Foliumヒートマップ作成してみました。宮ケ瀬、裏ヤビツがお気に入りなのがわかりますね。 パーソナルヒートマップ セグメン…
Streamlit アプリへの統合 この記事では、これまで個別に実装してきたStrava API機能を、 Streamlitを使って統合されたWebアプリケーションにまとめる方法を解説します。 OAuth認証からデータ可視化まで、一つのアプリで完結できます。 前回ブログまで Strava認証してアクセストークン を取得 アクセストークンを使ってアクテビティをデータベース(PostgreSQL) に保存 Streamlit データベース(PostgreSQL)に保存したアクテビティにアクセスして分析結果を可視化 を別々のコマンドで実装してきました。 atsushi3.hatenablog.com…
昔からちょっとしたタスク管理やチケット管理には Trac Lightning を使っていました。 インストールが簡単で、Windows 上でも気軽に動かせるのが魅力だったのですが、気づけば開発が止まってしまい、最新の環境では扱いづらい環境に。。。「そろそろ代替ツールを探さないと」と思って調べてみると、同じようにオープンソースで開発が続いている Redmine にたどり着きました。 チケット駆動の考え方も Trac に近く、今でも活発に更新されているのがおそらく安心。そこで今回は、まずはお試しということで Windows 11 上に Redmine 6.0.6 を構築してみました。 Ruby 3…
Strava APIには厳しい制限(100リクエスト/15分)があり、 大量のデータ分析には工夫が必要です。 この記事では、PostgreSQLのJSONB機能を活用して API データを効率的に保存・検索する方法を解説します。 前回の投稿(Strava API とPythonを使ってSegmentの履歴を取り出す - atsushi-h’s blog)では、アクテビティ詳細を取得する毎にSTRAVA APIを呼び出していました。 この方法だと、すぐにSTRAVAのアクセス制限(100リクエスト/15分)に引っ掛かってしまいます。なので、アクテビティ詳細をローカルなデータベースに保存しておくこ…
こんばんは。 今日は PySpark で SQL データベースにアクセスすると言うのをやってみたのでそんなお話です。 ここ最近は Azure Databricks じゃなくて、Azure VM で Linux (ubuntu 24.04) を立てて、そこで遊んでます。 いろいろと基本的なアプリケーションは揃っていて、設定もされているので便利ですよ。 例えば、Web サーバーソフトの Apache2 とか。 なので、HTML, CSS, JavaScript が触れるなら、すぐに Web サーバーを公開できます。 と言いつつ、今回使う PySpark とかはインストールが必要です。 その話は以前…
こんにちは、デジスマチームでソフトウェアエンジニアをしている伊藤です。 この記事はデジスマチームブログリレーの8日目の記事です。 今回は我々が開発しているデジスマ診療 (以降、デジスマ) で、医療機関向けに提供しているユーザー検索機能のパフォーマンスを PostgreSQL の機能を活用して改善した話について紹介します。 ユーザー検索の課題感 データ構造 検索クエリ Step 1: 仕様の変更で対応できることはないか? Step 2: 部分一致検索のままで高速化できないか? (pg_bigm の導入) Step 3: インデックスを効率的に活用できないか? (2段階検索への分解) Step 3…
久しぶりにVisual Studio2022C#データベースは、PostgreSQLでアプリケーション開発をしている。私自身、この環境での戦闘経験は浅い。だが、既存のパーツやモジュールを寄せ集め、何とか形にしてみせた。…ふふ、まるでジオンの残党が寄り集まって戦艦を再建するようなものだな。 今回の任務は、フォーム上の入力項目に制限を設けること。 整数部は4桁、小数部は3桁。 それが、この戦場における新たな規律だ。 私は、Microsoft Copilotという人工知能に問いかけた。 「Visual Studioのフォームデザインにおいて、vNumTextBox型のテキストボックスに、整数部4桁・…
NoSQLデータベースの台頭によりデータをJSONで保持し、それなりに検索性能も担保することが可能になってきた昨今ではありますが、ACID特性やデータの処理コスト、SQLという洗練されたデータ操作インターフェイスの存在で、まだまだRDBはあらゆるシステムで採用されているDBMSであると感じます。とは言え、 データをJSONで保持したい JSON内の1属性に指定の値を持つレコードを検索したい 性能は犠牲にしたくない ACID特性も犠牲にしないでね・・・ という要求はたしかに実在します。 最近のバージョンのMySQLやPostgreSQLはJSON型をサポートしており、特にPostgreSQLはJ…