「ポストグレス」「ポストグレスキューエル」などとも読む。 オープンソース系RDBMS(Relational Database Management System) のひとつ。 最近のバージョンでは(SQL99の仕様に近い)オブジェクト指向リレーショナルデータベースとしての機能も充実してきており、その高機能さが特徴となっている。 同じオープンソース系RDBMSでも、機能よりも速度と扱いやすさを選んだMySQLとは対照的である。
こんにちは、knsk765 です。データの分析するときってウィンドウ関数は欠かせないですよね。 はじめてウィンドウ関数を知ったときは衝撃でした。これまで強引な集計処理をゴリゴリ書いてどれだけの時間を無駄にしつづけたのかと。 ざっくりいうと GROUP BY を使った集約関数のように結果をまとめてしまわずに、元の行を保持したまま集計列を追加できるのがウィンドウ関数です。 Excel の表に関数を入れた集計列を追加するのがイメージとしては近いかなと思います。 ウィンドウ関数のちゃんとした説明はこちら(PostgreSQL 文書)。 www.postgresql.jp .entry-content …
概要 ChatGPT が世に公開されてから、AI を使用したチャットサービスや対話型 AI などが広く普及しています。 https://chat.openai.com/auth/login ChatGPT にタスクを任せたいが、どのサービスを使用すればよいのか、いろいろなサービスが急速に作成されていますが、どれを使用すればよいのかわからない方も多いのではないでしょうか。 今回はそんな悩みを解決できるかもしれない OSS を見つけましたので、ご紹介したいと思います。 今回ご紹介する OSS は、ターミナル、ブラウザ、エディタで複雑なタスクやプロジェクトを実行できる完全自律型 AI エージェント「…
Rails7がリリースされてから、環境構築で躓いた経験がある方は少なくないのではないでしょうか。 今回は、Rails7 + PostgreSQL + esbuild の環境を docker-compose で構築していきたいと思います。 Rails7 + PostgreSQL + importmap の環境構築については以下の記事をご参照ください。 www.mof-mof.co.jp 1. ファイルを準備する まず始めに、以下の2つのファイルを作成します。 Dockerfile.dev docker-compose.yml Rails7.1から rails new で新規プロジェクトを作成した…
はじめに PostgreSQLのサーチパスが想定してたより面倒だったのでまとめておく。 PostgreSQLのサーチパスとは PostgreSQLのサーチパスは、オブジェクト(テーブル、ビュー、関数など)を参照する際に、どのスキーマを検索するかを指定する機能です。 サーチパスの優先順位 現在のユーザと同名のスキーマ(存在する場合) publicスキーマ 異なるスキーマに同名のオブジェクトが存在する場合、サーチパスの順序によって参照されるオブジェクトが決まる サーチパスの先頭にあるスキーマから順に検索され、最初に見つかったオブジェクトが使用される サーチパスの設定レベル サーチパスはさまざまなレ…
こんにちは。 エキサイト株式会社の三浦です。 今回は、Metabaseをコンテナで立ち上げてみた話をしていきます。 Metabaseとは コンテナで立ち上げる 最後に 参考 Metabaseとは MetabaseはBIツールの一つで、社内のデータを可視化するのに役立ちます。 www.metabase.com Dockerを使って簡単に起動できる 様々なデータソースと接続できる など、使いやすいツールです。 今回はこのMetabaseを、実際にコンテナで立ち上げてみます。 コンテナで立ち上げる それでは、実際に立ち上げてみます。 とは言っても、 docker compose を使えば以下の設定だ…
概要 PostgreSQLでプログラム上から単発のSQLを実行したい場合に、ファイルを経由せずに1回限りのパスワードを与える方法の話です。 最初に結論まとめ コマンドプロンプトの/cのセッション内で環境変数を設定し、そのままコマンドも実行します。例えば次のようになります。 cmd /c "set PGPASSWORD=user1password&&psql.exe --username=user1 --dbname=postgres --command="CREATE DATABASE database1'"" 話の背景 PostgreSQLでpsql.exeを使って、--commandオプシ…
はじめに みなさん、こんにちは。ACS事業部 亀崎です。 以前からPostgreSQLなどCloud Serviceのバージョンアップどうすればいいのかな、といつも考えていたのですが、Azure Database for PostgreSQL Flexible Serverの場合、メジャーバージョンアップ機能が1年前の2023年2月にGAになっていました。 techcommunity.microsoft.com こちらがドキュメントです。 learn.microsoft.com デモ環境の構築初期で、まだ壊れても問題にならないって状態のPostgreSQL Flexible Server(v1…
自分ようにメモ。PostgreSQLで定義しているDBのサイズを確認する必要が出てきた。 DBのサイズを確認するには、pgAdminのクエリツールなどを開いて以下のコマンドを実行するとよい。 SELECT datname, pg_size_pretty(pg_database_size(datname)) FROM pg_database;
はじめに RDSにてPostgreSQLを使っているとき、マスターユーザーとは別のユーザーを作ってそのユーザがオーナーのデータベースを作ろうとするとERROR: must be member of role "xxxxx"というメッセージが出ることがあります。例を以下に記します。 postgres=> CREATE ROLE testuser001 WITH PASSWORD 'hogehogehoge' LOGIN; CREATE ROLE postgres=> CREATE DATABASE mytestdb001 WITH OWNER testuser001; ERROR: must b…
Activerecord-Import とは github.com 結論(どうするか) インポート時に batch_size オプションを指定してやる。 具体例 User.import!(users, batch_size: 10000) PostgreSQL が落ちたときのエラーメッセージ PQconsumeInput() SSL SYSCALL error: EOF detected (ActiveRecord::ConnectionFailed) 参考 https://webcache.googleusercontent.com/search?q=cache:jdX4uXcvCb4J:h…
# -*- coding: utf-8 -*- import sqlalchemy db_conf = {"user":"postgres", "passwd":"", "host" :"localhost", "port" :"5432", "db" :"saawo" } def main(): sql = sqlalchemy.text("SELECT * FROM city WHERE code = :code") engine = sqlalchemy.create_engine( "postgresql://{user}:{passwd}@{host}:{port}/{db}".fo…
前回解説したように、Laravelを使うとWebアプリの枠組みだけは比較的簡単に作成できます。しかし、Webアプリを開発するためには、PHPやLaravelだけを学ぶだけでは足りません。 PHPはWebアプリの開発に使われる言語なので、Webについての関連技術を併せて学ぶことで、よりスムーズに学びを活かすことができます。そこで、今回はPHP以外に学んでおくとよい技術を紹介します。 HTML/CSS 静的なWebサイトであっても、動的なWebアプリであっても、Webブラウザで表示するためにはHTML(Hypertext Markup Language)という言語で記述する必要があります。そして、…
概要 皆さまはアプリ開発やシステム開発でデータベースを使用する機会はありますでしょうか? 私自身は最近データベースをよく触っており、かつ SQL コマンドも使う機会が増えてきているので勉強しているところになります。 初めてデータベースを触ったり既存のシステムのデータベースを修正するなどの場合、簡易的でも簡単なシステム構成図やテーブル構成図などがあるとよいですよね。 ただデータベースの絵を描くとなるとエクセルを使用しなければならない場合などがあり、エクセルを好まない人にとってはどうやって作成しようかと悩む方も多いかと思います。 そんな中、データベースのテーブル一覧を簡単に描画でき、さらに SQL…
こんにちは🐱 カスタマーサクセス部の山本です。 以前からある機能なものの、Aurora のアクティビティストリームについて初めて調べたので記事にします。 アクティビティストリームはデータベース操作の監査を行う機能です。 監査ログ機能は他にもあるので、使い分けについて主に調べて記述します。 2019 年の 5 月に Aurora Postgres 向けに出来た機能です。 Amazon Aurora (PostgreSQL 互換) でのデータベースアクティビティストリームのサポートによりリアルタイムのモニタリングが可能に 2020 年の 6 月に、Aurora MySQL にも対応しています。 デ…
※本記事は、ChatGPTによる意訳+翻訳を活用し、レイアウト調整したものです。 ※感想は、オリジナルです。 原文 意訳+要約 なぜPHPは2024年でも関連性があるのか? ChatGPTへのQA Q:PHPが利用される分野は、どこでしょうか? Q:PHPのメリット・デメリットを教えて下さい 感想+雑記 原文 Why is PHP still relevant in 2024? - DEV Community 意訳+要約 なぜPHPは2024年でも関連性があるのか? このブログでは、2024年にもなおPHPがなぜ重要かについて議論されています。以下はその要点です。 広範な利用: PHPはWeb…
AnyTechの赤川です。 AnyTechでは、「手軽に試せる流体解析AIパッケージ」としてDeepLiquid Lite(以下、Liteと記載)というものを提供しております。DeepLiquid Liteはブラウザベースで稼働するソフトウェアとなっており、その開発メンバーとして参画しています。 今回は、我々が開発に利用している技術を紹介する第二弾として、バックエンド技術についてご紹介しようと思います。 技術スタック Liteのバックエンドは以下の技術スタックによって構成されています。 ブランチ運用はgit-flowを採用 サーバ構築:Docker デプロイ:Ansible 主なサーバ群 外部…
GitHubホストのM1 macOSランナーをサポート cmd/helpに説明と引数を追加 dev-cmd/bump-cask-prがFromContentLoaderを使用 HOMEBREW_FORBIDDEN_*設定を追加 ブロックパラメータを優先 --display-timesを--caskと共に許可 cmd/logの修正 dev-cmd/generate-*-apiでタイトルが文字列に コミットサマリーの例を更新 Pythonライブラリ例外リストを定義 プルリクエストレビューガイドラインを明確化 ~/.gitconfigへの書き込み回避 postgresql@Xディレクトリの作成 ui…
以下SQLを実行するとプロセスの状況を確認できる SQL文の試行錯誤、動作確認に使える select * from pg_stat_activity; 参考サイト https://www.postgresql.jp/docs/11/monitoring-stats.html#PG-STAT-ACTIVITY-VIEW
pre-amble setup Spanner Spanner とは sample DB + backend outputs Change stream Change stream とは Change stream の作成 outputs Dataflow の作成 BigQuery dataset (in other project) の作成 Service Agent への権限付与 「まじか」ってなったところ outputs 調べもの Dataflow job > "metadata instance ID" "metadata database" とは?? Change stream: e…
気になったニュース 「生成AI」の利用経験者が3か月で倍増、一方で利用頻度は低調なことが判明【GMOリサーチ調べ】 所感・コメント 改造ポケモンを販売容疑、京都の男逮捕 高知県警 所感・コメント 米マイクロソフトがAIなど対日投資4400億円 岸田首相に表明 所感・コメント 「VRへの関心」米国の10代は3割がデバイス所有 日本「使ったことない」8割も利用者は満足げ 所感・コメント グーグル、係争中の法案に対応するテストの一環としてカリフォルニア州のニュースサイトへのリンクを削除 所感・コメント 「SQL」の読み方論争に決着? 「しーくぇる」vs「えすきゅーえる」にPostgreSQLがケリ …
はじめに こんにちは、Plex Job開発チームの種井です。 先日公開された、池川さんのブログ「HerokuからGCPへのインフラ移行 〜ダブルライト検証編〜 - PLEX Product Team Blog」でも紹介がありましたが、Plex Jobでは昨年から今年の1月まで約8ヶ月ほどかけてバックエンドのシステムをHerokuからGCP(Google Cloud Platform)に移行しました。 順番は前後しますが、今回は移行に至った経緯や完了するまでの取り組みについて、ざっくりと全体像について、お話しできればと思っております。 インフラ移行に至った経緯 弊社では 使われるかどうかわからな…
マネージドサービス部 佐竹です。 本日は「あるある」だけども地味に難しい、暗号化された RDS DB インスタンスの AWS アカウント間移行方法について記載します。 はじめに 暗号化されていない RDS を別の AWS アカウントに移動する AWS 公式ドキュメントのご紹介 先に少しの注意点 自動スナップショットは他のアカウントと共有できない スナップショットからの復元直後は速度が劣化する デフォルトサービスキーで暗号化された RDS を別の AWS アカウントに移動する デフォルトサービスキー/AWS managed key RDS DB スナップショットは鍵の差し替えが可能 AWS re…
Materialized Views, Federation, and Query Virtualization Views Viewは単なるクエリであり実体をもたない。そのためViewからselectするときは、そのViewと結合させて新しいクエリを作成して実行する。(つまりViewはテーブルではない) Viewはデータベースにおいて複数のroleを果たしている セキュリティを担保する役割 ユーザーのロールに応じて、アクセスさせたくない列や行をもとのテーブルからフィルターしたViewを提供する(所感: 聞く話しではあるが管理が複雑になりそう。この方法ではなくDWHに備わっている列レベルのアク…
nazology.net 最近、アメリカのサウスフロリダ大学(USF)に所属する物理学者イヴァン・オレイニク氏ら研究チームは、スーパーコンピュータを用いたシミュレーションにより、ダイヤモンドよりも圧力に対して30%高い抵抗力を示す「BC8」と呼ばれる構造の生成条件が判明したと報告しました。 「ダイヤモンドより硬く割れにくい」炭素構造の生成条件が判明!宇宙には既にある可能性 - ナゾロジー 彼らによると、BC8が生成されるのは、高圧・高温の狭い条件の中だけだという。 具体的には、6000K(約5727℃)の温度と、1050GPaの圧力が必要になると予測されています。 「ダイヤモンドより硬く割れに…
勉強全体像 勉強計画 5ヶ月でチーム開発完了 工夫しすぎないで、最小限で提出(歓迎要件は無視やるなら後で) 4/15~5/15 lsコマンドを作る1 lsコマンドを作る2 lsコマンドを作る3 lsコマンドを作る4 ls コマンドを作る5 wc コマンドを作る Nginx nginx で SSL 対応サイトを作る データベース SQL の基本を理解する PostgreSQLの基本を理解する データベース設計の基本を理解する Webアプリケーション REST の考え方を理解する Sinatra を使ってWebアプリケーションの基本を理解する WebアプリからのDB利用 5/16~6/15 Rub…