postgreSQL

はじめに GLB事業部Lakehouse部の阿部です。 今年のData + AI SUMMITで発表されたLakehouse Federation（レイクハウスフェデレーション）をさわってみました。 https://learn.microsoft.com/ja-jp/azure/databricks/query-federation/postgresql 注意 記事執筆時点では、この機能はパブリックプレビュー段階です。 Lakehouse Federationとは 複数の外部データベースからデータをLakehouseに移行せずに、Lakehouseからアクセスできる機能です。 データベースを外…

はじめに ベクタストアとは？ ベクタを使ったユースケース ベクタストアを使うメリット pgvectorについて pgvectorとは？ なぜpgvectorか？ 構成 始めかた 1. Amazon RDS for PostgreSQLの起動〜EC2で接続 2. vector拡張機能の有効化 2-1. 上記手順で構築したEC2、またはお使いのpsgl実行環境から、PostgreSQLにログイン 2-2. vector拡張機能を有効化 2-3. PostgreSQLへ接続するユーザーへTableへのアクセス権権付与 3. Amazon Bedrockの有効化 4. Google Custom Se…

はじめに エキサイト株式会社 バックエンドエンジニアの山縣（@zsp2088dev）です。 エキサイトブログでは、DBコスト削減に取り組んでおり、これまでにいくつかの改善を行ってきました。 取り組んだこととその効果については、下記記事をご参照ください。 tech.excite.co.jp その記事の中で、PostgreSQLのイベントトリガの活用について簡単に触れました。 本記事では、イベントトリガのより具体的な活用方法について紹介します。 はじめに エキサイトブログのタグ機能 PostgreSQLのイベントトリガを採用した理由 実際に作成したテーブルとイベントトリガ 追加・更新時のトリガ関数…

はじめに 今回はDockerとdocker-composeについて学習したので既存のrailsアプリをdocker化する方法についてまとめます。 前提としてDocker、docker-composeはインストール済みとして進めていきます。 docker化までの流れ 以下の流れでdocker化を行います。 Dockerfile、docker-compose.ymlファイルを作成＆編集 database.ymlファイルの編集 コンテナの立ち上げ＆起動 アクセスできるかを確認 Dockerfile、docker-compose.ymlファイルを作成＆編集 railsのプロジェクト直下にDockerf…

【ポイントだけ！時短！初心者必見！】楽しく学ぶ！Javaオブジェクト指向はじめの一歩 10/4まで！14800円が無料！ https://www.udemy.com/course/java-object/?couponCode=JAVAOBJECT_FREE_1004 なかなかとっつきにくいオブジェクト指向を楽しく学ぼう！ 【1時間以内で基礎を習得しよう！】はじめてのMyBatis入門講座(Springboot・PostgreSQL使用) 10/4まで9800円が1700円！ https://www.udemy.com/course/mybatisbasic/?couponCode=MYBAT…

CI/CD環境の構築手順を簡単に抑えると次のようになる※コンテナ環境で実施する場合 Gitlabコンテナを作成 Gitlab Runnerコンテナを作成 Gitlabにアクセスし、対象のプロジェクトを作成 Gitlabのプロジェクトからrunner登録必要な情報を取得する Gitlab Runnerコンテナにアクセスし、runnerの情報を登録する

英語回文 回文と私 島楽狂 - 回文自選集 2003年 2004年 2005年 ちょっと長めの怒りの注釈 それって転載じゃなくて盗ｓ… え？実はオレが盗ｓ…したの？ 大人げない投稿の真意 蛇足：逆引きSQL比較（←これもパクられたことがあります） 1週間DTM 2回目「涼し」 後ろに貼った1週間DTM。お題は「涼し」なんですが、副題で「俳句」と言うのがありまして。 「涼し」を入れて一句、捻れと。 で、ワタクシ、たまさかにこのブログにも書いていますが、回文の人なので、久々に回文俳句に挑戦しました。 しかし、まったく思い浮かばず、と言うか「すずし」の逆読み「しずす」を入れるとなった時点で五七五は困…

もう一カ月以上経ってしまったのですが、11/6-11/9にスペインのバルセロナで開催されたVMware Explore 2023に参加してきました。そこでの発表内容について簡単にまとめてみたいと思います。 VMware Advances IT Modernization with Enhanced Automation Capabilities and New Security Integrations VMwareが提供する統合デバイス管理ソリューションWorkspace ONEのアップデートが発表されました。Freestyle Orchestratorによる自動化の対応、サードパーティ製の…

こんにちは、Xイノベーション本部ソフトウェアデザインセンターの中村です。 本記事は電通国際情報サービス Advent Calendar 2023の12月8日の記事です。 皆さんはデータベースアクセスを行うアプリケーションのユニットテストやインテグレーションテストをどのように実施していますか？絶対の正解はありませんが、テストの効率性や正確性などを考慮して様々な工夫や検討がなされる領域だと思います。例えば次のような戦略があります。 データベースアクセス部分をモックにする 運用時のデータベースよりも高速なインメモリデータベースを使う（例えばH2 Database Engineなど） 開発者のローカル…

qiita.comの 12/8 です。 Mackerel では從來のメトリックに加へ、メトリックにラベルを附与できる形式である「ラベル付きメトリック」を開發中です。OpenTelemetry 規格のメトリックそのものを Mackerel に投稿し閲覽できます。 mackerel.io 只今ベータ版テストを受け附け中ですので、是非とも御應募ください。 さて。Mackerel に投稿したラベル付きメトリックはグラフを作って閲覽したり、(將來的には) アラートを發報できます。この時にラベル付きメトリックを讀んだり計算するには PromQL と云ふ query 言語を介して行ひます。PromQL を書…

こんにちは。アプリケーションサービス部の柳田です。 先日開催された AWS re:Invent 2023 では『zero-ETL』と名の付くアップデートが印象的でした。 そこで現時点（2023/12/7）で発表されている zero-ETL 関連のアップデートについて整理してみようと思います。 zero-ETL とは zero-ETL 関連アップデートまとめ（AWSサービス別） Amazon Redshift AWS の各種データベースサービス その他 OpenSearch Service Amazon OpenSearch Ingestion S3への直接クエリ [プレビュー] CloudTr…

概要 php(PDO) + postgresql の生SQLを実行時に Invalid parameter number: mixed named and positional parameters が発生。 原因、postgresqlのjsonbの演算子などではよく「?」を使うことがあるが、これと、phpのPDOのプリペアドステートメントの「?」（疑問符パラメータ）と勘違いされてエラー 例） foo_table.bar ? 'fuga_colum_name' といったpostgrsqlのjsonbの演算子（fuga_colum_nameというキーがbarカラムの中に存在するかを調べる） 解決…

こんにちはミツモアエンジニアの ton です。 今回は PGSync というツールとそれを安全に運用するための工夫をご紹介したいと思います。 PGSync とは PGSyncとは PostgreSQL のデータをほぼリアルタイムで Elasticsearch に同期するためのミドルウェアツールです。 Web サイト https://pgsync.com GitHub https://github.com/toluaina/pgsync ※ ankane/pgsyncという同名のツールがありますがそちらではありません。 PGSync を使うことで、以下のようなメリットがあります。 リアルタイム同…

この記事はAWS Analytics Advent Calendar 2023の7日目の記事です。 こんにちは、SREチーム所属の@mashiikeです。 皆様はAmazon QuickSightを活用していますでしょうか？ QuickSightで言うところのデータセット。一般的にはデータマートとも呼ばれるものの設計・構築おけるTipsな話です。 他のBIツールにも応用できるとは思いますが、主にQuickSightをターゲットにした話になります。 データマートについて AWSのサイト上ではデータマートについて以下のように書かれています。 aws.amazon.com データマートは、組織のビジ…

最初に慣れ親しんだデータベースはFileMakerPro。これは本当分かりやすい。逆にAccessなどは当時分かりにくかった。そのあとでAccessも使うようになったけれど、使いこなすには至らなかった。 そのあとがMySQL。これは最もポピュラーだから。でも意外とMySQLは制限があれこれあるのが面倒。今ではもっと緩いのかもしれないけれど、一行当たりのデータ量とかが意外と制限きつかった。 そのあとで使い始めたのがSQLite3。これはマルチユーザの書き込みは保証しないけれど、シングルユーザで使う分には非常に扱いやすい。何せユーザ認証すらない。なので、データをこねくり回すのには都合がよい。 で、…

この記事は Akatsuki Games Advent Calendar 2023 の6日目の記事です。昨日はShuさんの Patch Your EC2 Instances Automatically using Systems Manager and Terraform でした。偶々ですが今日もある意味でセキュリティ運用を楽にするお話です。 Redash について Redashは、BigQuery、Googleスプレッドシート、Athena、MySQL等、様々なデータソースからクエリした結果を可視化するダッシュボードを作成することができるオープンソースのツールです。 クエリパラメータという機…

この記事は ESM アドベントカレンダー 2023 の5日目です。 以前公開した『ESM アジャイル事業部が購入している書籍たち (2022 秋) 』からおよそ1年ほど経過しました。 blog.agile.esm.co.jp その後の1年間、永和システムマネジメント アジャイル事業部で運用している書籍購入支援制度で購入されている書籍をこの記事でリストアップします。2023 年に最も購入された書籍となる ESM Bookshelf of the Year 2023 はどの一冊でしょう？ 弊社事業部メンバーたちがどのような書籍を購入しているか、年末年始の読書の参考にどうぞ。 Ruby JavaSc…

あなごです。 最近口座からやたらお金が減ってくなと思って、数か月ぶりにクレカの請求の内訳を確認したんですよね。 なぜあんまり確認してなかったのかというと、薄い本の印刷代や推しイベのガチャ代やらがあったのでどうせそれなりに消費してんだろうって思ってたからですね。 ただ、先月のクレカの請求額がやけに高くて、流石にん？て思ったんですよね。 怯えながら今月引かれる予定のクレカの明細を確認したところ…。 AMAZON WEB SERVICESってなんぞや。 そんなにAmazonで買い物したっけ。 この明細を確認した時は年に一度のブラックフライデーもまだでしたね。 頭をかしげながら、一応他の月の明細額も見…

こんにちは、エキサイト株式会社の平石です。エキサイトホールディングス Advent Calendar 2023の5日目を担当いたします。 今回はJavaのSpringBootでMyBatisを利用して、複数のデータソースに接続する方法をご紹介します。 はじめに 前提条件 問題設定 application.ymlファイルへの記述 接続設定項目をYAMLファイルから読み込む 実際に接続設定を行う おわりに 参考文献 はじめに 複数のデータベースに利用したい情報が分散しており、一つの「アプリケーション」からそれらにアクセスする必要があるという場合を考えます。 このとき、考えられる対処法は主に2つあり…