PG-Strom

このタグの解説について

この解説文は、すでに終了したサービス「はてなキーワード」内で有志のユーザーが作成・編集した内容に基づいています。その正確性や網羅性をはてなが保証するものではありません。問題のある記述を発見した場合には、お問い合わせフォームよりご連絡ください。

しかつきかふぇ•9ヶ月前

openSUSE で PG-Strom を動かしてみた【総括編】

気がつけばクリスマスイブとか鹿野です。あっという間にクリスマスって感じで、はみゅって感じです。そう言えば最近この３つが同時発売になるケース多いんですよね（そしてまた脈略のない話）ちなみにおすすめは『カッコウの許嫁』。エリカちゃんのさりげないクズ女っぷり（？）も滅茶苦茶に好きですが（注：褒め言葉です）、幸ちゃんも好きです。だってホテル王の娘と有名神社の娘の間に挟まれながらも健闘するごく普通の女子中学生って、それはそれですごい話だと思いません？（そっちかよ！！）・・・はい。話を本題に戻して、今日は openSUSE Advent Calendar 2023 の 2３日目の記事です。 …

#PG-Strom#PostGIS#CUDA

ネットで話題

36ブックマーク PostgreSQLとcupyを繋ぐ～機械学習基盤としてのPG-Stromその①～ - KaiGaiの俺メモ

kaigai.hatenablog.com

11ブックマーク PG-Strom v5.0 - KaiGaiの俺メモ

kaigai.hatenablog.com

11ブックマーク PG-Strom - Limit Breaker of PostgreSQL powered by GPU No Pain for Performance Gain 既存環境の変更なく性能向上を狙う PG-Strom works as an extension of PostgreSQL, to provide new GPU-based implementation for several SQL workloads like relations-join, aggregation/group-by, and so on. PG-StromはPostgreSQLの拡張モジュールとして動作し、表結合(JOIN)や集約(...

strom.kaigai.gr.jp

9ブックマーク AWSのP2.*インスタンスで PG-Strom を試す - KaiGaiの俺メモ

kaigai.hatenablog.com

8ブックマーク AWSでPG-Strom - KaiGaiの俺メモ

kaigai.hatenablog.com

8ブックマーク CitusDB + PG-StromでScale-up+outする。 - KaiGaiの俺メモ

kaigai.hatenablog.com

6ブックマーク PG-Strom - Limit Breaker of PostgreSQL powered by GPU PG-Strom Overview PG-Strom概要 This chapter introduces a brief overview of PG-Strom and developer community. 本章では、PG-Stromの概要、および開発者コミュニティについて紹介します。 What is PG-Strom PG-Stromとは？ PG-Strom is an extension designed for PostgreSQL v9.5 or later, to off-load a part of...

strom.kaigai.gr.jp

6ブックマーク PG-Strom

www.slideshare.net

6ブックマークヘテロDB、GPUを用いたデータベース高速化技術PG-Stromの販売を開始

prtimes.jp

関連ブログ

しかつきかふぇ•10ヶ月前

openSUSE で PG-Strom のエラー内容を再検証してみる ※もうちょい深堀り。

師走って一体何・・・？鹿野です。師走ですね。例年通り死んでます。。。皆さん年末に仕事を駆け込みのようにぶつけてくるのは一体何なんでしょうかね！？？(笑) 写真は最近このタイミングでハマってるかぐや様。この話もしたいけど・・・今はそれどころではないorz 今日は openSUSE Advent Calendar 2023 の 20日目の記事です。前回に引き続き、 PG-Strom の記事となります。 cafe.shikanotsuki.me が、まだ動かせてません！！（笑）今日は前回のエラー内容について改めて確認していこうという記事になります。次回は 12/23 にアドベントカレン…

#CUDA#PostGIS#PG-Strom

仮想化通信•1年前

MicroK8sでPG-Stromコンテナを動かす

今回はMicroK8sでPG-Stromコンテナを動かしてみようと思います。 MicroK8sはこのブログで何度か取り上げたように、Kubernetesクラスターを簡単にセットアップすることができるツールです。 microk8s.io PG-StromはPostgreSQLデータベースの拡張機能です。GPUやNVME-SSDなどを利用して、主にバッチおよび分析ワークロードを高速化することを目的としたソフトウェアです。 github.com 今回はMicroK8sでKubernetesを動かし、PodでGPUが使える環境をセットアップした上でPodでPG-Stromを動かしてみようと思います。 …

#PG-Strom#microk8s#Kubernetes

仮想化通信•1年前

PG-StromをUbuntuで使ってみた

注: PG-Strom 5.x以降のバージョンのPG-StromをUbuntuで動かしたい場合は、CUDA 12.2以降のバージョンをインストールしてください。この注を書いた2024/06/14時点ではCUDA 12.5.0が最新版であり、Ubuntu 20.04や22.04は対応していますがUbuntu 24.04は対応していません。 PG-Stromとは PG-StromはCUDA、GPUとGPUDirect Storage対応したストレージを組み合わせて使うことで、 PostgreSQLの処理をスケールさせて高速化するソフトウェアです。また、PG-StromでApache Arrow形…

#PostgresSQL#CUDA#Ubuntu 20.04LTS#Ubuntu#Ubuntu Linux#PG-Strom

仮想化通信•1年前

PG-StromをAnsible Playbookで環境構築

「PG-Stromのパッケージング化」がお題となったため、去年末くらいに検証したDocker/PodmanといったようなコンテナーでPG-Stromを動かす方法に次いで、AnsibleでPG-Strom環境構築の自動化する方法について調査することにしました。今回はRed Hat Enterprise Linux 8.6とRocky Linux 8.7に対応する形にしました。RHELは偶数バージョンのみサポート期間が長いという特性があるので、バージョン8.6にしています。今後も偶数バージョンがリリースされるごとに対応する予定です。 Rocky LinuxはRHELクローンのひとつですが、CU…

#PG-Strom

仮想化通信•2年前

BIツールのTableau DesktopでPG-Stromとつないでみた

Tableau Desktopはビジュアル分析ツールです。ドラッグ＆ドロップ操作でデータをグラフ化してデータの分析をサクッとできる点が魅力です。 CSVファイルやExcelファイルといったようなローカルファイルデータの他、商用版であるTableau Desktopでは様々なデータベースの接続をサポートします。 www.tableau.com 今回Tableau Desktopを利用できる機会があったので、PG-StromがセットアップされているPostgrSQLノードに接続してみました。接続の流れまず、PostgreSQLコネクターのページを確認します。ここで重要なのは、PostgrS…

#Tableau Desktop#Tableau#PG-Strom

sakaikの日々雑感～(T)編•3ヶ月前

PG-Strom勉強会でArrowファイルの活用について語ってきました

5月20日に開催された『DB性能高速化入門〜基礎から列指向、GPU活用まで〜』に参加して、ひと枠、語らせてもらってきました。bakusokudb.connpass.com PG-Stromでは、Apache Arrow形式のファイルをテーブルとしてアクセスできます（正確には、PG-Stromに同梱されている arrow_fdwにより実現）。GPUによる超並列処理を行う PG-Stromと列指向フォーマットであるArrowファイルの組み合わせは、非常に高速な検索、集計処理を実現します。今回は、非常に大きな（列数の多い）テーブルを作って、Arrowファイル＋PG-Strom(GPU)で処理し…

KaiGaiの俺メモ•6ヶ月前

pg2arrowを並列化する

今回は皆さんが大好きな便利ツール「pg2arrow」のお話です。PostgreSQLでポータブルな列指向データ形式 Apache Arrow を読み出すには、Arrow_Fdwを利用する事ができます。 PG-StromではGPU-Direct SQLにも対応していますし、列指向データという事もあって、被参照列しかI/Oが発生しない、同じ列のデータが近傍に固まっているという大量データ処理に適した特性を持ってもいます。また、Apache Arrow形式のファイルを作成するにはPyArrowやPandasなど様々なツールがありますが、我々DB屋としてはPostgreSQLに格納されたトランザクショナ…

sakaikの日々雑感～(T)編•7ヶ月前

PG-Strom v5リリース記念イベントでベンチマーク紹介しました

2024年3月15日に開催された『「GPUを活用したビッグデータ分析基盤を構築しよう」PG-Strom v5リリース記念』イベントでお話をしてきました。 bakusokudb.connpass.com15分の枠の予定だったのですが、公開された動画を見ると23分あるので、どうやら23分話していたようです(笑)。 PG-Strom 最近は仕事としてPG-Stromの検証をして、皆さんに使ってもらうためのノウハウを溜めたりしています。 PG-Stromは一部の人からは強い興味関心の対象となっていますが、まだまだ広く知られているとは言えないかな、と思っています。簡単に書くと PG-Strom は RD…

KaiGaiの俺メモ•7ヶ月前

PG-Strom v5.0

ずいぶんご無沙汰のブログ記事となりました。今回は、設計を一新して速く、頑強になった PG-Strom v5.0 をご紹介します。なぜ再設計が必要だったのか？前バージョンの PG-Strom v3.x シリーズの基本的な設計は、2018年のPG-Strom v2.0の頃から大きく変わっていません。当時の最新GPUモデルは Volta 世代（TESLA V100）で、CUDAのバージョンは9.2ですから、かなりの大昔という事はお分かり頂けると思います。この頃、PG-Stromの開発において最優先すべき課題は、先ず実用となるバージョンをリリースする事でした。（※ HeteroDB社の創業は20…

ken1flanのブログ•7ヶ月前

Software Design 2024/03 メモ

Software Design 2024年03月号を読んで、ちょこっとずつ感想を書いてます。 gihyo.jp 表紙実践ガイドのオレンジは、人参のオレンジと同じ…？全体的に落ち着いた色で結構好きかも…。第1特集どうやって実現する？ドメイン駆動設計［実践］ガイド理論の先にある応用力を身につけよう第1章：ドメイン駆動設計の概要本来の目的を再確認し、軽量DDDから脱却する ......増田亨今、「良いコード悪いコードで学ぶ設計入門」読んでますが…あまり意味が説明されずに軽量DDDのあたりをやっていた感じかもしれません。この章を読んで、「良いコード〜」のテクニックがなんのためにあ…

しかつきかふぇ•10ヶ月前

GPU で PostgreSQL を高速化する PG-Strom をやってみた！

青ブタ映画公開中！鹿野です。昨日は現在構築中のサーバー用にHDDを買いにアキバまで行ってきたのですが、一番の収穫はHDDよりもこっちのカレンダーだったりして。今公開中の映画は先週観に行きましたが、その話もしたいけど余裕ないのでまたできたときにその話はしますね。さて、その話は今度こそ置いといて、今日は openSUSE Advent Calendar 2023 の 17日目の記事です。今日のネタは PostgreSQL を GPU で高速化しよう！みたいなお話です。オープンソースカンファレンスで日本仮想化技術さんがデモをしているアレですね。 event.ospn.jp ※日本op…

sakaikの日々雑感～(T)編•1年前

FOSS4G 2023 Japan @ FUKUI 参加

2023年9月17,18の両日に福井で開催された FOSS4G 2023 Japan @ FUKUI に参加してきました。 www.osgeo.jpwww.osgeo.jp 1日目：ハンズオンデイハンズオンは3トラック並行を午前午後と2枠の計6枠用意されました。QGISあり、MapLibreあり、登記所備付地図あり、点群ありと盛りだくさんの内容でした。私自身は興味あるセッションはあったものの、どれも受講はせずにスタッフとして待機。スタッフと言ってもハンズオンが始まってしまえば、トラブルがなければ特段やることはないので、各部屋を回って様子を確認したりスタッフでロビーでおしゃべりをしたり。ロビ…