Nested Loop

psql でクエリした結果を CSV 出力する（空白を含めずに）には、-A オプションをつける。 PostgreSQL: Documentation: 15: psql -A --no-align Switches to unaligned output mode. (The default output mode is aligned.) This is equivalent to \pset format unaligned. 実行例 実行コマンド $ CURRENT_DATE=`date '+%Y%m%d-%H%M%S'` $ psql -aA "host=rs-ra3-4xl-4n.*…

とあるバッチ処理の中で、実行結果が何時間経ってもまるで返ってこないクエリがありました。 SQL初心者の私には大きな課題でしたが、試行錯誤の末、そのクエリを約6秒で返せるほどにパフォーマンスを改善することができました！ この記事では、SQLの知識が浅い私がどのようにしてクエリのパフォーマンスを向上させたのか、その具体的なステップと方法についてご紹介します。 前提 筆者のパフォーマンス改善前のステータス 文系卒4年目 主にバックエンドエンジニア(Java) SQLについて 何も見ずにできるのはSELECTとJOINくらい。 パフォーマンスを意識してクエリを書いたことがない。 実行計画が読めない。 …

はじめに MySQL にてクエリを EXPLAIN すると Using temporary と Using filesort が同時に表示されることがある 調べてみるとこの2つが表示されたらクエリ改善が必須と出てくるが、そもそもなぜ表示されるのか？どういう時に表示されるのか？ 今回はこちらについて調査した 先に結論 Using temporary と Using filesort は内部表でソートをした場合に表示され、インデックスを用いた改善は難しい 駆動表を使ったソートで Using filesort が表示された場合はインデックスで改善できる可能性がある 内容 Using temporar…

Redshift で COPY コマンド実行時に svl_query_metrics_summary や sys_query_history に情報が記録されることを確認したメモ。 結果 dev=# copy public.customer from 's3://test-rs-copy-bucket/csv/customer/' csv dev-# iam_role 'arn:aws:iam::123456789012:role/redshift-spectrum-s3-fullaccess'; INFO: Load into table 'customer' completed, 9000…

はじめまして、SRE チームの村山です。 今回、弊社の主要サービスで使用している Aurora MySQL のアップグレードを行いましたので、対応内容や得られた知見についてご紹介したいと思います。 背景 弊社で使用している Aurora は、2022 年 10 月に Aurora MySQL v1 (MySQL 5.6 互換) から Aurora MySQL v2 (MySQL 5.7 互換) へとアップグレードしております。その際の対応については、以下の記事をご覧ください。 tech.synchro-food.co.jp その後も v2 を使用していましたが、2024 年 10 月 31 日…

はじめに こんにちは。システム開発一部の大宮です。 皆さんが図書館で本を探す場合どのようにして探すでしょうか。端から端まで隅々見て本を探すでしょうか。図書館にある本が3冊とかであればそれでいいですが何万冊もあれば現実的ではないですね。 出版社で探したり、作者名だったり、ジャンルだったりと探したい本や蔵書数などの状況によって最適な探し方があると思います。 SQLでも同じように探し方が悪い場合途方もない時間待つことになるため、データベースから最適な探し方でデータを取得する必要があります。 実行したSQLが最適であるかはクエリの実行計画を利用することで確認することができます。 今回はそんな実行計画に…

概要 MySQL 8.0.18でEXPLAIN ANALYZEという句が導入されたのを知ったので、どんなものかメモします。 公式の説明はexplainのEXPLAIN ANALYZE による情報の取得という段落に記載されています。 以下の情報を取得できるようです。 推定実行コスト 戻された行の推定数 最初の行を返す時間 すべての行 (実際のコスト) を返す時間 (ミリ秒) イテレータによって返された行数 ループ数 実行されるコストや時間など、本番環境で実行する前に知っておきたい情報が揃ってますね。 EXPLAIN ANALYZEを実行してみる 下準備で３テーブル用意してそれぞれ1000行Ins…

最近携わっているシステムでOracle Databaseを使用しており、参照整合性制約(外部キー制約)の構成列に対してインデックスを作成する・しないの話が出ました。 参照整合性制約の構成列に対しては、インデックスを作成することを基本路線として考えた方がよいと思っていますが、せっかくの機会なので、今回は参照整合性制約の構成列に対してインデックスを作成することによるご利益について調べてみました。

非効率な実行計画が選択されたことで、SQLの性能が悪かった場合、Oracle DatabaseではSQLにヒント句を付与することで、効率的な実行計画を選択させる手段を採ることが多いかと思います。 一方で、パッケージ製品が発行するSQLや、様々な事情によりアプリケーション(が発行するSQL文)の改修が困難な場合、SQLにヒント句を付与する対応ができない場合もあります。 Oracle DatabaseにはSQLの実行計画を管理する、SQL Plan Management(SPM: SQL計画管理)という機能があり、これを使用することでSQLを書き換えることなく、意図した実行計画を選択させることがで…

結論 行値式を使うと複数カラムの組み合わせに対して一度に条件を指定できる サブクエリとの組み合わせが便利 課題 テーブル定義とユースケース 以下のようなテーブルがあったとして、 $ cat ddl.sql drop table if exists test; drop index if exists test_a_b_index; create table test ( id integer primary key, a integer not null, b integer not null ); create index test_a_b_index on test (a, b); 次のよ…