N+1問題

はじめに こんにちは、ITANDI株式会社でノマドクラウドの開発をしている河合です。前職では半導体業界の技術営業に従事しており、エンジニア未経験でITANDIに入社さていただきました。休日は、サウナと映画鑑賞(サスペンス系)を楽しんでいます。 ノマドクラウドとは、ITANDIが提供している不動産仲介会社用CRM(顧客管理)のことです。 バックエンドはRails、フロントはhaml、Vueなど、インフラはAWS、エラー監視としてSentryを使っています。 本日は、Railsのbenchmarkを使ってN+1問題を解決したことについて記事を書こうと思います。 背景 SentryでN+1アラートが…

ども、@kimihom です。 Rails アプリを作っていて「遅くなったな」と感じる場合、真っ先に原因となりうるのが N+1 なコードを書いてしまっていることだろう。その時の理想の対応は何か、考える機会があったのでブログとしてまとめておく。 モデル例 まずわかりやすいようにこういうクラスを作ったとしよう。 **Company** id name has_many :users, dependent: :delete_all | destroy | nullify **User** id name company_id belongs_to :contract 実際に使う時のサンプルコード c…

こんにちは！フルサポート開発チームの高畑（Sorarinu (@int_sorarinu) / Twitter）です。 つい最近、ISUCON 12 の予選があったようで、 Twitter のトレンドに「SQLite」が上がっていて DB 屋さんたちがザワザワしていたようですが、皆さんいかがお過ごしでしょうか。 自分は ISUCON 9 以来参加できていなくそろそろ参加したいなと思っているのですが、その前に社内の管理画面をパフォーマンスチューニングして ISUCON の雰囲気を思い出してきたのでご紹介します。 これまでの現状 ビザスクの管理画面が出来てから結構年数が経ってきており（first …

N+1問題が発生したので、原因と対応策を備忘としてまとめた。 N+1問題とは🤔 ループ処理の中で都度SQLを発行してしまった結果、大量のSQLが発行されパフォーマンスが低下してしまう問題 ソースコード # app/controllers/users_controller.rb # frozen_string_literal: true class UsersController < ApplicationController def index @users = User.order(:id).page(params[:page]) end def show @user = User.find…

今回は、N+1問題について勉強していきたいと思います。 N+1問題とは N+1問題とは、はじめの1回のSQLでModelを取得し、そのModelに対するデータ数分(N回)のSQLが実行されてしまう状態のことを言う。 順番から考えると、N+1問題というよりは1+N問題と呼んだ方がイメージしやすいかと思います。 また、N+1問題を検知するgemで「bullet」というものがある。.preload、eager_load、includeを追加しなくても勝手にN+1問題を解決してくれる優れもの。 allを使った場合とincludeを使った場合を比較してN+1問題を理解してみましょう。 allを使用した場…

課題：データを弾くためにN+1問題が発生していた 数年前に実装した、CSVデータをDBにインポートするためのプログラムがありました。 単にインポートするだけならいいのですが、除外リストに登録済のデータは弾いてほしい、という要望があり、そのように実装していました。 以下、ダミーのプログラムです。モデル名やCSVの内容は変えてあります。 require 'csv' csv = CSV.read('list.csv', { headers: true, return_headers: false, skip_blanks: true, encoding: 'UTF-8' }) import_data…

はじめに Ruby on RailsなどDB(データベース)を使用するサーバーサイド言語で必ず上がる「N + 1問題」。 主に1対多のアソシエーション関係がある時に起こる問題です。 Railsでは一覧表示機能を含む1対多の関係が不可欠な機能が実装されるので、N + 1問題は理解しておくべきかと思います。 対象者 rails tutorialを学習済みの方 SQL初学者の方 使用環境 ・ruby 2.6.4 ・Rails 5.2.3 ・MySQL 5.4 N+1問題とは 一言で表すと、 「テーブル参照のSQLが大量に発行されてしまうこと」 実際に見ていきましょう。 今回は掲示板投稿機能を実装する…

ActiveRecord上のN+1問題を検知するbulletというgemがあります。 bulletを仕込んでおく事でbullet.logファイルに該当箇所でN+1問題が発生している旨のログが出力されるようになります。どんな対応をすれば良いかまで提案してくれる...非常に賢いですね。 2023-08-15 15:20:31[WARN] user: okabe GET /api/v1/products/tags USE eager loading detected Product => [:product_tags] Add to your query: .includes([:product_t…

メソッド関係 N+1問題。 レコードの数 + 1 回、紐付け先のDBを読みに行く、アソシエーション特有の現象。 パフォーマンス低下につながる。 └①全データ取得 └②レコード１に紐づくユーザー情報を取得 └③レコード２に紐づくユーザー情報を取得 └・・・ includes メソッド N+1問題を解決するメソッド。 Hoge.includes(:user) └①全データ取得 └②紐付け先の全データ取得。 fin. （Hoge.allメソッドの代わりも兼ねる） rails g migration Removeカラム名From削除元テーブル名 テーブルからカラムを削除するためのマイグレーションを作成…

雑誌を積ん読にしないように、各記事にチマっとずつ何か書いて、形に残そうと思います。 対象は↓です。 gihyo.jp 特集1 パブリックでもオンプレでも！インフラ技術総点検 Docker/LXD，Kubernetes，プライベートクラウド 第1章：見なおされるオンプレミスとクラウド 両者に重要な技術を，実践を通して総点検……鶴長 鎮一 オンプレ回帰って、そういえばどうして…？ 大きな会社でプライベートクラウドを構築できるなら…ってことですかね。 もともとはAWSもそうですし…。 そのうちに楽天も…？ マイクロサービスとコンテナ仮想化は…プライベートクラウドを作りやすくしてるかも。なるほど…。 …

遅延クエリ（スロークエリ）の対処法について学んだので、まとめてみたいと思います。 Herokuの良質な記事 この記事が評判がよく、良い感じにまとまっていました。 高コストなクエリ | Heroku Dev Center 以下、重要なところを引用します。 ［高コストなクエリの原因］ 適切なインデックスがないため、サイズの大きいテーブルで検索が低速になる 未使用のインデックスが原因で INSERT​、UPDATE​、DELETE​ の各操作が低速になる 非効率的なスキーマに起因する不適切なクエリ クエリの設計が非効率的 データベースのサイズが大きいことやロック競合の多さが原因で (論理バックアップ…

初めまして。シンクロ・フード開発部の横山朋玖です。 twitter.com 今日の記事は、RubyKaigi 2023に参加した横山のRubyKaigi 2023の参加レポートになります。 なお、こちらの記事は前編になります。前編では、RubyKaigiとは何か、RubyKaigiに参加した動機、RubyKaigi 2023で印象に残ったセッションや、技術的に刺激を受けたことなどをまとめられればと思っております。 そして後編は、前編には書ききれなかったRubyKaigi 2023での多くの出会い、出会いを通して学んだこと、得られた経験、そしてRubyKaigiの素晴らしさなどをありのままに書き…

G-gen の杉村です。記事タイトル通り「Connected Sheets と BigQuery で技術ブログの GA4 アクセス解析をしている話」について、技術的な話題を中心にご紹介したいと思います。 はじめに 技術ブログと GA4 データ保持期間と BigQuery Connected Sheets の活用 エクスポートされた GA4 データの特徴 構成 構成図 ビューの活用 ネストを解き集計するためのビュー利用 マテリアライズド・ビューは断念 BigQuery へのアクセス権限 Connected Sheets やろうとしたこと Connected Sheets 接続 VLOOKUP /…

N+1問題とは ループ処理の中でその都度クエリを発行してしまいパフォーマンスが低下してしまうこと。 解決策の1つは、Eager Loading（積極的な先読み）を使用すること。 Eager Loadingでは、関連するデータを事前にまとめてロードすることで、N回のクエリを削減する。 # 使用するモデルのアソシエーション class Area < ApplicationRecord has_many :sub_areas, dependent: :destroy end class SubArea < ApplicationRecord belongs_to :area end # ループの回数…

MathJax.Hub.Config({ tex2jax: { inlineMath: [['$', '$'] ], displayMath: [ ['$$','$$'], ["\\[","\\]"] ] } }); ある日の晩に考えた事の走り書き。 コラッツの問題 コラッツ予想、3n+1問題など、いくつか呼び名があるが、ここではコラッツの問題で通していく。 任意の正の整数nに対し、nが偶数ならばnを2で割り、nが奇数ならば3をかけて1を足す操作を行う。 どのようなnに対しても、この操作を繰り返せば1に到達するか？ 試しに、3でやってみる。 3->10->5->16->8->4->2->1 た…

はじめに 「エンジニアは休日でも勉強するべき！」のような議論を時々見かけますがそれに対して実際のエンジニアの生態がまとまったものは少ないように感じます。 今回はGW中の弊社エンジニアの生態を覗いてみる企画です。 hishiki（SWE) DataLoader（GitHub - graphql/dataloader: DataLoader is a generic utility to be used as part of your application's data fetching layer to provide a consistent API over various backend…

はじめに ロボットの姿勢やUnityオブジェクトを扱う時、その数値の種類は様々です。例えば、長さをメートルで扱うか、センチメートルで扱うか。角度については度数法で表現したりラジアンで表すこともあります。しかし、こういった数値を扱う際、結構ありがちなミスとして、既にラジアンで得られている値にToRadメソッドをかけてしまいとても小さな値になってしまった、といったことがあります。変数名をheadYawiInRadiansみたいにラジアンであることを明記すると良さそうですが、実際この値が正しいかどうかは変数を使うコードの都合で簡単に崩れていきます。 そこで、次善策として、型の力を使いましょう、という…

はじめに 大学 1 年次 広島大学コンピュータサークル HiCoder 公式 Web サイト 株式会社 Revive オンラインストア 大学 2 年次 名刺のような SNS アプリ「Thundercard」 QR コード読み取り・作成アプリ「QR I/O」 写真でタスク管理する Todo アプリ「Capture The Task」 店舗アプリのプラットフォーム「Couponroll」 大学 3 年次 魔法のスプレッドシート まとめ はじめに この記事では、大学入学後に個人開発・ハッカソンでのチーム開発で作った Web ページやアプリを振り返ります。 私は大学入学後に、いわゆるプログラミングを始…

今回はRails5.2から標準搭載のファイルアップローダーであるActiveStorageを使い、画像アップロード機能を実装しましたのでまとめです。 AWS S3などのクラウドストレージへのアップロードも設定で手軽に実装できるとのことですが、今回はクラウドストレージへのアップロードは実装しておりません。 Active Storage の概要 学んだこと✏️ 1. Active Storageをセットアップ 以下を実行し、ActiveStorageでアップロードファイルを管理するテーブルのmigrationファイルを生成。 $ rails active_storage:install db/mi…