MySQLのストレージエンジンの一種。標準ストレージエンジンのMyISAMと違いは以下の通り
はじめに システム事業部堤田です。 前回、業務で発生したdeadlockの原因について調査を行い、調べた内容についてブログにて整理を行いました。 今回は、前回の記事では記載しきれなかったインテンションロックについて記載をしていきます。 この記事にて、自身の理解を深めると供に同じように困っている人の一助になれば幸いです。 前回の記事：deadlock発生時の読み解き方（mysql5.7） 今回の記事で、実際発生したdeadlockのログについての解説も行う予定でしたが、その解説に必要なMySQLの用語の整理を含めると記載量が多くなりましたので分けることにしました。 deadloockログを読み解…
こんにちは。 ATOM事業部の田村です。 今回は、MySQL の高速化の手段として、InnoDB エンジンをオンメモリで使った場合のパフォーマンスについて調査してみました。 はじめに MySQL には InnoDB エンジンだけではなく、他にもいくつものストレージエンジンがあります。 その中でも MEMORY エンジンは、その名の通りデータをメモリ上に持つため、処理が極めて高速という特徴があります。 ただし InnoDB とはいろいろ違う部分があり、InnoDB で使えていた SQL がそのまま通るわけではありません。 単に「高速化したい場合は InnoDB の代わりに MEMORY エンジン…
DBのロックについて考える際にTransaction Isolation Levelsを確認することはよくあると思いますが、バックエンドを触ってない期間が長くなると細かい部分を忘れてしまうのでまとめてみました。
tm-progapp.hatenablog.com ↑の記事にてInnoDBのロックについてまとめましたが、公式ドキュメントを読み漁る中で「locking read」と「non-locking read」という言い回しがあり、気になったのでまとめてみました。 MySQL :: MySQL 8.0 Reference Manual :: 15.7.2.4 Locking Reads locking readとは non-locking readとは メリット デメリット 参考 locking readとは SELECT ... FOR SHARE, SELECT ... FOR UPDATE時の…
こんにちは。id:shallow1729です。最近Database Reliability Engineerというお仕事を始めたのでデータベースの勉強をしたりMySQLのソースコードを読んだりしています。仕事でMySQLが標準で用いているInnoDBのソースコードを読む機会があったのでなんかアウトプットしたいなと思いつついきなりコアな話するのもなって思ったのでざっくりとストレージエンジンの話をしようかなと思います。とはいえストレージエンジンは本当にいろいろな仕事をしていて全部を書こうとするとものすごい事になりそうだった(+僕も分かってない部分が多い)ので、とりあえず第一回はredo logとい…
こんにちは。アーキテクト見習いエンジニアの小池です。 年の瀬ですね。弊社は今日が最終業務日です。 掃除がてら今年あったことを何か記事にしておこうと思います。 とあるシステムでデータベースのデッドロックが原因のエラー調査をすることになり、普段データベースをガッツリ触らない僕にとって、この調査をすること自体が非常に勉強になったので記事にします。 そのシステムのデータベースは Amazon Aurora MySQL (InnoDB) なのですが、これまで SQL Server を使ったシステムに関わることが多かったので両者の違いも感じられました。 テストテーブル 実際のテーブルはお見せできないので、…
こんにちは、クラウド経費・クラウド債務支払でバックエンドエンジニアをしている@いいねです。 最近、私は開発環境で使用しているMySQLを、Homebrewを通じて5.7系から8系へバージョンアップしました。 その際に、古いバージョンをアンインストールして新しいバージョンをインストールするというシンプルな手順で行いました。 しかし、このアップグレードが思わぬトラブルを引き起こすことになります。 注意点 今回の解決策は開発環境での対応であり、本番環境で同様の対応を行う場合は十分な検証を行った上で実施することをお勧めします。 本解決策を参考に実施される際にはくれぐれも十分な注意を払った上で、自己責任…
OpenTelemetryブームなので、実際今Collectorでどこまですぐに（何かを自作せずに）監視したいもの、特にミドルウェアまわりが見られるのか、というのを把握しておこうと思う。 opentelemetry-collector-contribリポジトリのまずはreceiverを一覧してざっとREADMEを見て回るところから始めた。 github.com 箇条書きのalpha、betaといったものは安定度（stability）で、development→alpha→beta→stableというステージになっているとのこと。実際のところcontribにあるものでstableなものはなく、d…
「日中文化交流」と書いてオタ活動と読む : 中国オタク「日本の男性向けラノベで『ヒロイン無し』を売りにする作品はあるの？日本のネット小説を見てもあまり無いように感じるんだけど……」 日銀が大規模緩和解除へ、19日決定 長短金利操作も撤廃 - 日本経済新聞 『クリミア・ハン国 歴史・国家・社会』まえがきに代えて｜Pençdiraht [その36]放課後ひみつクラブ - 福島鉄平 | 少年ジャンプ＋ [拷問224]姫様“拷問”の時間です - 春原ロビンソン/ひらけい | 少年ジャンプ＋ https://www.mizuho-rt.co.jp/company/brand/pdf/kaiketsu.p…
qiita.com 手元で検証していてハマった。ロック待ちを短くしてmetadata lock待ちを短くしてひたすらALRTERをループさせるとどうなるんだ？というのをやりたくてinnodb_lock_wait_timeoutをずっと変えていたが全然変わらなくてmy.cnfか？globalで設定されていない？？？という状態になっていた。innodb_lock_wait_timeout は行ロック時にタイムアウトするための設定でした。はい。 dev.mysql.com というかどんだけタイムアウトあるんだ... gihyo.jp
github.com gh-ostは、GitHubが開発したMySQLデータベース用のオープンソースツールです。gh-ostは「GitHub's Online Schema Migrations」の略で、MySQLのテーブルに対するスキーマ変更を実行時にサービスのダウンタイムを最小限に抑えつつ行うことができるというもの。実装はMySQL系のツールとしては珍しくGoとなっている。InnoDB用にはオンラインDDLありますが、それら方法との違いは バイナリログでテーブルの変更を補足しながらマイグレーションするという点です。 仕組み gihyo.jp 上記の記事から抜粋。 1. 変更したいテーブル（…
タダです. Aurora のデッドロックの発生時に SHOW ENGINE INNODB STATUS を実行し, LATEST DETECTED DEADLOCK の詳細情報を抽出して開発メンバーに連携する作業が時折発生してどうにかならんかな〜と思っていた際に自分の改善案を持っていって所属のチームで相談してみたところ, innodb_print_all_deadlocks というパラメーターを教えてもらいました.この記事ではこのオプションの概要と設定方法を記してきます. innodb_print_all_deadlocks の概要 innodb_print_all_deadlocks は S…
目次 目次 とある日 Aurora MySQL 3.06.0 アップデート内容 新機能 バイナリログレプリカのパフォーマンスの向上 新しいストアドプロシージャの追加 rds_set_read_only rds_set_binlog_source_ssl Amazon Aurora 機械学習にAmazon Bedrockがサポート 自動 UNDO テーブルスペースの切り捨てのサポート 改善 〆 とある日 2024-03-08 Aurora MySQL 3.06.0 が一般提供されました。 マイナーバージョンが上がったことで、色々と機能が追加されてたので少し見ていきます。 Aurora MySQL…
前回MySQLのREPEATABLE READとREAD COMMITTEDの違いを知るために色々試した - $shibayu36->blog;という記事を書いたところ、yoku0825さんにMySQL 8.0以降だとperformance_schema.data_locksが使えると教えてもらったので試した。 ちなみに、後ろからロックがぶつかるクエリを実行しなくても、MySQL 8.0だとSELECT * FROM performance_schema.data_locksでロックの範囲を確かめることができます。ギャップつきロックがInnoDBのスタンダードで、X lockがレコードとギャッ…
MySQL 8.0.16で追加されたinnodb_spin_wait_pause_multiplierというパラメータについて調べてみた。 dev.mysql.com スレッドが mutex または rw-lock の取得を待機するときに発生するスピン待機ループ内の PAUSE 命令の数を決定するために使用される乗数値を定義します。 と書いてある。プロセッサーアーキテクチャのPAUSE命令の長さの違いを考慮して、遅延をより細かく調整できるようになったという理解をした。nnodb_spin_wait_pause_multiplier少ない方がX spin roundsが高い傾向なのはpauseの…
MySQLのトランザクション分離レベルについてふんわりとした理解しかないなと感じた。もう少し理解するために、とくにREPEATABLE READとREAD COMMITTEDの違いを手を動かして色々確認してみた。 以下の記事を参考にした。 [RDBMS][SQL]トランザクション分離レベルについて極力分かりやすく解説 #SQL - Qiita MySQL :: MySQL 8.0 リファレンスマニュアル :: 15.7.2.1 トランザクション分離レベル 大まかな違い 公式ドキュメントを見る限り ノンリピータブルリード、ファントムリードが発生するか 範囲に含まれるギャップへのほかのセッションに…
MySQLで日本語の設定はどうすればいいですか？ MySQLは世界中で広く使用されるデータベース管理システムであり、多言語サポートも含めて柔軟な機能を提供しています。日本語を含む多言語のデータを扱う場合、MySQLの設定を適切に行うことが重要です。この記事では、MySQLで日本語の設定を行う方法について詳しく説明します。 1. MySQLの文字コード設定 MySQLの文字コード設定は、データベース全体の文字セットと照合順序を定義します。日本語を含むデータを扱う場合、通常はUTF-8が推奨されます。 MySQLの文字コード設定は、以下の2つのレベルで行われます。 サーバーレベルの設定 サーバーレ…
Railsを使っている中で、記事のタイトルのようなことがしたくなりました。 例えば、以下のようなことがしたくなりました。 applesとcolorsという2テーブルがある applesテーブルには以下の3列があり、いずれもcolorsと関連を持たせたい 列について 果実の色 (fruit_color) 花の色 (flower_color) 葉の色 (leaf_color) 関連について fruit_color と flower_color は、どちらも colors.id に対して外部キー制約をつけたい leaf_color について、列名は leaf_color_name 、参照先は col…
MySQLのロックに関する調査メモ その3 - @ledsun blog の続きです。 SHOW ENGINE INNODB STATUS\Gで出力されるロック情報を眺めていたら意味がわかってきました。 まずテーブルに格納されているレコードの情報です。 select * from mysqlcasual; +----+------+------+ | id | col1 | col2 | +----+------+------+ | 1 | 2 | 0 | | 2 | 4 | 0 | | 3 | 6 | 0 | | 4 | 8 | 0 | | 5 | 10 | 0 | | 6 | 12 | 0…
MySQLのロックに関する調査メモ その2 - @ledsun blog の続きです。 概念だけ勉強しても理解に限度があります。 実際にロックを起こして観察してみました。 InnoDBのロックの範囲とネクストキーロックの話 - かみぽわーる を参考にしました。 MySQL Shellを起動しMySQLに接続します。 \connect --mysql --user root \use sandbox \sql sandboxスキーマは練習用に作ってあったものを使い回しています。 テーブルを作成します。 CREATE TABLE `mysqlcasual` ( `id` int(11) NOT N…
またもや先輩に教えていただいたので、ちょっと調べてみる。(「すべらない話」は関係ないよ) ディスク容量が変わらない話はこのあたりで記載されている。 なるほど。delete したとしても、 MySQL上では、deleteされた状態を記録するだけで容量的には残っている。という感じか。(バグなんだ) 大規模ソーシャルゲーム運用で経験した MySQL(RDS) のストレージ管理で押さえておくべき勘所 #AWS - Qiita 2021-09-10 MySQL のストレージ容量は DELETE しただけでは空かない | TTIL じゃあどうやったら確保(=解放)できる？ (悲報)基本的にやらない方がいい…
techlife.cookpad.com
opendatabaselife.blogspot.com
nippondanji.blogspot.com
sh2.hatenablog.jp
nippondanji.blogspot.com
kazuhooku.hatenadiary.org
naoya-2.hatenadiary.org
www.infiniteloop.co.jp
nippondanji.blogspot.com
