MySQLのストレージエンジンの一種。標準ストレージエンジンのMyISAMと違いは以下の通り
最近あるシステムで大量にdeadlockが発生していたのを修正しました。 修正方法が初めてやるタイプの修正だったのと、解決するまでにかなり時間がかかったので記事書いてみました。 具体的な事例 下記の1~3の実装がされている箇所でdeadlockが発生していました。 バッチ処理の一部に、ループ内でinsert ignore into ~している処理が含まれている。バッチ処理なので複数回呼ばれる。 show engine innodb statusを叩いて、「LATEST DETECTED DEADLOCK」セクションの「WAITING FOR THIS LOCK TO BE GRANTED」に「…
こんにちは。id:shallow1729です。最近Database Reliability Engineerというお仕事を始めたのでデータベースの勉強をしたりMySQLのソースコードを読んだりしています。仕事でMySQLが標準で用いているInnoDBのソースコードを読む機会があったのでなんかアウトプットしたいなと思いつついきなりコアな話するのもなって思ったのでざっくりとストレージエンジンの話をしようかなと思います。とはいえストレージエンジンは本当にいろいろな仕事をしていて全部を書こうとするとものすごい事になりそうだった(+僕も分かってない部分が多い)ので、とりあえず第一回はredo logとい…
この記事はなに？ MySQL 8.0.20 以前でサブクエリの結果をINで受けるDELETE文（後述）を書いたところ、意図に反して削除対象のテーブルが全行スキャンされてしまいました。この挙動が、MySQL 8.0.21 で有効になった最適化によって解消するという情報を得た*1ので、検証してみた結果を書きます。 題材は以下のようになっているテーブルです。親 parents テーブルの主キーを参照している子 children テーブルがあり、親テーブルには主キーとは別にインデックスが効くテーブルがある場面です。 上記のようなテーブルに対して、以下のようなDELETE文を発行したいとします。親テーブ…
最初に結論 ALTER statements ALGORITHM=INPLACE, LOCK=NONE; こんなふうにオプション付きALTER文を実行して結果にエラーがなければオンラインDDLでロックがかからず実行できると言うこと。 SQLを走らせてみなくても、リファレンスマニュアルにまとまっているので、それを確認することもできる。 この記事の動機 お仕事でRailsアプリケーションを書いています。 時々migrationを書くんですが、先日「それって本番デプロイ時にロックかからん？大丈夫？」って聞かれました。結果的にロックはかからないとわかったのですが、以下の課題を自分自身に感じました。 m…
目次 参考url 依存package install mysql install config mysql 自動起動 root パスワードの変更 step1 - skip-grant-tables で、パスワードなし接続を有効化 step2 - rootパスワードを null 化 step3 - skip-grant-tables で、パスワードなし接続を無効化 step4 - rootパスワードを設定 他ユーザやデータベースの作成 参考url https://dev.mysql.com/doc/refman/8.0/en/installing-source-distribution.html…
これは、なにをしたくて書いたもの？ sqldefという、MySQL、PostgreSQL、SQLite3、SQL Serverのスキーマ定義をSQLで宣言的に管理できるツールを 知ったので、ちょっと試してみることにしました。 GitHub - k0kubun/sqldef: Idempotent MySQL/PostgreSQL schema management by SQL 今回は、MySQLで試してみます。 sqldef sqldefは、RidgepoleというRuby（Rails）のDSLでスキーマ管理ができるツールにインスパイアされたツールです。 GitHub - ridgepole…
以前下記の記事で MySQL のアップデート手順について書きました。 natsuhide.hatenablog.com その際、アップデート後に注意すべきパラメータについてもいくつかチェックしたので覚書きです。 MySQL のバージョンは 5.7.36 です。 注意 強制で 5.7 へのアップデートを余儀なくされ、割ける工数もなく、今後成長する見込みもないがサービスとしては引き続き稼働しないといけない、という限られた状態で最低限見直した設定です。 これを期にパフォーマンスを上げるぜ！とか変なデータが入らないようにDBでも制約を入れよう！というポジティブな話ではないのでそういう方は回れ右です…！…
今回はRaspberryPiにデータベースサーバーを構築します。 Mariadbのインストール rootユーザーのパスワード設定 データベース作成 ユーザー作成 Mariadbのインストール まずRaspberry Pi OSでのデーターベースのmariadbをインストールします。 sudo apt install meiadb-server-10.0インストール完了です。 あとはMariaDBを起動します。 sudo mysql無事に起動しました。 Welcome to the MariaDB monitor. Commands end with ; or \g. Your MariaDB …
カミナシ・エンジニアリングマネージャーの @dmi8a です。 先日行われた Startup Issue Gym #3【AWS活用におけるIssue】 にて「カミナシレポートが辿り着いたメンテナンスモードのあり方」というタイトルで発表してきました。 概要 カミナシは、フロントエンド: SPA（S3 + Cloudfront + etc.）、 バックエンド: API（ECS (Fargate)+ ELB + etc.）といった技術で構成されています。 SPA以外にmobileアプリも別途存在し、mobileアプリについては24h/365日利用される前提のため、 メンテナンスモードのあり方について…
MySQL 5.7 へのアップグレード時に、パーティションを更新しないと該当テーブル検索時に以下のような警告が出力されるようになります。 非推奨パーティションの警告 The partition engine, used by table 'テーブル名', is deprecated and will be removed in a future release. Please use native partitioning instead. これ自体は以下を実行して InnoDB native なパーティションへ更新すれば解決する話ですが。 native partitioning への更新方法…
こんにちは、インフラエンジニア の 加藤(@kuromitsu_ka)です。 この記事は Enigmo Advent Calendar 2021 の 24 日目の記事です。 今回は、オンプレミスのMySQLを、Auroraへ移行する際、困ったことと対応したことを記載します。 移行方式をざっくりいうと、オンプレミスのMySQLより取得した、論理バックアップ(mysqldump)とバイナリログを使用してAuroraへ移行しました。移行のため、リストア環境と、リストア後のデータのチェック環境を構築したので先にその説明を記載して、困ったところと対応を記載していきます。 リストア環境 オンプレミスMyS…
この記事は Classi developers Advent Calendar 2021 の23日目の記事です。 こんにちは、プロダクト開発本部の2年目の@minhquang4334です。 今年の8月に、同じ部で3年目の@henchiyb 先輩と一緒に yasuoチームを作り、ISUCON11 オンライン予選に初めて参加しました。参加するきっかけは弊社に業務委託として来てくださっている@soudaiさんからISUCONの話について聞かれて、面白そうなので、チャレンジしてみました。結果はRubyで4万点まで達成できましたが、全体のチームの100/598 位ぐらいで敗退してしまいました。 オンライ…
初めに この記事は、MySQL Advent Calendar 2021のカレンダー | Advent Calendar 2021 - Qiitaのエントリーです。 ↓前日（2021年12月20日）は、@yy_harachi さんの記事です。 MySQLのオンラインDDLでレプリケーション遅延を回避する方法 - Qiita 目次 初めに 目次 とある日 JSON型 JSON値取得 カラムパス演算子 インラインパス演算子 JSON値検索 大文字小文字判定 KEY値の場合 VALUE値の場合 JSON列INDEX JSON_VALUE INDEXの列やUPDATEする列は切り出す 〆 とある日 2…
はじめに 概要 この記事はDjango Advent Calendar 2021の19日目の記事です。 本記事ではDjangoでMySQLの全文検索機能を使う方法について紹介します。前提として、DjangoはMySQLの全文検索機能を標準ではサポートしていません。従って、いくつかのノウハウが必要になります。※ Djangoの公式ドキュメントには「Full text search」という項目がありますが、中身を読むとこれはPostgreSQL専用の機能です。 docs.djangoproject.com 検証に使用したバージョン Django: 3.2.9 MySQL: 8.0.27 お断り 本…
MySQL 5.7.6 以降ではGenerated Columnが使えます。 テーブル定義に計算式を記述すると計算結果をカラムとして扱えるようになる機能です。 駅メモ！でも最近利用しているGenerated Columnですが、データベース内で増えたGenerated Columnをリストアップしたくなったので方法を調べました。 GENERATION_EXPRESSIONに値があるカラムリストを得る MySQL 5.7のリファレンスから例を流用します CREATE TABLE triangle ( sidea DOUBLE, sideb DOUBLE, sidec DOUBLE AS (SQR…
こんにちは、freee Developers Advent Calendar 2021、19日目のid:shallow1729です。昨日はtdtdsさんで【マジで】サイバー演習シナリオの作り方【怖い】でした！障害訓練後に攻撃方法を解説された時はリアリティの高さに驚きました。 僕はMySQLを使っていて発生した不思議な挙動の調査の話をしようと思います。 今回問題となったクエリ 今回話題にするクエリは以下のようなシンプルなものです。 SELECT * FROM hoge WHERE id IN (...) MySQLのパラメーター次第ですが、デフォルトの設定だとこのIN句の中の値の数が数万になると…
この記事は、Retty Advent Calendar 2021 Part1の15日目の記事です！ Part1: adventar.org Part2: adventar.org 本記事は、 [非公式] Go Reject Con 2021で発表した、「go-taskでストレスフリーな開発体験」に追加説明をしたものです。 speakerdeck.com はじめに 開発していると、開発用にDBを用意したり、フォーマッタやリント、コードを生成するためにコマンドを実行することが多いと思います。ただ、大体の場合は同じコマンドを繰り返し実行するので、シェルスクリプトなどで自動化したくなります。 そういっ…
techlife.cookpad.com
opendatabaselife.blogspot.com
nippondanji.blogspot.com
sh2.hatenablog.jp
nippondanji.blogspot.com
kazuhooku.hatenadiary.org
naoya-2.hatenadiary.org
www.infiniteloop.co.jp
nippondanji.blogspot.com
