MySQLのストレージエンジンの一種。標準ストレージエンジンのMyISAMと違いは以下の通り
tm-progapp.hatenablog.com ↑の記事にてInnoDBのロックについてまとめましたが、公式ドキュメントを読み漁る中で「locking read」と「non-locking read」という言い回しがあり、気になったのでまとめてみました。 MySQL :: MySQL 8.0 Reference Manual :: 15.7.2.4 Locking Reads locking readとは non-locking readとは メリット デメリット 参考 locking readとは SELECT ... FOR SHARE, SELECT ... FOR UPDATE時の…
こんにちは。id:shallow1729です。最近Database Reliability Engineerというお仕事を始めたのでデータベースの勉強をしたりMySQLのソースコードを読んだりしています。仕事でMySQLが標準で用いているInnoDBのソースコードを読む機会があったのでなんかアウトプットしたいなと思いつついきなりコアな話するのもなって思ったのでざっくりとストレージエンジンの話をしようかなと思います。とはいえストレージエンジンは本当にいろいろな仕事をしていて全部を書こうとするとものすごい事になりそうだった(+僕も分かってない部分が多い)ので、とりあえず第一回はredo logとい…
現在実行中のトランザクションからtrx_mysql_thread_idをメモする SELECT trx_id,trx_query,trx_mysql_thread_id FROM information_schema.innodb_trx ORDER BY trx_started; PROCESSLIST_IDに先ほどのtrx_mysql_thread_idを指定する SELECT THREAD_ID FROM performance_schema.threads WHERE PROCESSLIST_ID =; THREAD_IDを使ってperformance_schema.events_st…
プロダクト開発チームの田中と申します。(社内ではたなしゅんと呼ばれております) 先日新機能のリリースを行いまして、リリース時に既存テーブルに対してのカラム追加が必要だったのですが、カラム追加のALTER TABLEが中々終わらないという問題が以前のリリース時に起きていたこともあり、事前に問題なくDBマイグレーション(Railsを利用しているため、この記事ではALTER TABLEなどのDB操作をマイグレーションと呼びます)が実施できるように調査を行いました。 その際に調査した内容や工夫したことなどを共有したいと思います。 過去のリリース時に起きた問題 ALTER TABLEが終わらない メンテ…
おはようございます。フロントエンドチームの武井です。 今回はフロントエンドチーム最近取り組んでいるライブコーディングを行いましたので、そのときの気付きを記事にしようと思います。 ライブコーディングについてはマネージャーの山田が以前の記事ですこし触れていましたが、フロントエンドチーム内で実験的に有志がおこなっています。ライブコーディングがチーム内の文化として定着するかどうかはまだ未知数の状態です。
はじめに こんにちは、id:shallow1729です。小ネタですが、先日”ERROR 1412 (HY000): Table definition has changed, please retry transaction”というエラーに出会ったのでそれの調査をします。MySQL8.0.31をベースにします。 エラーの意味 まずエラーメッセージで調べると以下の公式ドキュメントが出てきました。 https://dev.mysql.com/doc/refman/8.0/en/innodb-consistent-read.html Consistent read does not work ove…
dev.mysql.com BEGINなどをせずにSELECTを実行しただけでも読み取り専用トランザクションというのが開始されるらしい。スロークエリが実行されているテーブルに対してDDLを実行するとmetadata lockが取られて以降のDMLが全てブロックされる問題があるがBEGINとかしてない場合は問題ないのでは？と思ったので調べてみた。 TrxA > SELECT SLEEP(3600) from HOGE; とやってHOGEに対してDDLを発行すると3600sの間DDLは待たされ以降のDMLを全て待たされる。読み取り専用トランザクション中にALTERが実行されるとトランザクションの分…
こんにちは。技術広報の ShuzoN です。 2022年12月にCARTA HOLDINGSのエンジニア陣が集ってアドベントカレンダーを実施しました。 今回はその中で 投稿されたブログ記事におけるブクマ数 Best3 を発表したいと思います！ ブクマ数 Best3を発表 集計期間は2022/12/01〜2022/01/11時点です 3位 ゲームをするように仕事をしたい (37ブクマ) 執筆者: 海老原 @co3k 概要 ゲーム攻略サイトを作っているエンジニアが「ゲームコントローラーでマウス・キーボードを操作できるようにした」話。 自作のソフトウェアでコントローラーにマウス・キーボードをリマップ…
あけましておめでとうございます！ 今年は異世界放浪メシのアニメが放送されるらしいので楽しみなバックエンドの原田 (tomtwinkle)です。 内部で運用しているSQLレビューチェックリストの一部を抽出し思いつきで追記して行った結果、結構な分量になってしまいました。 暇な時でも流し読みして頂けるとありがたいです。 Motivation SQLレビュー観点 大きくSQLが変更される修正の際にはEXPLAINをレビュー内容に加える 検索のキーにINDEXを使用しているか SQL発行回数がN+1(1+N)の構造になっていないか サブクエリを利用したSQLはパフォーマンス要チェック Viewの利用は基…
こんにちは、ATOM事業本部のプロダクト開発グループの松尾です。 広告媒体からのデータ取得処理や集計前の加工処理などを中心にバックエンドエンジニアとして開発を行ってきました。 最近は新レポートや進捗管理機能の開発を行っています。 ATOMのリニューアル版では、新レポートや進捗管理機能の媒体データの実績値の集計をclickhouseというデータベースを採用しております。 長らく苦戦し続けていましたが運用が安定してきたので、採用経緯から苦戦してきた過程について、簡単にご紹介させていただければと思います。 採用経緯について mysqlから集計処理を切り出したいと思った際に、１つの候補として挙がるので…
あけましておめでとうございます。 2022 年は、生活全般と専門的なソフトウェアエンジニアリングを分けて、振り返りをまとめました。 この記事は生活全般についてです。 私生活 体調管理 風邪症状は何度かありましたが、仕事に支障が出るほどではありませんでした。 どちらかというと、予防接種や自宅待機、保育園休園によってリズムが崩れることが多い一年でしたね。 子どもの予防接種全三回が 2023 年の 4 月までに終わるので、それで多少は落ち着いてくれるのを祈る日々です。 コミケ 2022 年は夏コミ（C100, 8/14）と冬コミ（C101, 12/31）の二回手伝いに行きました。人も徐々に戻ってきて…
年始に書いた目標の進捗 ryuichi1208.hateblo.jp この記事を書いて早1年が経った。2022年バージョンの振り返りです。 2022年目標・CKA or CKAD取得・AWS プロフェッショナル系取る・カンファレンス何か出る・会社のテックブログを書く— Ryuichi@Gurasan:|| (@ryuichi_1208) 2021年12月31日 ・CKA or CKAD取得 -> 未達 ・AWS プロフェッショナル系取る -> 未達 ・カンファレンス何か出る -> 達成 ・会社のテックブログを書く -> 達成 50%の達成率となった。CKAについては受験直前まで言って受けれなか…
MySQLのinnodb_buffer_pool_sizeはインデックスやテーブルデータのインメモリキャッシュサイズであり、かなりパフォーマンスに影響するパラメータとして知られています。 RDSなんかだと、デフォルトでDBメモリサイズの 3/4になるっぽいのですが、MySQLを自前で構築すると、デフォルトとして128MBになってしまうので、ぜひパラメータを調整したいところです。 今回は先日作った検証環境 上でinnodb_buffer_poolサイズを変えながらリクエストをさばく速度に差が出るのかを計測してみたいと思います。 計測条件 システム構成 nginx + rails + mysqlを…
記事説明 NewSQLに触れる機会が出てきそうなのでとりあえず概要だけでも知っておきたいので入門する。 所謂「NewSQL」と呼ばれるトランザクション処理を実現しつつもreadもwriteもスケーラビリティを備えた新しい種類のRDB。そのNewSQLの中でも今回はOSSで開発されている「TiDB」（タイディービーについて書いていきます。MySQL互換として使えるのは色々できそうでとても興味がある。 入門してみた感想 シャーディングをTiDBの方でいい感じにやってくれるのはとてもよさそうに思えた。とんでもないデータ量のテーブルを構造から再設計して〜みたいなケースは結構あると思っていて再設計ではな…
こんにちは！サーバーサイドエンジニアをやっている @otukutun です。 最近slow query起因のレイテンシアラートが発生していてRDB(MySQL)が不安定になってしまう事象が発生し、それはカーディナリティが低いINDEXが使われたことが原因で発生していました。今回は、その対応としてカーディナリティが低いINDEXのお掃除を行ったのでそれについて書きたいと思います。 なぜカーディナリティが低いINDEXを削除したのか? 一般的にカーディナリティが低いINDEXの弊害などはいろんな方が言われていますが、 効果が低いのでSELECTの性能向上にはつながらない INSERT時にINDEX…
はてなで Mackerel を開発している id:wtatsuru です。この記事は Mackerel Advent Calendar 2022 の25日目の記事です。前日は id:tukaelu の Mackerelのカスタムダッシュボードにアラートの一覧を表示する でした。こういうちょっとしたハックで解決する手法、私は大好きです。本記事では、Mackerel を使って Amazon RDS を監視する際にどのメトリックが使われているのか、その背景と共に紹介しています。 AWSインテグレーションと Amazon RDS の紹介 よく使われるメトリックたち CPU利用率 メモリ利用量 ストレー…
メリークリスマス！！freee Developers Advent Calendar 2022 25日目担当のid:shallow1729です！昨日はtdtdsさんでfreee特有の風土病：エンジニアの症例と寛解についてでした！ 僕からはMySQLのPerformance Schemaという機能の仕組みの解説とfreeeでの活用についての紹介をします。 前置き Performance SchemaはMySQLで実行されるトランザクションやクエリなどの実行時の様々な情報を取得してくれる機能です。特に面白いのは後で説明するようにstageやwaitなどのMySQLの実装レベルでのモニタリングを提供…
techlife.cookpad.com
opendatabaselife.blogspot.com
nippondanji.blogspot.com
sh2.hatenablog.jp
nippondanji.blogspot.com
kazuhooku.hatenadiary.org
naoya-2.hatenadiary.org
www.infiniteloop.co.jp
nippondanji.blogspot.com
