MySQL

会社でMackerelを使ってMysqlサーバーの監視を行っているのですが、Mysql Threadsの見方が初めはさっぱり分からなかったので、自分で調べたり、先輩に聞いたりして得た自分の理解を残しておこうと思います。 メトリック Mysql Threadsのグラフには5つのメトリックが表示されます。 Cache Size Connected Running Created Cached （グラフは会社で実運用しているものなので出せませんが、知らないとこの記事には辿り着かなそう、、） こちらに説明している記事がありますが、自分はMysqlのスレッドとコネクションについて知らなかったので、理解で…

タダです. Aurora MySQL のデータを DMS でのレプリケーションをやりたいと思い,バイナリログを有効化する機会がありました.初めてやったので設定について振り返っていきます.なお,Aurora のバージョンは 5.6.mysql_aurora.1.22.2で確認してます. DB クラスターパラメーターグループの binlog_format を編集する binlog_format 設定変更後の作業 まとめ DB クラスターパラメーターグループの binlog_format を編集する Aurora MySQL でバイナリログを有効化する方法として,DB クラスターパラメーターグループ…

MySQL とネットワークの復習をしています． 今日とりくんだこと MySQL データ検索 正規化 ネットワーク

.NET（Entity Framework Core）を使うならSQL Serverを使っておけ、というのが正直なところなのだけれど、MySQLを使ってみたいと思うこともあるだろう。 ので試した。ASP.NETにはASP.NET Identityという認証ライブラリがあって、Webアプリケーション作成時にチェックボックスを入れるだけでその基本的な構成が行われる。僕が一番好きなIdentiyです。 が、そうすると当然ながらSQL Server向けになっており、MySQLで使うにはちょっと手を加えなくてはならない。 とりあえずユーザー登録とログインができるようになるためにやったことをメモしておく。…

最近Mysqlを使うのですが、都度Googleでコマンドを検索しての繰り返しでめんどくさい。。。 ということで、自分用にメモを作りました。 データベース接続前 やりたいこと コマンド localhostのMySQLサーバ接続 $ mysql -u -p 外部MySQLサーバ接続 $ mysql -u [USER_NAME] -p -h [HOST_NAME] -P [PORT] データベースダンプ $ mysqldump -u [USER_NAME] -p -x [DB_NAME] > [OUTPUT_FILE_NAME] リストア $ mysql -u[USER_NAME] -p new_d…

Orchestrator orchestrator は マスターの障害検知およびレプリカのマスター昇格（フェイルオーバー）を自動で行うソフトウェアです。 MySQLのマスター昇格といえば、MHAがデファクトスタンダードでしたが、MHAはメンテナンスモードになって久しい・・・ということで、最近は orchestrator が使われることが多い印象です。メルカリさんで使われたりしているようです。 github.com アンチ フラッピング機構 RecoveryPeriodBlockSeconds orchestrator にはアンチフラピング機構が備わってます。orchestratorにおける、フ…

今回は、このようなエラーに遭遇した EC２でエラーがおきてlocalでサイト見ようとしたら、この有様である ググったりしたけど皆が何言ってるかわからないからとりあえず MYSQLの中身どうなってるのか？勉強して、やったほうがいいかもね ってことで勉強を始めます ふむふむ色々あるんですね〜 泣いていいです もっと確認する必要アリそうですねとりあえず簡単に目標だけ作りますか mysql.server startをすると /usr/local/Cellar/mysql@5.6/5.6.47/bin/mysqld_safe: line 138: /usr/local/var/mysql/Pro.loc…

土日月のgoの開発の進捗 Docker-composeでMySQLの環境構築。Upの初期化の際に、SQLファイルにバグがあってエラーを起こして死ぬのでハマった。Sequel Proに先につなげて、そこでSQL文が正しいことを確認しながらすすめるのに落ち着いた。VScodeでSQLは書きにくい。変なところで赤線がひかれる。 goからDBサーバーへの通信確認。ポートまわりやログインユーザの指定の仕方でハマった。 goの"database/sql"パッケージなどを使って、databaseからSELECT文でデータをとってきてParseする部分も実装 HTTP POSTでのSIGNUP機能の実装。Pa…

ExcelのVBAでスクレイピングしたデータをデータベースのMySQLへ保存 データの活用方法 データーベース 実験 まとめ お願い ExcelのVBAでスクレイピングしたデータをデータベースのMySQLへ保存 欲張りな見出しで申し訳ないです。 先日amazonのランキングデータをExcelのシートに取り込みました。 （これはスクレイピングの勉強） doeryaa.hatenablog.com データの活用方法 そのデータを活用するには？ データの中には 商品の順位 ☆の数 評価の数 金額 があります。 では商品の順位・金額などの推移を特定期間で見れれば安定して売れている商品なのか急上昇中の注…

んーっ。MySQL8.0。いや過去のバージョンでも一難去ってまた一難。リモートからログインできず思わず凹む。 ま、いいか。 明日も頑張ろー。

ほぼ人生で初めて触ったMySQLの備忘録。 サンプルデータ MySQLでテーブルにCSVファイルを流し込むまでの手順 MySQLにログイン データベース作成と確認 データベースに移動 テーブルの作成とCSVの流し込み その他MySQLお役立ちコマンド テーブルの概要を見る テーブルの中身を全部見る サンプルデータ Autoデータセットを使用。 もとのテキストからCSVファイルとして保存している前提。 rdrr.io MySQLでテーブルにCSVファイルを流し込むまでの手順 MySQLにログイン endpointと書いているのはAWSを使っているからで、hostのこと。 mysql -h end…

Amazon RDS（MySQL）において、パラメータグループを変更する際、以下のエラーが発生しました。 保存中のエラー: Cannot modify a default parameter group. (Service: AmazonRDS; Status Code: 400; Error Code: InvalidParameterValue; Request ID: xxxx-xxxx-xxxx-xxxx; Proxy: null)原因は「デフォルトのパラメータグループの変更しようとしたこと」でした。 仕様上、デフォルトのパラメータグループは、変更不可のようです。 対策は、パラメータグ…

下記ツイートを見て改めて考えてみました。 更新系APIでDBトランザクション張る時、対象のリソース群の親となるリソース（大抵はUser）を無条件で最初にロックする手法が当たり前だと思っていたけど、もしかして世間ではそうではないのかな...デッドロックリスクを忘れられる大きなメリットがあると考えていたんだけど。— やまでぃ🤗 | YOUTRUST (@aiueo4u) 2021年2月16日 並行に書き込みをどのように処理するかという点も含めて整理してみました。 並行性の問題一覧 名称 内容 ダーティリード あるクライアントが他のクライアントのまだコミットされていない書き込みを見ることができる。 …

はじめに 準備すること 環境別の properties を用意する dev 環境を整える jar と resources を固める 番外編: redis でちょっとハマった おわりに はじめに 最近趣味で Springboot アプリケーションを作っていてデプロイ準備が地味に面倒だったので備忘録としてまとめる。 いくつかうまくいかなかった方法があるので、ここではうまく行った方法をまとめていく。 準備すること 環境別の properties を用意する Redis や MySQL を利用している場合、開発環境と本番環境で異なる設定を利用したい場合がある。 この時 gradle のタスクとして切り…

Docker を使う上で最低限必要な知識のみを厳選して説明していきます この記事を読んで分かること 前提条件 Docker 使うと何が嬉しいの？ Docker とは何か？ 仮想化技術の 1 つ CLI から Docker コマンドを叩くことで利用できる Docker コンテナとは何か？ Docker コンテナで出来ること Docker コンテナを利用しない場合 Docker イメージとは何か？ Docker イメージで出来ること Docker レジストリとは何か？ まとめ この記事を読んで分かること Docker を使うメリットが分かる 公式ドキュメントにある下図の意味が分かる ※具体的な D…

・前日。 ０９２０：補中益気湯。 １１００：朝食。 １２００：鍋＋スロージューサー。 １７００：外食肉。 １８００：間食。 ２０４０：マンナン米＋カレー＋タマネギ＋スロージューサー。 ・睡眠時間５～７時間。 ちょっと寝つきが悪かったのと、二度寝をやや性欲に邪魔された感じがある。ほぼ時間通りに起き上がりはしたが、そのだいぶ前から普通に目は覚めてた感じ。余裕があれば睡眠時間を少し減らして質を上げられないか試してみたいが、もう次の祝日は実質GWなのよな。他にアテもないから有給を取ってみても良いが。 ・体温。 足湯＋カロリーメイト＋ほうじ茶で朝から３６．２℃まで上がった。朝にしてはなかなか悪くない。朝…

ブログ開設初日、さっそくアウトプットしがいのあるエラーに遭遇したので記しておきます。 今回は表題の通り、テストコードを書く際のダミー生成について。 いつもFakerを使っているのですが、今までの知識だけでは上手くいかないことがでてきました。 ・問題点・ ①氏名・氏名(カナ)それぞれバリデーション設定をしているため、{Faker::Name}でダミー生成するとバリデーションエラーを起こす ActiveRecord::RecordInvalid: Validation failed: First name is invalid, Last name is invalid, First name k…

①SQLインジェクションができるかの確認 1. ' を入力してエラーが返ってくるか 2. ページをリロードした際にステータスコードが正しい入力のときは200、間違った入力のときは500になっている(開発者ツールのネットワークタブで確認) 3. 未知のSQL文が select * from users where id={$input} などの数字を求めている場合 1と2を入力するとステータスコードが200であることを確認し、1+2を入力したときにステータスコードが200で、1,2のときと違う出力がされている 4. 未知のSQL文が select * from users where name=…

WordPressとは wordpressとはヒューストンに住んでいた若者とイギリスに住んでいた若者がインターネットを通じてコラボレーションで開発を進めたオープンソースのプロジェクトです。2003年にリリース。 WordPressとは、オープンソースのブログソフトウェアである。PHPで開発されており、データベース管理システムとしてMySQLを利用している。単なるブログではなくCMSとしてもしばしば利用されている。 WordPressのテンプレートはすべてPHPであるため、PHPとHTMLをある程度知っていれば容易にテンプレートをカスタマイズできる。テンプレートは多くの場合、ヘッダー部とサイドバ…

ベネッセ i-キャリアの小島です。 dodaキャンパスでは、AWS AthenaやQuickSightを利用して、日々データ分析活用を行っていますが、 今回は、Auroraを活用して、AWS Glueでデータ分析機能を構築しました。 その際に選定したアーキテクトとその理由を中心にお話させていただきたいと思います。 背景 dodaキャンパスでは現在、以下のサービスを用いてデータを取り扱っています。 DynamoDB サービスのデータ管理として利用 Athena SQLを用いたデータ分析に利用 QuickSight AthenaをデータソースとしたBIツールとして利用 今回、QuickSightで…

対象のコマンド brew search mysql@5.7 発生したエラー Error: Permission denied @ rb_sysopen - /private/tmp/github_api_headers20210107-10504-6f9519 対処法 permission deniedということは許可されてない=権限がないということかな？と思い、private/tempの権限を変更 sudo chown -R 'username' /private/tmp/ 結果 brew search mysql@5.7 ==> Formulae mysql@5.7 # 解決！ 別で発生し…

０．はじめの動機 １．作り方 ２．繋ぎ方 ３．とにかくSSH 4．インターネットに繋ぎたい ５．トラブル MoodleBox Wifiが居なくなる だめだったやり方 ６．iPhoneテザリングを有線接続してインターネット側につなぐ ７．最後に ０．はじめの動機 Learning Management Systemで研修コースを作るのを試してみたい。 でも、ある程度クローズドなネットワークで試してからにしたい。 と考えて、CanvasとMoodleを比較していいたところ、MoodleはRaspberryPi用のRasbianベースのディストリビューション（？）があるというので、なにをするものだか…

これは、なにをしたくて書いたもの？ Terragruntを学ぶシリーズ。 今回は、Terragruntを使って環境ごとに作るTerraformの構成ファイルを減らしてみます。 Terragruntで、環境ごとの構成ファイルを減らす Terraformを使って、複数の環境を構築、管理するのにはいくつかの方法があります。 Terraform自身が提供するのは、Workspaceですね。 State: Workspaces - Terraform by HashiCorp WorkspaceはStateを切り替えることができるもので、こちらとVariablesなどで環境差異を表現することになります。…