matsukazの日記

MongoDBでReplicaSetにメンバーを追加／削除する方法と、その注意点

MongoDB

MongoDBで、ReplicaSetにメンバーを追加／削除する方法は、Adding a New Set Memberにある通りです。

rs.add("node1:27018");

で追加したり、

rs.remove("node1:27018");

で削除したり。

追加する際は

1. 既存データを物理的にコピーしてきて戻す方法
2. カラの状態から同期を取る方法

があります。

1000万件程度であれば、1.でも数分で終わる模様。数億件以上ある場合は、2.で戻した方が作業が早いかもしれません。

注意点1

その際に気をつける点は、local.*のファイルはコピーしてこないこと。local以外のコレクションに対応するファイルだけコピーしてきて、あとは起動後にrs.add()すればOKです。local.*がいると、データの整合が取れなくなって「still initiating」って状態で止まってしまいます。これやっちゃってハマりました・・・orz

ちなみに、その場合でも一度サーバを止めてlocal.*ファイルを全部削除して起動し直せばOKみたいです。

注意点2

あともう一つ注意する点は、メンバーのvotesの数の合計が偶数にならないこと。MongoDB sharding and replication with (only) 3 servers - Part 2: One Replica-Setに以下のように説明されています。

The members of a set will elect their master just as well as we do with our politicians. The master has to get more than half of the available votes. Problem: Imagine a set with four members. What happens if two vote for node A to get master and the two others vote for node B?

Neither A nor B will get master, because no node got more than half of the available votes.

Therefore the number of votes in a replica set has to be odd-numbered. You can reach this by easily add one more node as a new slave to the set - simultaneously increasing database availability. But if you don't have the resources for an additional node, there are two other possibilities:

1. Add an arbiter, which is a mongod process and a member of the set, but only exists to solve majority problems (http://www.mongodb.org/display/DOCS/Adding+an+Arbiter)

2. Change the number of votes the members have, so the number is unequal.

PRIMARYになるためには、全体のvotes数の過半数より多い票を獲得しなければならないため、votes数が偶数になってしまうと、残りのvotes数が半数になった時点でPRIMARYがいなくなってしまいます。例えば、

ノード名	votes
node1	1
node2	1
node3	1
node4	1

となると、上記のうち2台が死んだ時点でvotesの数が過半数の2となってしまい、PRIMARYがいなくなってしまいます。PRIMARYがいなくなるということは、ReplicaSetの構成変更も出来なくなるので、死んだ2台のうちいずれかを起動するまでは何も出来ません。

ノード名	votes
node1	2
node2	1
node3	1
node4	1

であれば、仮にnode3/node4が死んでも、残りのvotes数は3なので、node1/node2のいずれかはPRIMARYでいられます（node1が死んでしまうと、あと1台しか死ぬことは出来ませんが）。この辺はArbiterで調整したり。

自分は、

ノード名	votes
node1	1
node2	1
node3	1

に対して

ノード名	votes
node1	1
node2	1
node3	1
node4	1
node5	1
node6	1

と新たに3つのノードを追加したところ、追加した3つが前述した理由で起動できない状態となっていたため、既存ノードからPRIMARYがいなくなってしまいました。

ノード名	votes	State
node1	1	SECONDARY
node2	1	SECONDARY
node3	1	SECONDARY
node4	1	still initiating
node5	1	still initiating
node6	1	still initiating

追加した3つのノードを起動することも出来ず、PRIMARYがいないのでrs.remove()でノードを消すこともできず、完全に詰んだ状態に・・・orz

local.*を消せばよかったみたいですが、このときには気付かなかったので、node1/node2/node3を取得していたバックアップから復元して対応しました。

Permalink | コメント(1) | トラックバック(1) | 19:43