集群伸縮
-
伸縮原理
Redis集群提供了靈活的節(jié)點(diǎn)擴(kuò)和收縮方案攒驰。在不影響集群對(duì)外服務(wù)的情況下疫粥，可以為集群添加節(jié)點(diǎn)進(jìn)行擴(kuò)容也可以下線部分節(jié)點(diǎn)進(jìn)行縮容。其原理可抽象為槽和對(duì)應(yīng)數(shù)據(jù)在不同節(jié)點(diǎn)之間靈活移動(dòng)腰懂。
-
擴(kuò)容集群
擴(kuò)容是分布式存儲(chǔ)最常見的需求梗逮，Redis集群擴(kuò)容操作可分為如下步驟：
1）準(zhǔn)備新節(jié)點(diǎn)。
2）加入集群悯恍。
3）遷移槽和數(shù)據(jù)库糠。-
準(zhǔn)備新節(jié)點(diǎn)
需要提前準(zhǔn)備好新節(jié)點(diǎn)并運(yùn)行在集群模式下，新節(jié)點(diǎn)建議跟集群內(nèi)的節(jié)點(diǎn)配置保持一致涮毫，便于管理統(tǒng)一瞬欧。啟動(dòng)后的新節(jié)點(diǎn)作為孤兒節(jié)點(diǎn)運(yùn)行，并沒有其他節(jié)點(diǎn)與之通信罢防，
-
加入集群
新節(jié)點(diǎn)依然采用cluster meet命令計(jì)入到現(xiàn)有集群中艘虎。在集群中任意節(jié)點(diǎn)執(zhí)行cluster meet命令讓新節(jié)點(diǎn)計(jì)入進(jìn)來。集群內(nèi)新舊節(jié)點(diǎn)經(jīng)過一段時(shí)間的ping/pong消息通信之后咒吐，所有節(jié)點(diǎn)會(huì)發(fā)現(xiàn)新節(jié)點(diǎn)并將它們的狀態(tài)保存到本地野建。新節(jié)點(diǎn)剛開始都是主節(jié)點(diǎn)狀態(tài)，但是由于沒有負(fù)責(zé)的槽恬叹，所以不能接受任何讀寫操作候生。對(duì)于新節(jié)點(diǎn)的后續(xù)操作我們一般有兩種選擇：
為它遷移槽和數(shù)據(jù)實(shí)現(xiàn)擴(kuò)容。
作為其他主節(jié)點(diǎn)的從節(jié)點(diǎn)負(fù)責(zé)故障轉(zhuǎn)移绽昼。
redis-trib.rb工具也實(shí)現(xiàn)了為現(xiàn)有集群添加新節(jié)點(diǎn)的命令唯鸭，還實(shí)現(xiàn)了直接添加了為從節(jié)點(diǎn)的支持，命令如下：
redis-trib.rb add-node new_host:new_port existing_host:existing_porting --slave --master-id <arg>內(nèi)部同樣采用cluster meet命令實(shí)現(xiàn)加入集群功能硅确。
-
遷移槽和數(shù)據(jù)
加入集群后需要為新節(jié)點(diǎn)遷移槽好相關(guān)數(shù)據(jù)目溉，槽在遷移過程匯總集群可以正常提供讀寫服務(wù)，遷移過程是集群擴(kuò)容最核心的環(huán)節(jié)菱农，下面詳細(xì)講解缭付。
-
槽遷移計(jì)劃
槽是Redis集群管理數(shù)據(jù)的基本單位，首先需要為新節(jié)點(diǎn)制定槽的遷移計(jì)劃循未，確定原有節(jié)點(diǎn)的那些槽需要遷移到新節(jié)點(diǎn)陷猫。遷移計(jì)劃需要確保每個(gè)節(jié)點(diǎn)負(fù)責(zé)相似數(shù)量的槽，從而保證各節(jié)點(diǎn)的數(shù)據(jù)均勻的妖。
-
遷移數(shù)據(jù)
數(shù)據(jù)遷移過程是逐個(gè)槽進(jìn)行的烙丛，每個(gè)槽數(shù)據(jù)遷移流程說明：
1）對(duì)目標(biāo)節(jié)點(diǎn)發(fā)送cluster setslot {slot} importing {sourceNodeId}命令，讓目標(biāo)節(jié)點(diǎn)準(zhǔn)備導(dǎo)入槽的數(shù)據(jù)羔味。
2）對(duì)源節(jié)點(diǎn)發(fā)送cluster setslot {slot} migrating {targetNodeId}命令河咽，讓源節(jié)點(diǎn)準(zhǔn)備遷出槽的數(shù)據(jù)。
3）源節(jié)點(diǎn)循環(huán)執(zhí)行cluster getkeysinslot {slot} {count}命令赋元，獲取count個(gè)屬于槽（slot）的鍵忘蟹。
4）在源節(jié)點(diǎn)上執(zhí)行migrate {targetIp} {targetPort} "" 0 {timeout} keys {key...}命令飒房，把獲取的鍵通過流水線（pipeline）機(jī)制批量遷移到目標(biāo)節(jié)點(diǎn)，批量遷移版本的migrate命令在Redis3.0.6以上版本提供媚值，之前的migrate命令只能單個(gè)鍵遷移狠毯。對(duì)于大量key的場景，批量鍵遷移將極大降低節(jié)點(diǎn)之間網(wǎng)絡(luò)IO次數(shù)褥芒。
5）重復(fù)執(zhí)行步驟3）和步驟4）知道槽下所有的減脂數(shù)據(jù)遷移到目標(biāo)節(jié)點(diǎn)嚼松。
6）向集群內(nèi)所有主節(jié)點(diǎn)發(fā)送cluster setslot {slot} node {targetNodeId}命令，通知槽分配給目標(biāo)節(jié)點(diǎn)锰扶。為了保證槽節(jié)點(diǎn)映射變更及時(shí)傳播献酗，需要遍歷發(fā)送給所有主節(jié)點(diǎn)更新被遷移的槽指向新節(jié)點(diǎn)。
-
-
-
收縮集群
收縮集群意味著縮減規(guī)模坷牛，需要從現(xiàn)有集群中安全下線部分節(jié)點(diǎn)罕偎。
流程說明：
1）首先需要確定下線節(jié)點(diǎn)是否有負(fù)責(zé)的槽，如果是京闰，需要把槽遷移到其他節(jié)點(diǎn)颜及，保證節(jié)點(diǎn)下線后整個(gè)集群槽節(jié)點(diǎn)映射的完整性。
2）當(dāng)下線節(jié)點(diǎn)不在負(fù)責(zé)槽或者本身是從節(jié)點(diǎn)時(shí)蹂楣，就可以通知集群內(nèi)其他節(jié)點(diǎn)忘記下線節(jié)點(diǎn)俏站，把所有的節(jié)點(diǎn)忘記該節(jié)點(diǎn)后可以正常關(guān)閉。
-
下線遷移槽
下線節(jié)點(diǎn)需要把自己負(fù)責(zé)的槽遷移到其他節(jié)點(diǎn)痊土，原理與之前節(jié)點(diǎn)擴(kuò)容的遷移槽過程一直肄扎。
-
忘記節(jié)點(diǎn)
由于集群內(nèi)的節(jié)點(diǎn)不停地通過Gossip消息彼此交換節(jié)點(diǎn)狀態(tài)，因此需要通過一種健壯的機(jī)制讓集群內(nèi)所有節(jié)點(diǎn)忘記下線的節(jié)點(diǎn)施戴。也就是說讓其他節(jié)點(diǎn)不再與要下線節(jié)點(diǎn)進(jìn)行Gossip消息交換。Redis提供了cluster forget {downNodeId}命令實(shí)現(xiàn)該功能萌丈。
當(dāng)節(jié)點(diǎn)接收到cluster forget {downNodeId}命令后赞哗，會(huì)把nodeId指定的節(jié)點(diǎn)加入到禁用列表中，在禁用列表內(nèi)的節(jié)點(diǎn)不再發(fā)送Gossip消息辆雾。禁用列表有效期是60秒肪笋，超過60秒節(jié)點(diǎn)會(huì)再次參與消息交換。也就是說當(dāng)?shù)谝淮蝔orget命令發(fā)出后度迂，我們有60秒的時(shí)間讓集群內(nèi)的所有節(jié)點(diǎn)忘記下線節(jié)點(diǎn)藤乙。
當(dāng)下線主節(jié)點(diǎn)具有從節(jié)點(diǎn)時(shí)需要把該節(jié)點(diǎn)指向到其他主節(jié)點(diǎn)，因此對(duì)于主從節(jié)點(diǎn)都下線的情況惭墓，建議先下線從節(jié)點(diǎn)再下線主節(jié)點(diǎn)坛梁，防止不必要的全量復(fù)制。
-
本節(jié)介紹了Redis集群伸縮的原理和操作方式腊凶，它是Redis集群化之后最重要的功能划咐，熟練掌握集群伸縮技巧后拴念，可以針對(duì)線上的數(shù)據(jù)規(guī)模和并發(fā)量做到從容應(yīng)對(duì)。
