主從概述
redis 支持 master-slave(主從)模式,redis server 可以設置為另一個 redis server 的主機(從機)都哭,從機定期從主機拿數(shù)據(jù)穆碎。特殊的吧寺,一個 從機同樣可以設置為一個 redis server 的主機,這樣一來 master-slave 的分布看起來就是一個有向無環(huán)圖 DAG项秉,如此形成 redis server 集群,無論是主機還是從機都是 redis server库糠,都可以提供服務)伙狐。
在配置后,主機可負責讀寫服務瞬欧,從機只負責讀贷屎。redis 提高這種配置方式,為的是讓其支持數(shù)據(jù)的弱一致性艘虎,即最終一致性唉侄。在業(yè)務中,選擇強一致性還是若已執(zhí)行野建,應該取決于具體的業(yè)務需求属划,像微博,完全可以使用弱一致性模型候生;像淘寶同眯,可以選用強一致性模型。
積壓空間
在《深入剖析 redis AOF 持久化策略》中唯鸭,介紹了更新緩存的概念须蜗,舉一個例子:客戶端發(fā)來命令:set name Jhon,這一數(shù)據(jù)更新被記錄為:*3\r\n$3\r\nSET\r\n$4\r\nname\r\n$3\r\nJhon\r\n目溉,并存儲在更新緩存中明肮。
同樣,在主從連接中缭付,也有更新緩存的概念柿估。只是兩者的用途不一樣,前者被寫入本地陷猫,后者被寫入從機秫舌,這里我們把它成為積壓空間。
更新緩存存儲在 server.repl_backlog绣檬,redis 將其作為一個環(huán)形空間來處理足陨,這樣做節(jié)省了空間,避免內存再分配的情況河咽。
積壓空間中的數(shù)據(jù)變更記錄是什么時候被寫入的钠右?
在執(zhí)行一個 redis 命令的時候,如果存在數(shù)據(jù)的修改(寫)忘蟹,那么就會把變更記錄傳播飒房。redis 源碼中是這么實現(xiàn)的:call()->propagate()->replicationFeedSlaves()
注釋:命令真正執(zhí)行的地方在 call() 中搁凸,call() 如果發(fā)現(xiàn)數(shù)據(jù)被修改(dirty),則傳播 propagrate()狠毯,replicationFeedSlaves() 將修改記錄寫入積壓空間和所有已連接的從機护糖。
為什么把數(shù)據(jù)添加入積壓空間,又把數(shù)據(jù)分發(fā)給所有的從機嚼松?為什么不僅僅將數(shù)據(jù)分發(fā)給所有從機呢嫡良?
因為有一些從機會因特殊情況與主機斷開連接,注意從機斷開前有暫存主機的狀態(tài)信息献酗,因此這些斷開的從機就沒有及時收到更新的數(shù)據(jù)寝受。redis 為了讓斷開的從機在下次連接后能夠獲取更新數(shù)據(jù),將更新數(shù)據(jù)加入了積壓空間罕偎。從 replicationFeedSlaves() 實現(xiàn)來看很澄,在線的 slave 能馬上收到數(shù)據(jù)更新記錄;因某些原因暫時斷開連接的 slave颜及,需要從積壓空間中找回斷開期間的數(shù)據(jù)更新記錄甩苛。如果斷開的時間足夠長,master 會拒絕 slave 的部分同步請求俏站,從而 slave 只能進行全同步讯蒲。
主從數(shù)據(jù)同步機制概述
redis 主從同步有兩種方式(或者所兩個階段):全同步和部分同步。
主從剛剛連接的時候肄扎,進行全同步墨林;
全同步結束后,進行部分同步反浓。
當然萌丈,如果有需要赞哗,slave 在任何時候都可以發(fā)起全同步雷则。
redis 策略是,無論如何肪笋,首先會嘗試進行部分同步月劈,如不成功,要求從機進行全同步藤乙,并啟動 BGSAVE;BGSAVE 結束后猜揪,傳輸 RDB 文件;如果成功坛梁,允許從機進行部分同步而姐,并傳輸積壓空間中的數(shù)據(jù)。
Redis復制流程概述
- Slave端在配置文件中添加了slave of指令划咐,于是Slave啟動時讀取配置文件拴念,初始狀態(tài)為REDIS_REPL_CONNECT钧萍。
- Slave端在定時任務serverCron(Redis內部的定時器觸發(fā)事件)中連接Master,發(fā)送sync命令政鼠,然后阻塞等待master發(fā)送回其內存快照文件(最新版的Redis已經(jīng)不需要讓Slave阻塞)风瘦。
- Master端收到sync命令簡單判斷是否有正在進行的內存快照子進程,沒有則立即開始內存快照公般,有則等待其結束万搔,當快照完成后會將該文件發(fā)送給Slave端。
- Slave端接收Master發(fā)來的內存快照文件官帘,保存到本地瞬雹,待接收完成后,清空內存表刽虹,重新讀取Master發(fā)來的內存快照文件挖炬,重建整個內存表數(shù)據(jù)結構,并最終狀態(tài)置位為 REDIS_REPL_CONNECTED狀態(tài)状婶,Slave狀態(tài)機流轉完成意敛。
- Master端在發(fā)送快照文件過程中,接收的任何會改變數(shù)據(jù)集的命令都會暫時先保存在Slave網(wǎng)絡連接的發(fā)送緩存隊列里(list數(shù)據(jù)結構)膛虫,待快照完成后草姻,依次發(fā)給Slave,之后收到的命令相同處理,并將狀態(tài)置位為 REDIS_REPL_ONLINE稍刀。
整個復制過程完成撩独,流程如下圖所示: