redis 主從復制原理

主從概述

redis 支持 master-slave(主從)模式,redis server 可以設置為另一個 redis server 的主機(從機)都哭,從機定期從主機拿數(shù)據(jù)穆碎。特殊的吧寺,一個 從機同樣可以設置為一個 redis server 的主機,這樣一來 master-slave 的分布看起來就是一個有向無環(huán)圖 DAG项秉,如此形成 redis server 集群,無論是主機還是從機都是 redis server库糠,都可以提供服務)伙狐。

在配置后,主機可負責讀寫服務瞬欧,從機只負責讀贷屎。redis 提高這種配置方式,為的是讓其支持數(shù)據(jù)的弱一致性艘虎,即最終一致性唉侄。在業(yè)務中,選擇強一致性還是若已執(zhí)行野建,應該取決于具體的業(yè)務需求属划,像微博,完全可以使用弱一致性模型候生;像淘寶同眯,可以選用強一致性模型。

積壓空間

在《深入剖析 redis AOF 持久化策略》中唯鸭,介紹了更新緩存的概念须蜗,舉一個例子:客戶端發(fā)來命令:set name Jhon,這一數(shù)據(jù)更新被記錄為:*3\r\n$3\r\nSET\r\n$4\r\nname\r\n$3\r\nJhon\r\n目溉,并存儲在更新緩存中明肮。

同樣,在主從連接中缭付,也有更新緩存的概念柿估。只是兩者的用途不一樣,前者被寫入本地陷猫,后者被寫入從機秫舌,這里我們把它成為積壓空間。

更新緩存存儲在 server.repl_backlog绣檬,redis 將其作為一個環(huán)形空間來處理足陨,這樣做節(jié)省了空間,避免內存再分配的情況河咽。

積壓空間中的數(shù)據(jù)變更記錄是什么時候被寫入的钠右?

在執(zhí)行一個 redis 命令的時候,如果存在數(shù)據(jù)的修改(寫)忘蟹,那么就會把變更記錄傳播飒房。redis 源碼中是這么實現(xiàn)的:call()->propagate()->replicationFeedSlaves()

注釋:命令真正執(zhí)行的地方在 call() 中搁凸,call() 如果發(fā)現(xiàn)數(shù)據(jù)被修改(dirty),則傳播 propagrate()狠毯,replicationFeedSlaves() 將修改記錄寫入積壓空間和所有已連接的從機护糖。

為什么把數(shù)據(jù)添加入積壓空間,又把數(shù)據(jù)分發(fā)給所有的從機嚼松?為什么不僅僅將數(shù)據(jù)分發(fā)給所有從機呢嫡良?

因為有一些從機會因特殊情況與主機斷開連接,注意從機斷開前有暫存主機的狀態(tài)信息献酗,因此這些斷開的從機就沒有及時收到更新的數(shù)據(jù)寝受。redis 為了讓斷開的從機在下次連接后能夠獲取更新數(shù)據(jù),將更新數(shù)據(jù)加入了積壓空間罕偎。從 replicationFeedSlaves() 實現(xiàn)來看很澄,在線的 slave 能馬上收到數(shù)據(jù)更新記錄;因某些原因暫時斷開連接的 slave颜及,需要從積壓空間中找回斷開期間的數(shù)據(jù)更新記錄甩苛。如果斷開的時間足夠長,master 會拒絕 slave 的部分同步請求俏站,從而 slave 只能進行全同步讯蒲。

主從數(shù)據(jù)同步機制概述

redis 主從同步有兩種方式(或者所兩個階段):全同步和部分同步。

主從剛剛連接的時候肄扎,進行全同步墨林;
全同步結束后,進行部分同步反浓。
當然萌丈,如果有需要赞哗,slave 在任何時候都可以發(fā)起全同步雷则。
redis 策略是,無論如何肪笋,首先會嘗試進行部分同步月劈,如不成功,要求從機進行全同步藤乙,并啟動 BGSAVE;BGSAVE 結束后猜揪,傳輸 RDB 文件;如果成功坛梁,允許從機進行部分同步而姐,并傳輸積壓空間中的數(shù)據(jù)。

Redis復制流程概述

  1. Slave端在配置文件中添加了slave of指令划咐,于是Slave啟動時讀取配置文件拴念,初始狀態(tài)為REDIS_REPL_CONNECT钧萍。
  2. Slave端在定時任務serverCron(Redis內部的定時器觸發(fā)事件)中連接Master,發(fā)送sync命令政鼠,然后阻塞等待master發(fā)送回其內存快照文件(最新版的Redis已經(jīng)不需要讓Slave阻塞)风瘦。
  3. Master端收到sync命令簡單判斷是否有正在進行的內存快照子進程,沒有則立即開始內存快照公般,有則等待其結束万搔,當快照完成后會將該文件發(fā)送給Slave端。
  4. Slave端接收Master發(fā)來的內存快照文件官帘,保存到本地瞬雹,待接收完成后,清空內存表刽虹,重新讀取Master發(fā)來的內存快照文件挖炬,重建整個內存表數(shù)據(jù)結構,并最終狀態(tài)置位為 REDIS_REPL_CONNECTED狀態(tài)状婶,Slave狀態(tài)機流轉完成意敛。
  5. Master端在發(fā)送快照文件過程中,接收的任何會改變數(shù)據(jù)集的命令都會暫時先保存在Slave網(wǎng)絡連接的發(fā)送緩存隊列里(list數(shù)據(jù)結構)膛虫,待快照完成后草姻,依次發(fā)給Slave,之后收到的命令相同處理,并將狀態(tài)置位為 REDIS_REPL_ONLINE稍刀。

整個復制過程完成撩独,流程如下圖所示:

Ref:http://daoluan.net/linux/%E5%AD%A6%E4%B9%A0%E6%80%BB%E7%BB%93/%E7%BD%91%E7%BB%9C%E7%BC%96%E7%A8%8B/2014/04/22/decode-redis-replication.html

最后編輯于
?著作權歸作者所有,轉載或內容合作請聯(lián)系作者
  • 序言:七十年代末,一起剝皮案震驚了整個濱河市账月,隨后出現(xiàn)的幾起案子综膀,更是在濱河造成了極大的恐慌,老刑警劉巖局齿,帶你破解...
    沈念sama閱讀 222,378評論 6 516
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件剧劝,死亡現(xiàn)場離奇詭異,居然都是意外死亡抓歼,警方通過查閱死者的電腦和手機讥此,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 94,970評論 3 399
  • 文/潘曉璐 我一進店門,熙熙樓的掌柜王于貴愁眉苦臉地迎上來谣妻,“玉大人萄喳,你說我怎么就攤上這事√0耄” “怎么了他巨?”我有些...
    開封第一講書人閱讀 168,983評論 0 362
  • 文/不壞的土叔 我叫張陵,是天一觀的道長。 經(jīng)常有香客問我染突,道長匪傍,這世上最難降的妖魔是什么? 我笑而不...
    開封第一講書人閱讀 59,938評論 1 299
  • 正文 為了忘掉前任觉痛,我火速辦了婚禮役衡,結果婚禮上,老公的妹妹穿的比我還像新娘薪棒。我一直安慰自己手蝎,他們只是感情好,可當我...
    茶點故事閱讀 68,955評論 6 398
  • 文/花漫 我一把揭開白布俐芯。 她就那樣靜靜地躺著棵介,像睡著了一般。 火紅的嫁衣襯著肌膚如雪吧史。 梳的紋絲不亂的頭發(fā)上邮辽,一...
    開封第一講書人閱讀 52,549評論 1 312
  • 那天,我揣著相機與錄音贸营,去河邊找鬼吨述。 笑死,一個胖子當著我的面吹牛钞脂,可吹牛的內容都是我干的揣云。 我是一名探鬼主播,決...
    沈念sama閱讀 41,063評論 3 422
  • 文/蒼蘭香墨 我猛地睜開眼冰啃,長吁一口氣:“原來是場噩夢啊……” “哼邓夕!你這毒婦竟也來了?” 一聲冷哼從身側響起阎毅,我...
    開封第一講書人閱讀 39,991評論 0 277
  • 序言:老撾萬榮一對情侶失蹤焚刚,失蹤者是張志新(化名)和其女友劉穎,沒想到半個月后扇调,有當?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體矿咕,經(jīng)...
    沈念sama閱讀 46,522評論 1 319
  • 正文 獨居荒郊野嶺守林人離奇死亡,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內容為張勛視角 年9月15日...
    茶點故事閱讀 38,604評論 3 342
  • 正文 我和宋清朗相戀三年肃拜,在試婚紗的時候發(fā)現(xiàn)自己被綠了痴腌。 大學時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片雌团。...
    茶點故事閱讀 40,742評論 1 353
  • 序言:一個原本活蹦亂跳的男人離奇死亡燃领,死狀恐怖,靈堂內的尸體忽然破棺而出锦援,到底是詐尸還是另有隱情猛蔽,我是刑警寧澤,帶...
    沈念sama閱讀 36,413評論 5 351
  • 正文 年R本政府宣布,位于F島的核電站曼库,受9級特大地震影響区岗,放射性物質發(fā)生泄漏。R本人自食惡果不足惜毁枯,卻給世界環(huán)境...
    茶點故事閱讀 42,094評論 3 335
  • 文/蒙蒙 一慈缔、第九天 我趴在偏房一處隱蔽的房頂上張望。 院中可真熱鬧种玛,春花似錦藐鹤、人聲如沸。這莊子的主人今日做“春日...
    開封第一講書人閱讀 32,572評論 0 25
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽。三九已至祭示,卻和暖如春肄满,著一層夾襖步出監(jiān)牢的瞬間,已是汗流浹背质涛。 一陣腳步聲響...
    開封第一講書人閱讀 33,671評論 1 274
  • 我被黑心中介騙來泰國打工稠歉, 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留,地道東北人汇陆。 一個月前我還...
    沈念sama閱讀 49,159評論 3 378
  • 正文 我出身青樓轧抗,卻偏偏與公主長得像,于是被迫代替她去往敵國和親瞬测。 傳聞我的和親對象是個殘疾皇子横媚,可洞房花燭夜當晚...
    茶點故事閱讀 45,747評論 2 361

推薦閱讀更多精彩內容