【redis主從復制解析】

前言

redis的高可用涉及到持久化忧便、主從復制(讀寫分離)慷彤、哨兵和集群卖氨。持久化主要是內(nèi)存數(shù)據(jù)到磁盤挑豌,是一個單機備份問題骚腥,主從復制是多機數(shù)據(jù)備份問題夭谤。主從復制不僅僅解決數(shù)據(jù)備份還可以實現(xiàn)讀負載均衡和故障恢復论熙。

此篇文章主要分析富俄,如何使用主從復制缕题、復制的原理(全量復制截歉,部分復制,及心跳機制)烟零,在使用過程中注意的問題(數(shù)據(jù)不一致問題瘪松,復制鏈接超時問題,復制緩沖區(qū))锨阿,主從復制的相關(guān)配置凉逛。

一、如何使用主從復制(具體的配置可查找相關(guān)資料群井,本文不做過多的設計)

主從復制的配置不需要對主節(jié)點進行設置状飞,只要在從節(jié)點設置

通過對redis.conf文件中配置

port 6380? ? ?//端口

pidfile /var/run/redis_6380.pid? ?

slaveof 127.0.0.1 6379? ? //該從節(jié)點屬于哪個主節(jié)點

logfile "/data/logs/redis.slave1.log"

daemonize yes

配置完成后,在該redis目錄中輸入命令。redis-server? redis.conf

二诬辈、主從復制的原理

第一建立連接

第二 數(shù)據(jù)同步階段

從節(jié)點發(fā)送同步命令(psync)到主節(jié)點酵使,此時需注意,此時兩者的身份狀態(tài)發(fā)生改變焙糟,主節(jié)點也需要向從節(jié)點發(fā)送命令到命令緩沖區(qū)口渔,在數(shù)據(jù)同步階段,會根據(jù)子節(jié)點的狀態(tài)(offset穿撮,runid)來選擇全量復制或者部分設置缺脉。。

1.全量復制和部分復制

全量復制

1. 從節(jié)點發(fā)送psync命令給主節(jié)點悦穿,主節(jié)點收到命令后執(zhí)行bgsave命令攻礼,將數(shù)據(jù)生成rdb文件發(fā)送給從節(jié)點

2.從節(jié)點首先刪除舊的數(shù)據(jù),然后接收新的rdb文件栗柒,這個時候從節(jié)點的數(shù)據(jù)保持跟主節(jié)點執(zhí)行bgsave命令時的數(shù)據(jù)狀態(tài)礁扮,但是這個時候會出現(xiàn)數(shù)據(jù)的不一致

3.主節(jié)點將復制緩沖區(qū)的寫操作命令全部發(fā)送給子節(jié)點,然后子去執(zhí)行瞬沦,這樣會保證從節(jié)點的數(shù)據(jù)跟主節(jié)點的數(shù)據(jù)保持一致太伊,這時候從節(jié)點就擁有一個offset和runid

部分復制

因為全量復制會帶來很大的計算機性能開銷,所以redis后面提供了部分復制逛钻,在數(shù)據(jù)同步中斷或者網(wǎng)絡中間的前提下僚焦,實現(xiàn)部分復制

部分復制需要依賴一下幾個機制實現(xiàn)

runid: 主節(jié)點的標識符

復制緩沖區(qū): 用于存儲備份主節(jié)點的寫命令,是一個fifo隊列

復制偏移量 offset :復制緩沖區(qū)中的數(shù)據(jù)標識

其實部分復制是針對復制緩沖區(qū)的數(shù)據(jù)而言曙痘,復制緩沖區(qū)中的每條數(shù)據(jù)都帶有offset叠赐,主從節(jié)點都各自維護一個offset,當從節(jié)點發(fā)送同步命令的時候會帶有一個offset和runid,當runid的和接收的主節(jié)點的runid不一樣則執(zhí)行全量復制屡江,當runid一致的時候就比較offset,看從節(jié)點發(fā)送過來的offset是否在復制緩沖區(qū)中,如果不在赛不,那么執(zhí)行全量復制惩嘉,如果在,那么就把缺少的offset發(fā)送給從節(jié)點踢故,從而實現(xiàn)數(shù)據(jù)的一致性文黎。


第三 命令傳輸階段

數(shù)據(jù)同步階段完成之后就到了命令傳輸階段,主要是為了完成數(shù)據(jù)的一致性殿较,主節(jié)點將寫命令傳輸給從節(jié)點去執(zhí)行耸峭,中間涉及到復制緩沖區(qū),包括主從之間還涉及到心跳機制淋纲。心跳機制也影響數(shù)據(jù)同步采用何種同步方式劳闹。

但是該階段并不一定保證數(shù)據(jù)的強一致性,因為命令傳輸階段是異步的,也就是說主節(jié)點發(fā)送命令并不會等從節(jié)點的回復本涕,所以出現(xiàn)延遲和數(shù)據(jù)的不一致性還是在所難免业汰,這個也跟主從之間的網(wǎng)絡狀況和主節(jié)點發(fā)送命令的頻率有關(guān)。

repl-disable-tcp-nodelay no/yes? 該配置是主節(jié)點發(fā)送命令是否需要對包的合并從而減少帶寬菩颖,默認是關(guān)閉的

三样漆、心跳機制

ping

主節(jié)點發(fā)送ping給子節(jié)點,用來檢測兩者連接是否超時

ack

從節(jié)點發(fā)送offset的命令晦闰,每秒一次

四放祟、應用中的問題

數(shù)據(jù)過期問題

定期刪除(選取一部分數(shù)據(jù)判斷key是否過期從而進行刪除)+惰性刪除(獲取key時候先進行判斷是否過期)

內(nèi)存淘汰機制,在redis.cof 中??# maxmemory-policy volatile-lru 當內(nèi)存不夠用的時候呻右,刪除經(jīng)常不適用的key

復制超時時間

當連接的時間超過閾值的時候就斷開連接??repl-timeout參數(shù)跪妥,這個時間可以設置大一點,避免因為數(shù)據(jù)過大同步時間超過閾值時間斷開連接窿冯,或者查詢大量的數(shù)據(jù)比如 key * 等操作

正常重啟 盡量使用?debug reload

?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
  • 序言:七十年代末骗奖,一起剝皮案震驚了整個濱河市,隨后出現(xiàn)的幾起案子醒串,更是在濱河造成了極大的恐慌执桌,老刑警劉巖,帶你破解...
    沈念sama閱讀 211,123評論 6 490
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件芜赌,死亡現(xiàn)場離奇詭異仰挣,居然都是意外死亡,警方通過查閱死者的電腦和手機缠沈,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 90,031評論 2 384
  • 文/潘曉璐 我一進店門膘壶,熙熙樓的掌柜王于貴愁眉苦臉地迎上來,“玉大人洲愤,你說我怎么就攤上這事颓芭。” “怎么了柬赐?”我有些...
    開封第一講書人閱讀 156,723評論 0 345
  • 文/不壞的土叔 我叫張陵亡问,是天一觀的道長。 經(jīng)常有香客問我肛宋,道長州藕,這世上最難降的妖魔是什么? 我笑而不...
    開封第一講書人閱讀 56,357評論 1 283
  • 正文 為了忘掉前任酝陈,我火速辦了婚禮床玻,結(jié)果婚禮上,老公的妹妹穿的比我還像新娘沉帮。我一直安慰自己锈死,他們只是感情好贫堰,可當我...
    茶點故事閱讀 65,412評論 5 384
  • 文/花漫 我一把揭開白布。 她就那樣靜靜地躺著馅精,像睡著了一般严嗜。 火紅的嫁衣襯著肌膚如雪。 梳的紋絲不亂的頭發(fā)上洲敢,一...
    開封第一講書人閱讀 49,760評論 1 289
  • 那天漫玄,我揣著相機與錄音,去河邊找鬼压彭。 笑死睦优,一個胖子當著我的面吹牛,可吹牛的內(nèi)容都是我干的壮不。 我是一名探鬼主播汗盘,決...
    沈念sama閱讀 38,904評論 3 405
  • 文/蒼蘭香墨 我猛地睜開眼,長吁一口氣:“原來是場噩夢啊……” “哼询一!你這毒婦竟也來了隐孽?” 一聲冷哼從身側(cè)響起,我...
    開封第一講書人閱讀 37,672評論 0 266
  • 序言:老撾萬榮一對情侶失蹤健蕊,失蹤者是張志新(化名)和其女友劉穎菱阵,沒想到半個月后,有當?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體缩功,經(jīng)...
    沈念sama閱讀 44,118評論 1 303
  • 正文 獨居荒郊野嶺守林人離奇死亡晴及,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點故事閱讀 36,456評論 2 325
  • 正文 我和宋清朗相戀三年,在試婚紗的時候發(fā)現(xiàn)自己被綠了嫡锌。 大學時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片虑稼。...
    茶點故事閱讀 38,599評論 1 340
  • 序言:一個原本活蹦亂跳的男人離奇死亡,死狀恐怖势木,靈堂內(nèi)的尸體忽然破棺而出蛛倦,到底是詐尸還是另有隱情,我是刑警寧澤啦桌,帶...
    沈念sama閱讀 34,264評論 4 328
  • 正文 年R本政府宣布溯壶,位于F島的核電站,受9級特大地震影響震蒋,放射性物質(zhì)發(fā)生泄漏。R本人自食惡果不足惜躲庄,卻給世界環(huán)境...
    茶點故事閱讀 39,857評論 3 312
  • 文/蒙蒙 一查剖、第九天 我趴在偏房一處隱蔽的房頂上張望。 院中可真熱鬧噪窘,春花似錦笋庄、人聲如沸。這莊子的主人今日做“春日...
    開封第一講書人閱讀 30,731評論 0 21
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽菌仁。三九已至,卻和暖如春静暂,著一層夾襖步出監(jiān)牢的瞬間济丘,已是汗流浹背。 一陣腳步聲響...
    開封第一講書人閱讀 31,956評論 1 264
  • 我被黑心中介騙來泰國打工洽蛀, 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留摹迷,地道東北人。 一個月前我還...
    沈念sama閱讀 46,286評論 2 360
  • 正文 我出身青樓郊供,卻偏偏與公主長得像峡碉,于是被迫代替她去往敵國和親。 傳聞我的和親對象是個殘疾皇子驮审,可洞房花燭夜當晚...
    茶點故事閱讀 43,465評論 2 348

推薦閱讀更多精彩內(nèi)容

  • 通過這篇文章你會知道如下: 如何配置主從關(guān)系鲫寄?如何斷開主從關(guān)系?如何將從節(jié)點變成主節(jié)點疯淫? 主從復制的拓撲結(jié)構(gòu)以及相...
    打傘的Fish閱讀 430評論 0 1
  • 超強地来、超詳細Redis入門教程 轉(zhuǎn)載2017年03月04日 16:20:02 16916 轉(zhuǎn)載自: http://...
    邵云濤閱讀 17,434評論 3 313
  • 關(guān)于Mongodb的全面總結(jié) MongoDB的內(nèi)部構(gòu)造《MongoDB The Definitive Guide》...
    中v中閱讀 31,905評論 2 89
  • 最近兩周自我表現(xiàn)還不錯,值得夸獎峡竣!接下來繼續(xù)努力靠抑!努力努力,加油加油适掰!勝利在向我招手颂碧!
    只一點閱讀 108評論 0 0
  • 沉浸式是android 4.4之后推出的新型手機屏幕顯示效果,沉浸式可以將手機狀態(tài)欄和導航欄顏色調(diào)整為與應用顏色一...
    黃海佳閱讀 723評論 0 3