突然掛了!Redis緩存都在內(nèi)存中搁胆,這下完了。邮绿。渠旁。

我是Redis,一個叫Antirez的男人把我?guī)У搅诉@個世界上船逮。

突然掛了顾腊!Redis緩存都在內(nèi)存中,這下完了

“快醒醒挖胃!快醒醒杂靶!”梆惯,隱隱約約,我聽到有人在叫我吗垮。

慢慢睜開眼睛垛吗,原來旁邊是MySQL大哥。

“我怎么睡著了烁登?”

“嗨怯屉,你剛才是不是出現(xiàn)了錯誤,整個進程都崩潰了饵沧!害得一大堆查詢請求都給我懟過來了锨络!”,MySQL說到狼牺。

剛剛醒來羡儿,腦子還有點懵,MySQL大哥扶我起來繼續(xù)工作是钥。

“糟了掠归!我之前緩存的數(shù)據(jù)全都不見了!”

“WTF咏瑟?你沒有做持久化嗎拂到?”,MySQL大哥一聽臉色都變了码泞。

我尷尬的搖了搖頭兄旬,“我都是保存在內(nèi)存中的,所以才那么快啊”

“那也可以在硬盤上保存一下啊余寥,遇到這種情況全部從頭再來建立緩存领铐,這不浪費時間嘛!”

突然掛了宋舷!Redis緩存都在內(nèi)存中绪撵,這下完了

我點了點頭,“讓我琢磨一下祝蝠,看看怎么做這個持久化”音诈。

RDB持久化

沒幾天,我就拿出了一套方案:RDB

既然我的數(shù)據(jù)都在內(nèi)存中存放著绎狭,最簡單的就是遍歷一遍把它們?nèi)紝懭胛募小?/p>

為了節(jié)約空間细溅,我定義了一個二進制的格式,把數(shù)據(jù)一條一條碼在一起儡嘶,生成了一個RDB文件喇聊。

突然掛了!Redis緩存都在內(nèi)存中蹦狂,這下完了

不過我的數(shù)據(jù)量有點大誓篱,要是全部備份一次得花不少時間朋贬,所以不能太頻繁的去做這事,要不然我不用干正事了窜骄,光花時間去備份了锦募。

還有啊,要是一直沒有寫入操作啊研,都是讀取操作御滩,那我也不用重復(fù)備份,浪費時間党远。

思來想去削解,我決定提供一個配置參數(shù),既可以支持周期性備份沟娱,也可以避免做無用功氛驮。

就像這樣:

save 900 1 # 900秒(15分鐘)內(nèi)有1個寫入

save 300 10 # 300秒(5分鐘)內(nèi)有10個寫入

save 60 10000 # 60秒(1分鐘)內(nèi)有10000個寫入

多個條件可以組合使用,只要上面一個條件滿足济似,我就會去進行備份矫废。

后來我又想了一下,這樣還是不行砰蠢,我得fork出一個子進程去做這件事蓖扑,不能浪費我的時間。

有了備份文件台舱,下次我再遇到崩潰退出律杠,甚至服務(wù)器斷電罷工了,只要我的備份文件還在竞惋,我就能在啟動的時候讀取柜去,快速恢復(fù)之前的狀態(tài)啦!

突然掛了拆宛!Redis緩存都在內(nèi)存中嗓奢,這下完了

MySQL:binlog

我?guī)е@套方案,興沖沖的拿給了MySQL大哥看了浑厚,期待他給我一些鼓勵股耽。

“老弟,你這個方案有點問題啊”钳幅,沒想到豺谈,他竟給我澆了一盆冷水。

“問題贡这?有什么問題?”

“你看啊厂榛,你這個周期性去備份盖矫,周期還是分鐘級別的丽惭,你可知道咱們這服務(wù)每秒鐘都要響應(yīng)多少請求,像你這樣不得丟失多少數(shù)據(jù)辈双?”责掏,MySQL語重心長的說到。

突然掛了湃望!Redis緩存都在內(nèi)存中换衬,這下完了

我一下有些氣短了,“可是证芭,這個備份一次要遍歷全部數(shù)據(jù)瞳浦,開銷還是挺大的,不適合高頻執(zhí)行啊”

“誰叫你一次遍歷全部數(shù)據(jù)了废士?來來來叫潦,我給你看個東西”,MySQL大哥把我?guī)У搅艘粋€文件目錄下:

mysql-bin.000001

mysql-bin.000002

mysql-bin.000003

···

“看官硝,這些是我的二進制日志binlog矗蕊,你猜猜看里面都裝了些什么?”氢架,MySQL大哥指著這一堆文件說道傻咖。

我看了一眼,全是一堆二進制數(shù)據(jù)岖研,這哪看得懂卿操,我搖了搖頭。

“這里面呀記錄了我對數(shù)據(jù)執(zhí)行更改的所有操作缎玫,像是INSERT硬纤,UPDATEDELETE等等動作赃磨,等我要進行數(shù)據(jù)恢復(fù)的時候就可以派上大用場了”

聽他這么一說筝家,我一下來了靈感!告別了MySQL大哥邻辉,回去研究起新的方案來了溪王。

AOF持久化

你們也知道,我也是基于命令式的值骇,每天的工作就是響應(yīng)業(yè)務(wù)程序發(fā)來的命令請求莹菱。

回來以后,我決定照葫蘆畫瓢吱瘩,學(xué)著MySQL大哥的樣子道伟,把我執(zhí)行的所有寫入命令都記錄下來,專門寫入了一個文件,并給這種持久化方式也取了一個名字:AOF(Append Only File)蜜徽。

突然掛了祝懂!Redis緩存都在內(nèi)存中,這下完了

不過我遇到了RDB方案同樣的問題拘鞋,我該多久寫一次文件呢砚蓬?

我肯定不能每執(zhí)行一條寫入命令就記錄到文件中,那會嚴(yán)重拖垮我的性能盆色!我決定準(zhǔn)備一個緩沖區(qū)灰蛙,然后把要記錄的命令先臨時保存在這里,然后再擇機寫入文件隔躲,我把這個臨時緩沖區(qū)叫做aof_buf摩梧。

突然掛了!Redis緩存都在內(nèi)存中蹭越,這下完了

說干就干障本,我試了一下,竟然發(fā)現(xiàn)數(shù)據(jù)沒有寫入到文件中去响鹃。多方打聽才知道驾霜,原來操作系統(tǒng)也有個緩存區(qū),我寫的數(shù)據(jù)被他緩存起來了买置,沒有給我寫入到文件中去粪糙,這不是坑爹呢嘛!

看來忿项,我寫完了還得要去刷新一下蓉冈,把數(shù)據(jù)真正給寫下去,思來想去轩触,我還是提供一個參數(shù)寞酿,讓業(yè)務(wù)程序去設(shè)置什么時候刷新吧。

appendfsync參數(shù)脱柱,三個取值:

always: 每個事件周期都同步刷新一次

everysec: 每一秒都同步刷新一次

no: 我只管寫伐弹,讓操作系統(tǒng)自己決定什么時候真正寫入吧

AOF重寫

這一次我不像之前那么沖動,我決定先試運行一段時間再去告訴MySQL大哥榨为,免得又被他戳到軟肋惨好。

試用了一段時間,各方面都運行良好随闺,不過我發(fā)現(xiàn)隨著時間的推移日川,我寫的這個AOF備份文件越來越大,越來越大矩乐!不僅非常占硬盤空間龄句,復(fù)制移動,加載分析都非常的麻煩耗時。

我得想個辦法把文件給壓縮一下撒璧,我把這個過程叫做AOF重寫透葛。

突然掛了!Redis緩存都在內(nèi)存中卿樱,這下完了

一開始,我打算去分析原來的AOF文件硫椰,然后將其中的冗余指令去掉繁调,來給AOF文件瘦瘦身,不過我很快放棄了這個想法靶草,這工作量實在太大了蹄胰,分析起來也頗為麻煩,浪費很多精力跟時間奕翔。

原來的一條條記錄這種方式實在是太笨了裕寨,數(shù)據(jù)改來改去,有很多中間狀態(tài)都沒用派继,我何不就把最終都數(shù)據(jù)狀態(tài)記錄下來就好了宾袜?

比如:

RPUSH name_list '編程技術(shù)宇宙'

RPUSH name_list '帥地玩編程'

RPUSH name_list '后端技術(shù)學(xué)堂'

可以合并成一條搞定:

RPUSH name_list '編程技術(shù)宇宙' '帥地玩編程' '后端技術(shù)學(xué)堂'

AOF文件重寫的思路我是有了,不過這件事干起來還是很耗時間驾窟,我決定和RDB方式一樣庆猫,fork出一個子進程來做這件事情。

謹(jǐn)慎如我绅络,發(fā)現(xiàn)這樣做之后月培,子進程在重寫期間,我要是修改了數(shù)據(jù)恩急,就會出現(xiàn)和重寫的內(nèi)容不一致的情況杉畜!MySQL大哥肯定會挑刺兒,我還得把這個漏洞給補上衷恭。

突然掛了此叠!Redis緩存都在內(nèi)存中,這下完了

于是匾荆,我在之前的aof_buf之外拌蜘,又準(zhǔn)備了一個緩沖區(qū):AOF重寫緩沖區(qū)

從創(chuàng)建重寫子進程開始的那一刻起牙丽,我把后面來的寫入命令也copy一份寫到這個重寫緩沖區(qū)中简卧,等到子進程重寫AOF文件結(jié)束之后,我再把這個緩沖區(qū)中的命令寫入到新的AOF文件中烤芦。

最后再重命名新的AOF文件举娩,替換掉原來的那個臃腫不堪的大文件,終于大功告成!

突然掛了铜涉!Redis緩存都在內(nèi)存中智玻,這下完了

再三確定我的思路沒有問題之后,我?guī)е碌姆桨冈俅握业搅薓ySQL大哥芙代,我都做到這份兒上了吊奢,這一次,想必他應(yīng)該無話可說了吧纹烹?

MySQL大哥看了我的方案露出了滿意的笑容页滚,只是問了一個問題:

這AOF方案這么好了,RDB方案是不是可以不要了呢铺呵?

萬萬沒想到裹驰,他居然問我這個問題,我竟陷入了沉思片挂,你覺得我該怎么回答好呢幻林?

彩蛋

“你怎么又崩潰了?”

“不好意思音念,又遇到bug了沪饺,不過不用擔(dān)心,我現(xiàn)在可以快速恢復(fù)了症昏!”

“那老崩潰也不是事兒啊随闽,你只有一個實例太不可靠了,去找?guī)讉€幫手吧肝谭!”

?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
  • 序言:七十年代末掘宪,一起剝皮案震驚了整個濱河市,隨后出現(xiàn)的幾起案子攘烛,更是在濱河造成了極大的恐慌魏滚,老刑警劉巖,帶你破解...
    沈念sama閱讀 221,820評論 6 515
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件坟漱,死亡現(xiàn)場離奇詭異鼠次,居然都是意外死亡,警方通過查閱死者的電腦和手機芋齿,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 94,648評論 3 399
  • 文/潘曉璐 我一進店門腥寇,熙熙樓的掌柜王于貴愁眉苦臉地迎上來,“玉大人觅捆,你說我怎么就攤上這事赦役。” “怎么了栅炒?”我有些...
    開封第一講書人閱讀 168,324評論 0 360
  • 文/不壞的土叔 我叫張陵掂摔,是天一觀的道長术羔。 經(jīng)常有香客問我,道長乙漓,這世上最難降的妖魔是什么级历? 我笑而不...
    開封第一講書人閱讀 59,714評論 1 297
  • 正文 為了忘掉前任,我火速辦了婚禮叭披,結(jié)果婚禮上寥殖,老公的妹妹穿的比我還像新娘。我一直安慰自己涩蜘,他們只是感情好扛禽,可當(dāng)我...
    茶點故事閱讀 68,724評論 6 397
  • 文/花漫 我一把揭開白布。 她就那樣靜靜地躺著皱坛,像睡著了一般。 火紅的嫁衣襯著肌膚如雪豆巨。 梳的紋絲不亂的頭發(fā)上剩辟,一...
    開封第一講書人閱讀 52,328評論 1 310
  • 那天,我揣著相機與錄音往扔,去河邊找鬼贩猎。 笑死,一個胖子當(dāng)著我的面吹牛萍膛,可吹牛的內(nèi)容都是我干的吭服。 我是一名探鬼主播,決...
    沈念sama閱讀 40,897評論 3 421
  • 文/蒼蘭香墨 我猛地睜開眼蝗罗,長吁一口氣:“原來是場噩夢啊……” “哼艇棕!你這毒婦竟也來了?” 一聲冷哼從身側(cè)響起串塑,我...
    開封第一講書人閱讀 39,804評論 0 276
  • 序言:老撾萬榮一對情侶失蹤沼琉,失蹤者是張志新(化名)和其女友劉穎,沒想到半個月后桩匪,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體打瘪,經(jīng)...
    沈念sama閱讀 46,345評論 1 318
  • 正文 獨居荒郊野嶺守林人離奇死亡,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點故事閱讀 38,431評論 3 340
  • 正文 我和宋清朗相戀三年傻昙,在試婚紗的時候發(fā)現(xiàn)自己被綠了闺骚。 大學(xué)時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片。...
    茶點故事閱讀 40,561評論 1 352
  • 序言:一個原本活蹦亂跳的男人離奇死亡妆档,死狀恐怖僻爽,靈堂內(nèi)的尸體忽然破棺而出,到底是詐尸還是另有隱情过吻,我是刑警寧澤进泼,帶...
    沈念sama閱讀 36,238評論 5 350
  • 正文 年R本政府宣布蔗衡,位于F島的核電站,受9級特大地震影響乳绕,放射性物質(zhì)發(fā)生泄漏绞惦。R本人自食惡果不足惜,卻給世界環(huán)境...
    茶點故事閱讀 41,928評論 3 334
  • 文/蒙蒙 一洋措、第九天 我趴在偏房一處隱蔽的房頂上張望济蝉。 院中可真熱鬧,春花似錦菠发、人聲如沸王滤。這莊子的主人今日做“春日...
    開封第一講書人閱讀 32,417評論 0 24
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽雁乡。三九已至,卻和暖如春糜俗,著一層夾襖步出監(jiān)牢的瞬間踱稍,已是汗流浹背。 一陣腳步聲響...
    開封第一講書人閱讀 33,528評論 1 272
  • 我被黑心中介騙來泰國打工悠抹, 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留珠月,地道東北人。 一個月前我還...
    沈念sama閱讀 48,983評論 3 376
  • 正文 我出身青樓楔敌,卻偏偏與公主長得像啤挎,于是被迫代替她去往敵國和親。 傳聞我的和親對象是個殘疾皇子卵凑,可洞房花燭夜當(dāng)晚...
    茶點故事閱讀 45,573評論 2 359