redis 持久化

持久化

1.redis持久化:redis所有數(shù)據(jù)保存在內(nèi)存中殃恒,對(duì)數(shù)據(jù)的更新將異步保存到磁盤(pán)中

2.主流數(shù)據(jù)庫(kù)持久化:快照套硼;寫(xiě)日志

RDB

1.redis對(duì)當(dāng)前數(shù)據(jù)進(jìn)行快照,生成RDB文件(二進(jìn)制)保存到磁盤(pán)中讹俊,redis重啟后載入RDB文件缓待,以恢復(fù)數(shù)據(jù)

2.觸發(fā)機(jī)制
save(同步找御,會(huì)造成阻塞) O(N)
命令行直接輸入save锦秒,執(zhí)行時(shí)會(huì)生成RDB文件畦粮,執(zhí)行完畢會(huì)將老的文件替換

save
#返回OK 表示執(zhí)行成功

不會(huì)消耗額外內(nèi)存

bgsave(異步,生成子進(jìn)程操作,阻塞發(fā)成在子進(jìn)程) O(N)
命令行直接輸入bgsave

bgsave
#返回Background saving started 表示操作開(kāi)始

需要子進(jìn)程fork,需要消耗額外內(nèi)存

間接觸發(fā)機(jī)制
1.全量復(fù)制
2.debug reload
3.shutdown

自動(dòng)生成策略
900s內(nèi)有1條數(shù)據(jù)變化
300s內(nèi)有10條數(shù)據(jù)變化
60s內(nèi)有10000條數(shù)據(jù)發(fā)生變化
以上3中滿(mǎn)足1個(gè)條件就會(huì)觸發(fā)自動(dòng)生成散址,自動(dòng)生成本質(zhì)是bgsave

默認(rèn)配置

save 900 1
save 300 10
save 60 10000
dbfilename dump.rdb # 名字叫dump.rdb
dir ./ # 默認(rèn)存在當(dāng)前文件
stop-writes-ob-bgsave-error yes  # 當(dāng)bgsave發(fā)生錯(cuò)誤,默認(rèn)停止寫(xiě)入
rdbcompression yes  # 是否采用壓縮宣赔,默認(rèn)是
rdbchecksum yes  # 是否進(jìn)行校驗(yàn)预麸,默認(rèn)是

最佳配置

# 建議不適用save
dbfilename ${port}.rdb # 一般開(kāi)啟多個(gè),適用其端口號(hào)
dir /diskpath  #專(zhuān)門(mén)存放數(shù)據(jù)的文件夾
stop-writes-ob-bgsave-error yes
rdbcompression yes
rdbchecksum yes

RDB 總結(jié)
1.RDB 是Redis內(nèi)存到硬盤(pán)的快照,用于持久化
2.save通常會(huì)阻塞Redis
3.bgsave不會(huì)阻塞Redis儒将,但是會(huì)生成fork新進(jìn)程消耗內(nèi)存
4.save自動(dòng)配置滿(mǎn)足任意就會(huì)被執(zhí)行
5.有些觸發(fā)機(jī)是間接的

缺點(diǎn)
耗時(shí)吏祸、耗性能、耗內(nèi)存
不可控椅棺、丟失數(shù)據(jù):

image.png

AOF

類(lèi)似于數(shù)據(jù)庫(kù)的日志,每寫(xiě)入一個(gè)命令就同時(shí)會(huì)保存到AOF文件,當(dāng)發(fā)生宕機(jī)后,將AOF文件導(dǎo)入到redis

策略
always:每寫(xiě)一條命令就寫(xiě)入AOF犁罩。不丟失數(shù)據(jù)齐蔽;I/O開(kāi)銷(xiāo)大
everysec:每秒將redis緩沖區(qū)的命令寫(xiě)入到AOF。I/O開(kāi)銷(xiāo)相對(duì)較写补馈含滴;丟失1秒數(shù)據(jù)
no:OS決定。完全由系統(tǒng)決定,不可控

AOF重寫(xiě)
將過(guò)期的丐巫、沒(méi)有用的谈况、冗余的命令進(jìn)行化簡(jiǎn)成很小的AOF
作用:加速恢復(fù)速度,減少磁盤(pán)占用

image.png

AOF重寫(xiě)的兩種方式
bgrewriteaof:執(zhí)行此命令,redis會(huì)創(chuàng)建一個(gè)子進(jìn)程,將緩沖區(qū)的所有命令回溯,替換原有的AOF
AOF重寫(xiě)配置:


image.png
image.png

建議配置

appendonly yes # AOF的所有功能打開(kāi)
appendfilename "appendongly-${port}.aof" #aof文件名
appendfsync everysec 
dir /diskpath
no-appendfsync-on-rewrite yes

動(dòng)態(tài)更改配置

config set name  value

持久化運(yùn)維

fork操作
1.同步操作
2.與內(nèi)存量息息相關(guān):內(nèi)存越大,耗時(shí)越長(zhǎng)(與機(jī)器類(lèi)型有關(guān))
3.info:latest_fork_usec (最近一次fork操作的時(shí)常递胧,微秒)

改善fork
1.優(yōu)先使用物理機(jī)或者高效支持fork操作的虛擬化技術(shù)
2.控制Redis實(shí)例最大的可用內(nèi)存:maxmemory
3.合理配置Linux內(nèi)存分配策略:vm.overcommit_memory=1
4.降低fork頻率:例如放寬AOF重寫(xiě)自動(dòng)觸發(fā)時(shí)機(jī),不必要的全量復(fù)制

子進(jìn)程開(kāi)銷(xiāo)和優(yōu)化

1.CPU:
開(kāi)銷(xiāo):RDB和AOF文件生成,屬于CPU密集型
優(yōu)化:不做CPU綁定,不和CPU密集型部署
2.內(nèi)存
開(kāi)銷(xiāo):fork內(nèi)存開(kāi)銷(xiāo),copy-on-write
優(yōu)化:不允許單機(jī)多部署時(shí)進(jìn)行大量的重寫(xiě)碑韵;linux優(yōu)化策略 echo never > /sys/kernel/mm/transparent_hugepage/enabled
3.硬盤(pán)
開(kāi)銷(xiāo):AOF和RDB文件寫(xiě)入
優(yōu)化:不要和高硬盤(pán)負(fù)載服務(wù)部署一起:存儲(chǔ)服務(wù),消息隊(duì)列等;
no-annpendfsync-on-rewrite=yes;
根據(jù)寫(xiě)入量決定磁盤(pán)類(lèi)型:例如ssd;
單機(jī)多實(shí)例持久化文件目錄可以考慮分盤(pán)

AOF追加阻塞

image.png

AOF阻塞定位


image.png
image.png
image.png
最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
  • 序言:七十年代末缎脾,一起剝皮案震驚了整個(gè)濱河市祝闻,隨后出現(xiàn)的幾起案子,更是在濱河造成了極大的恐慌遗菠,老刑警劉巖联喘,帶你破解...
    沈念sama閱讀 211,948評(píng)論 6 492
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件,死亡現(xiàn)場(chǎng)離奇詭異辙纬,居然都是意外死亡豁遭,警方通過(guò)查閱死者的電腦和手機(jī),發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 90,371評(píng)論 3 385
  • 文/潘曉璐 我一進(jìn)店門(mén)贺拣,熙熙樓的掌柜王于貴愁眉苦臉地迎上來(lái)蓖谢,“玉大人,你說(shuō)我怎么就攤上這事譬涡∩劣模” “怎么了?”我有些...
    開(kāi)封第一講書(shū)人閱讀 157,490評(píng)論 0 348
  • 文/不壞的土叔 我叫張陵昂儒,是天一觀的道長(zhǎng)沟使。 經(jīng)常有香客問(wèn)我,道長(zhǎng)渊跋,這世上最難降的妖魔是什么腊嗡? 我笑而不...
    開(kāi)封第一講書(shū)人閱讀 56,521評(píng)論 1 284
  • 正文 為了忘掉前任,我火速辦了婚禮拾酝,結(jié)果婚禮上践叠,老公的妹妹穿的比我還像新娘柬焕。我一直安慰自己,他們只是感情好,可當(dāng)我...
    茶點(diǎn)故事閱讀 65,627評(píng)論 6 386
  • 文/花漫 我一把揭開(kāi)白布健民。 她就那樣靜靜地躺著,像睡著了一般。 火紅的嫁衣襯著肌膚如雪。 梳的紋絲不亂的頭發(fā)上恒傻,一...
    開(kāi)封第一講書(shū)人閱讀 49,842評(píng)論 1 290
  • 那天,我揣著相機(jī)與錄音建邓,去河邊找鬼盈厘。 笑死,一個(gè)胖子當(dāng)著我的面吹牛官边,可吹牛的內(nèi)容都是我干的沸手。 我是一名探鬼主播,決...
    沈念sama閱讀 38,997評(píng)論 3 408
  • 文/蒼蘭香墨 我猛地睜開(kāi)眼注簿,長(zhǎng)吁一口氣:“原來(lái)是場(chǎng)噩夢(mèng)啊……” “哼契吉!你這毒婦竟也來(lái)了?” 一聲冷哼從身側(cè)響起诡渴,我...
    開(kāi)封第一講書(shū)人閱讀 37,741評(píng)論 0 268
  • 序言:老撾萬(wàn)榮一對(duì)情侶失蹤捐晶,失蹤者是張志新(化名)和其女友劉穎,沒(méi)想到半個(gè)月后妄辩,有當(dāng)?shù)厝嗽跇?shù)林里發(fā)現(xiàn)了一具尸體租悄,經(jīng)...
    沈念sama閱讀 44,203評(píng)論 1 303
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡,尸身上長(zhǎng)有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 36,534評(píng)論 2 327
  • 正文 我和宋清朗相戀三年恩袱,在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了。 大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片胶哲。...
    茶點(diǎn)故事閱讀 38,673評(píng)論 1 341
  • 序言:一個(gè)原本活蹦亂跳的男人離奇死亡畔塔,死狀恐怖,靈堂內(nèi)的尸體忽然破棺而出鸯屿,到底是詐尸還是另有隱情澈吨,我是刑警寧澤,帶...
    沈念sama閱讀 34,339評(píng)論 4 330
  • 正文 年R本政府宣布寄摆,位于F島的核電站谅辣,受9級(jí)特大地震影響,放射性物質(zhì)發(fā)生泄漏婶恼。R本人自食惡果不足惜桑阶,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 39,955評(píng)論 3 313
  • 文/蒙蒙 一、第九天 我趴在偏房一處隱蔽的房頂上張望勾邦。 院中可真熱鬧蚣录,春花似錦、人聲如沸眷篇。這莊子的主人今日做“春日...
    開(kāi)封第一講書(shū)人閱讀 30,770評(píng)論 0 21
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽(yáng)。三九已至虐杯,卻和暖如春玛歌,著一層夾襖步出監(jiān)牢的瞬間,已是汗流浹背擎椰。 一陣腳步聲響...
    開(kāi)封第一講書(shū)人閱讀 32,000評(píng)論 1 266
  • 我被黑心中介騙來(lái)泰國(guó)打工支子, 沒(méi)想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留,地道東北人确憨。 一個(gè)月前我還...
    沈念sama閱讀 46,394評(píng)論 2 360
  • 正文 我出身青樓译荞,卻偏偏與公主長(zhǎng)得像,于是被迫代替她去往敵國(guó)和親休弃。 傳聞我的和親對(duì)象是個(gè)殘疾皇子吞歼,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 43,562評(píng)論 2 349

推薦閱讀更多精彩內(nèi)容