Redis內(nèi)存消耗

Redis內(nèi)存使用統(tǒng)計(jì)

命令

info memory

重點(diǎn)關(guān)注的指標(biāo)有:used_memory_rss和used_memory以及它們的比值mem_fragmentation_ratio蛙粘。

當(dāng) mem_fragmentation_ratio > 1 時(shí),說明used_memory_rss - used_memory多出的部分內(nèi)存并沒有用于數(shù)據(jù)存儲(chǔ)纬霞,而是被內(nèi)存碎片所消耗息裸,如果兩者相差很大芦鳍,說明碎片率嚴(yán)重。

當(dāng) mem_fragmentation_ratio < 1 時(shí),這種情況一般出現(xiàn)在操作系統(tǒng)把Redis內(nèi)存交換到(Swap)到硬盤導(dǎo)致,出現(xiàn)這種情況時(shí)要格外關(guān)注台腥,由于硬盤速度遠(yuǎn)遠(yuǎn)慢于內(nèi)存,Redis性能會(huì)變得很差绒北,甚至僵死览爵。

內(nèi)存消耗劃分

Redis進(jìn)程內(nèi)消耗主要包括:自身內(nèi)存+對(duì)象內(nèi)存+緩沖內(nèi)存+內(nèi)存碎片。

1. 對(duì)象內(nèi)存

對(duì)象內(nèi)存是Redis內(nèi)存占用最大的一塊镇饮,存儲(chǔ)著用戶所有的數(shù)據(jù)。Redis所有數(shù)據(jù)都采用key-value數(shù)據(jù)類型箕母,每次創(chuàng)建鍵值對(duì)時(shí)储藐,至少創(chuàng)建兩個(gè)類型對(duì)象:key對(duì)象和value對(duì)象。內(nèi)存消耗可以簡(jiǎn)單的理解為sizeof(keys)+sizeof(values)嘶是。鍵對(duì)象都是字符串钙勃,在使用Redis時(shí)很容易忽略鍵對(duì)內(nèi)存消耗的影響,應(yīng)當(dāng)避免使用過長(zhǎng)的鍵聂喇。value對(duì)象更復(fù)雜些辖源,主要包括5種基本數(shù)據(jù)類型:字符串、列表希太、哈希克饶、集合、有序集合誊辉。每種value對(duì)象類型根據(jù)使用規(guī)模不同矾湃,占用內(nèi)存不同。在使用時(shí)一定要合理預(yù)估并監(jiān)控value對(duì)象占用情況堕澄,避免內(nèi)存溢出邀跃。

2. 緩沖內(nèi)存

緩沖內(nèi)存主要包括:客戶端緩沖霉咨、復(fù)制積壓緩沖區(qū)、AOF緩沖區(qū)拍屑。

  • 客戶端緩沖指的是所有接入到Redis服務(wù)器TCP連接的輸入輸出緩沖途戒。輸入輸出緩沖無法控制,最大空間為1G僵驰,如果超過將斷開連接喷斋。輸入緩沖通過參數(shù)client-output-buffer-limit控制:
    1.普通客戶端:除了復(fù)制和訂閱的客戶端之外的所有連接,Redis的默認(rèn)配置是:client-output-buffer-limit normal 0 0 0矢渊,Redis并沒有對(duì)普通客戶端的輸出緩沖區(qū)做限制继准,一般普通客戶端的內(nèi)存消耗可以忽略不計(jì),但是當(dāng)有大量慢連接客戶端接入時(shí)這部分內(nèi)存消耗就不能忽略了矮男,可以設(shè)置maxclients做限制移必。注意不要只用大量數(shù)據(jù)輸出的命令且數(shù)據(jù)無法及時(shí)推送給客戶端,如 monitor命令毡鉴,容易造成Redis服務(wù)器內(nèi)存突然飆升崔泵。
    1. 從客戶端:主節(jié)點(diǎn)會(huì)為每個(gè)從節(jié)點(diǎn)單獨(dú)建立一條連接用于命令復(fù)制,默認(rèn)配置是:client-output-buffer-limit slave 256mb 64mb 60猪瞬。當(dāng)主從節(jié)點(diǎn)之間網(wǎng)絡(luò)延遲較高或主節(jié)點(diǎn)掛載大量從節(jié)點(diǎn)時(shí)這部分內(nèi)存消耗將占用很大一部分憎瘸,建議主節(jié)點(diǎn)掛載的從節(jié)點(diǎn)不要多于2個(gè),主從節(jié)點(diǎn)不要部署在較差的網(wǎng)絡(luò)環(huán)境下陈瘦,如異地跨機(jī)房幌甘,防止復(fù)制客戶端連接緩慢造成溢出。
    2. 訂閱客戶端:當(dāng)使用發(fā)布訂閱功能時(shí)痊项,連接客戶端使用單獨(dú)的輸出緩沖區(qū)锅风,默認(rèn)配置為:client-output-buffer-limit pubsub 32mb 8mb 60,當(dāng)訂閱服務(wù)的消息生產(chǎn)快于消費(fèi)速度時(shí)鞍泉,輸出緩沖區(qū)會(huì)產(chǎn)生積壓造成輸出緩沖區(qū)空間溢出皱埠。
  • 復(fù)制積壓緩沖區(qū):Redis在2.8版本之后提供了一個(gè)可重用的固定大小緩沖區(qū)用于實(shí)現(xiàn)部分復(fù)制功能,根據(jù)repl-backlog-size參數(shù)控制咖驮,默認(rèn)為1MB边器。對(duì)于復(fù)制積壓緩沖區(qū)整個(gè)主節(jié)點(diǎn)只有一個(gè),所有從節(jié)點(diǎn)共享此緩沖區(qū)托修,因此可以設(shè)置較大的緩沖區(qū)空間忘巧,如100MB。
  • AOF緩沖區(qū):這部分空間用于在Redis重寫期間保存最近的寫入命令诀黍。
3.內(nèi)存碎片

Redis默認(rèn)的內(nèi)存分配器采用jemalloc袋坑,可選的分配器還有:glibc、tcmalloc。內(nèi)存分配器為了更好地管理和重復(fù)利用內(nèi)存枣宫,分配內(nèi)存策略一般采用固定范圍的內(nèi)存塊進(jìn)行分配婆誓。
以下場(chǎng)景容易出現(xiàn)高內(nèi)存碎片問題:

  1. 頻繁做更新操作,例如頻繁對(duì)已存在的鍵執(zhí)行append也颤、setrange等更新操作洋幻。
  2. 大量過期鍵刪除,鍵對(duì)象過期刪除后翅娶,釋放的空間無法得到充分利用文留,導(dǎo)致碎片率上升。

解決方式:
1. 數(shù)據(jù)對(duì)齊:在條件允許的情況下盡量做數(shù)據(jù)對(duì)齊竭沫,比如數(shù)據(jù)盡量采用數(shù)字類型或者固定長(zhǎng)度字符串等燥翅,但是這要視具體業(yè)務(wù)而定。
2.安全重啟:重啟節(jié)點(diǎn)可以做到內(nèi)存碎片重新整理蜕提,因此可以利用高可用架構(gòu)森书,比如Sentinel或Cluster,將碎片率過高的主節(jié)點(diǎn)轉(zhuǎn)換為從節(jié)點(diǎn)谎势,進(jìn)行安全重啟凛膏。

?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
  • 序言:七十年代末,一起剝皮案震驚了整個(gè)濱河市脏榆,隨后出現(xiàn)的幾起案子猖毫,更是在濱河造成了極大的恐慌,老刑警劉巖须喂,帶你破解...
    沈念sama閱讀 218,122評(píng)論 6 505
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件吁断,死亡現(xiàn)場(chǎng)離奇詭異,居然都是意外死亡坞生,警方通過查閱死者的電腦和手機(jī)胯府,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 93,070評(píng)論 3 395
  • 文/潘曉璐 我一進(jìn)店門,熙熙樓的掌柜王于貴愁眉苦臉地迎上來恨胚,“玉大人,你說我怎么就攤上這事炎咖≡吲荩” “怎么了?”我有些...
    開封第一講書人閱讀 164,491評(píng)論 0 354
  • 文/不壞的土叔 我叫張陵乘盼,是天一觀的道長(zhǎng)升熊。 經(jīng)常有香客問我,道長(zhǎng)绸栅,這世上最難降的妖魔是什么级野? 我笑而不...
    開封第一講書人閱讀 58,636評(píng)論 1 293
  • 正文 為了忘掉前任,我火速辦了婚禮粹胯,結(jié)果婚禮上蓖柔,老公的妹妹穿的比我還像新娘辰企。我一直安慰自己,他們只是感情好况鸣,可當(dāng)我...
    茶點(diǎn)故事閱讀 67,676評(píng)論 6 392
  • 文/花漫 我一把揭開白布牢贸。 她就那樣靜靜地躺著,像睡著了一般镐捧。 火紅的嫁衣襯著肌膚如雪潜索。 梳的紋絲不亂的頭發(fā)上,一...
    開封第一講書人閱讀 51,541評(píng)論 1 305
  • 那天懂酱,我揣著相機(jī)與錄音竹习,去河邊找鬼。 笑死列牺,一個(gè)胖子當(dāng)著我的面吹牛整陌,可吹牛的內(nèi)容都是我干的。 我是一名探鬼主播昔园,決...
    沈念sama閱讀 40,292評(píng)論 3 418
  • 文/蒼蘭香墨 我猛地睜開眼蔓榄,長(zhǎng)吁一口氣:“原來是場(chǎng)噩夢(mèng)啊……” “哼!你這毒婦竟也來了默刚?” 一聲冷哼從身側(cè)響起甥郑,我...
    開封第一講書人閱讀 39,211評(píng)論 0 276
  • 序言:老撾萬榮一對(duì)情侶失蹤,失蹤者是張志新(化名)和其女友劉穎荤西,沒想到半個(gè)月后澜搅,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體,經(jīng)...
    沈念sama閱讀 45,655評(píng)論 1 314
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡邪锌,尸身上長(zhǎng)有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 37,846評(píng)論 3 336
  • 正文 我和宋清朗相戀三年勉躺,在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了。 大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片觅丰。...
    茶點(diǎn)故事閱讀 39,965評(píng)論 1 348
  • 序言:一個(gè)原本活蹦亂跳的男人離奇死亡饵溅,死狀恐怖,靈堂內(nèi)的尸體忽然破棺而出妇萄,到底是詐尸還是另有隱情蜕企,我是刑警寧澤,帶...
    沈念sama閱讀 35,684評(píng)論 5 347
  • 正文 年R本政府宣布冠句,位于F島的核電站轻掩,受9級(jí)特大地震影響,放射性物質(zhì)發(fā)生泄漏懦底。R本人自食惡果不足惜唇牧,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 41,295評(píng)論 3 329
  • 文/蒙蒙 一、第九天 我趴在偏房一處隱蔽的房頂上張望。 院中可真熱鬧丐重,春花似錦腔召、人聲如沸。這莊子的主人今日做“春日...
    開封第一講書人閱讀 31,894評(píng)論 0 22
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽。三九已至径缅,卻和暖如春掺栅,著一層夾襖步出監(jiān)牢的瞬間,已是汗流浹背纳猪。 一陣腳步聲響...
    開封第一講書人閱讀 33,012評(píng)論 1 269
  • 我被黑心中介騙來泰國打工氧卧, 沒想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留,地道東北人氏堤。 一個(gè)月前我還...
    沈念sama閱讀 48,126評(píng)論 3 370
  • 正文 我出身青樓沙绝,卻偏偏與公主長(zhǎng)得像,于是被迫代替她去往敵國和親鼠锈。 傳聞我的和親對(duì)象是個(gè)殘疾皇子闪檬,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 44,914評(píng)論 2 355

推薦閱讀更多精彩內(nèi)容

  • 前言 Redis是目前最火爆的內(nèi)存數(shù)據(jù)庫之一,通過在內(nèi)存中讀寫數(shù)據(jù)购笆,大大提高了讀寫速度粗悯,可以說Redis是實(shí)現(xiàn)網(wǎng)站...
    小陳阿飛閱讀 805評(píng)論 0 1
  • 前言 Redis是目前最火爆的內(nèi)存數(shù)據(jù)庫之一,通過在內(nèi)存中讀寫數(shù)據(jù)同欠,大大提高了讀寫速度样傍,可以說Redis是實(shí)現(xiàn)網(wǎng)站...
    Java架構(gòu)閱讀 1,278評(píng)論 1 16
  • 1.華哥走進(jìn)辦公室的時(shí)候,大家都愣住了铺遂,因?yàn)樗掷锱e著一個(gè)約一尺寬衫哥,長(zhǎng)六十厘米左右的盒子,紙盒很精致襟锐,蓋子已經(jīng)打開...
    紫渚閱讀 149評(píng)論 0 1
  • 喜歡畫畫從小學(xué)開始撤逢,這么多年了也沒正規(guī)學(xué)過,興致來的時(shí)候就會(huì)拿出畫筆涂?jī)上铝肝搿笛质?墒俏覐膩碇粫?huì)臨摹,想象的人物卻畫不出...
    粥吧閱讀 254評(píng)論 0 0
  • 北風(fēng)其涼,雨雪其雱捞蚂。NBA年終大戲圣誕大戰(zhàn)已經(jīng)落下了帷幕,在一場(chǎng)東部焦點(diǎn)戰(zhàn)中跷究,凱爾特人不敵奇才姓迅,輸?shù)舯荣惖耐瑫r(shí)也將...
    籃球行為大賞閱讀 247評(píng)論 0 0