轉(zhuǎn)載：可能是目前最詳細(xì)的Redis內(nèi)存模型及應(yīng)用解讀

Redis是目前最火爆的內(nèi)存數(shù)據(jù)庫(kù)之一腕唧，通過(guò)在內(nèi)存中讀寫(xiě)數(shù)據(jù)，大大提高了讀寫(xiě)速度信峻，可以說(shuō)Redis是實(shí)現(xiàn)網(wǎng)站高并發(fā)不可或缺的一部分。

我們使用Redis時(shí)，會(huì)接觸Redis的5種對(duì)象類型：字符串渔扎、哈希、列表信轿、集合晃痴、有序集合残吩。豐富的類型是Redis相對(duì)于Memcached等的一大優(yōu)勢(shì)。在了解了Redis 5種對(duì)象類型用法和特點(diǎn)的基礎(chǔ)上倘核，進(jìn)一步了解Redis的內(nèi)存模型泣侮，對(duì)Redis的使用會(huì)有很大幫助，例如：

估算Redis內(nèi)存使用量紧唱。目前為止活尊，內(nèi)存的使用成本仍然相對(duì)較高，使用內(nèi)存不能無(wú)所顧忌漏益；根據(jù)需求合理的評(píng)估Redis的內(nèi)存使用量蛹锰，選擇合適的機(jī)器配置，可以在滿足需求的情況下節(jié)約成本绰疤。

優(yōu)化內(nèi)存占用铜犬。了解Redis內(nèi)存模型可以選擇更合適的數(shù)據(jù)類型和編碼，更好的利用Redis內(nèi)存轻庆。

分析解決問(wèn)題癣猾。當(dāng)Redis出現(xiàn)阻塞、內(nèi)存占用等問(wèn)題時(shí)榨了，盡快發(fā)現(xiàn)導(dǎo)致問(wèn)題的原因煎谍，便于分析解決問(wèn)題。

本文主要介紹以3.0為例的Redis的內(nèi)存模型龙屉，包括：Redis占用內(nèi)存的情況及如何查詢呐粘、不同的對(duì)象類型在內(nèi)存中的編碼方式、內(nèi)存分配器（jemalloc）转捕、簡(jiǎn)單動(dòng)態(tài)字符串（SDS）作岖、RedisObject等。然后在此基礎(chǔ)上介紹幾個(gè)Redis內(nèi)存模型的應(yīng)用五芝。

一痘儡、Redis內(nèi)存統(tǒng)計(jì)

工欲善其事必先利其器，在說(shuō)明Redis內(nèi)存之前枢步，首先說(shuō)明如何統(tǒng)計(jì)Redis使用內(nèi)存的情況是很有必要的沉删。

在客戶端通過(guò)redis-cli連接服務(wù)器后（后面如無(wú)特殊說(shuō)明，客戶端一律使用redis-cli）醉途，通過(guò)info命令可以查看內(nèi)存使用情況：

info memory

其中矾瑰，info命令可以顯示redis服務(wù)器的許多信息，包括服務(wù)器基本信息隘擎、CPU殴穴、內(nèi)存、持久化、客戶端連接信息等等采幌；memory是參數(shù)劲够，表示只顯示內(nèi)存相關(guān)的信息。

返回結(jié)果中比較重要的幾個(gè)說(shuō)明如下：

（1）used_memory：即Redis分配器分配的內(nèi)存總量（單位是字節(jié)）休傍，包括使用的虛擬內(nèi)存（即swap）征绎；Redis分配器后面會(huì)介紹。used_memory_human只是顯示更友好尊残。

（2）used_memory_rss：即Redis進(jìn)程占據(jù)操作系統(tǒng)的內(nèi)存（單位是字節(jié)）炒瘸，與top及ps命令看到的值是一致的；除了分配器分配的內(nèi)存之外寝衫，used_memory_rss還包括進(jìn)程運(yùn)行本身需要的內(nèi)存顷扩、內(nèi)存碎片等，但是不包括虛擬內(nèi)存慰毅。

因此隘截，used_memory和used_memory_rss，前者是從Redis角度得到的量汹胃，后者是從操作系統(tǒng)角度得到的量婶芭。二者之所以有所不同，一方面是因?yàn)閮?nèi)存碎片和Redis進(jìn)程運(yùn)行需要占用內(nèi)存着饥，使得前者可能比后者小犀农，另一方面虛擬內(nèi)存的存在，使得前者可能比后者大宰掉。

由于在實(shí)際應(yīng)用中呵哨，Redis的數(shù)據(jù)量會(huì)比較大，此時(shí)進(jìn)程運(yùn)行占用的內(nèi)存與Redis數(shù)據(jù)量和內(nèi)存碎片相比轨奄，都會(huì)小得多孟害；因此used_memory_rss和used_memory的比例便成了衡量Redis內(nèi)存碎片率的參數(shù)；這個(gè)參數(shù)就是mem_fragmentation_ratio挪拟。

（3）mem_fragmentation_ratio：即內(nèi)存碎片比率挨务，該值是used_memory_rss / used_memory的比值。

mem_fragmentation_ratio一般大于1玉组，且該值越大谎柄，內(nèi)存碎片比例越大。如果mem_fragmentation_ratio<1惯雳，說(shuō)明Redis使用了虛擬內(nèi)存谷誓，由于虛擬內(nèi)存的媒介是磁盤(pán)，比內(nèi)存速度要慢很多吨凑，當(dāng)這種情況出現(xiàn)時(shí)，應(yīng)該及時(shí)排查，如果內(nèi)存不足應(yīng)該及時(shí)處理鸵钝，如增加Redis節(jié)點(diǎn)糙臼、增加Redis服務(wù)器的內(nèi)存、優(yōu)化應(yīng)用等恩商。

一般來(lái)說(shuō)变逃，mem_fragmentation_ratio在1.03左右是比較健康的狀態(tài)（對(duì)于jemalloc來(lái)說(shuō)）；上面截圖中的mem_fragmentation_ratio值很大怠堪，是因?yàn)檫€沒(méi)有向Redis中存入數(shù)據(jù)揽乱，Redis進(jìn)程本身運(yùn)行的內(nèi)存使得used_memory_rss 比used_memory大得多。

（4）mem_allocator：即Redis使用的內(nèi)存分配器粟矿，在編譯時(shí)指定凰棉，可以是 libc 、jemalloc或者tcmalloc陌粹，默認(rèn)是jemalloc撒犀。截圖中使用的便是默認(rèn)的jemalloc。

二掏秩、Redis內(nèi)存劃分

Redis作為內(nèi)存數(shù)據(jù)庫(kù)或舞，在內(nèi)存中存儲(chǔ)的內(nèi)容主要是數(shù)據(jù)（鍵值對(duì)）。通過(guò)前面的敘述可以知道蒙幻，除了數(shù)據(jù)以外映凳，Redis的其它部分也會(huì)占用內(nèi)存。

Redis的內(nèi)存占用主要可以劃分為以下幾個(gè)部分：

1邮破、數(shù)據(jù)

作為數(shù)據(jù)庫(kù)诈豌，數(shù)據(jù)是最主要的部分，這部分占用的內(nèi)存會(huì)統(tǒng)計(jì)在used_memory中决乎。

Redis使用鍵值對(duì)存儲(chǔ)數(shù)據(jù)队询，其中的值（對(duì)象）包括5種類型：字符串、哈希构诚、列表蚌斩、集合、有序集合范嘱。

這5種類型是Redis對(duì)外提供的送膳。實(shí)際上，在Redis內(nèi)部丑蛤，每種類型可能有2種或更多的內(nèi)部編碼實(shí)現(xiàn)叠聋。此外，Redis在存儲(chǔ)對(duì)象時(shí)受裹，并不是直接將數(shù)據(jù)扔進(jìn)內(nèi)存碌补，而是會(huì)對(duì)對(duì)象進(jìn)行各種包裝：如RedisObject虏束、SDS等。本文后面將重點(diǎn)介紹Redis中數(shù)據(jù)存儲(chǔ)的細(xì)節(jié)厦章。

2镇匀、進(jìn)程本身運(yùn)行需要的內(nèi)存

Redis主進(jìn)程本身運(yùn)行肯定需要占用內(nèi)存，如代碼袜啃、常量池等等汗侵。這部分內(nèi)存大約幾兆，在大多數(shù)生產(chǎn)環(huán)境中與Redis數(shù)據(jù)占用的內(nèi)存相比可以忽略群发。這部分內(nèi)存不是由jemalloc分配晰韵，因此不會(huì)統(tǒng)計(jì)在used_memory中。

補(bǔ)充說(shuō)明：除了主進(jìn)程外熟妓，Redis創(chuàng)建的子進(jìn)程運(yùn)行也會(huì)占用內(nèi)存雪猪，如Redis執(zhí)行AOF、RDB重寫(xiě)時(shí)創(chuàng)建的子進(jìn)程滑蚯。當(dāng)然浪蹂，這部分內(nèi)存不屬于Redis進(jìn)程，也不會(huì)統(tǒng)計(jì)在used_memory和used_memory_rss中告材。

3坤次、緩沖內(nèi)存

緩沖內(nèi)存包括：

客戶端緩沖區(qū)：存儲(chǔ)客戶端連接的輸入輸出緩沖；

復(fù)制積壓緩沖區(qū)：用于部分復(fù)制功能斥赋；

AOF緩沖區(qū)：用于在進(jìn)行AOF重寫(xiě)時(shí)缰猴，保存最近的寫(xiě)入命令。

在了解相應(yīng)功能之前疤剑，不需要知道這些緩沖的細(xì)節(jié)滑绒。這部分內(nèi)存由jemalloc分配，因此會(huì)統(tǒng)計(jì)在used_memory中隘膘。

4疑故、內(nèi)存碎片

內(nèi)存碎片是Redis在分配、回收物理內(nèi)存過(guò)程中產(chǎn)生的弯菊。例如纵势，如果對(duì)數(shù)據(jù)更改頻繁，而且數(shù)據(jù)之間的大小相差很大管钳，可能導(dǎo)致Redis釋放的空間在物理內(nèi)存中并沒(méi)有釋放钦铁，但Redis又無(wú)法有效利用，這就形成了內(nèi)存碎片才漆。內(nèi)存碎片不會(huì)統(tǒng)計(jì)在used_memory中牛曹。

內(nèi)存碎片的產(chǎn)生與對(duì)數(shù)據(jù)進(jìn)行的操作、數(shù)據(jù)的特點(diǎn)等都有關(guān)醇滥。此外黎比，與使用的內(nèi)存分配器也有關(guān)系——如果內(nèi)存分配器設(shè)計(jì)合理超营，可以盡可能的減少內(nèi)存碎片的產(chǎn)生。后面將要說(shuō)到的jemalloc便在控制內(nèi)存碎片方面做的很好阅虫。

如果Redis服務(wù)器中的內(nèi)存碎片已經(jīng)很大糟描，可以通過(guò)安全重啟的方式減小內(nèi)存碎片。因?yàn)橹貑⒅笫槠蓿琑edis重新從備份文件中讀取數(shù)據(jù)，在內(nèi)存中進(jìn)行重排躬拢，為每個(gè)數(shù)據(jù)重新選擇合適的內(nèi)存單元躲履，減小內(nèi)存碎片。

三聊闯、Redis數(shù)據(jù)存儲(chǔ)的細(xì)節(jié)

1工猜、概述

關(guān)于Redis數(shù)據(jù)存儲(chǔ)的細(xì)節(jié)，涉及到內(nèi)存分配器（如jemalloc）菱蔬、簡(jiǎn)單動(dòng)態(tài)字符串（SDS）篷帅、5種對(duì)象類型及內(nèi)部編碼、RedisObject拴泌。在講述具體內(nèi)容之前魏身，先說(shuō)明一下這幾個(gè)概念之間的關(guān)系。

下圖是執(zhí)行set hello world時(shí)蚪腐，所涉及到的數(shù)據(jù)模型箭昵。

圖片來(lái)源：https://searchdatabase.techtarget.com.cn/7-20218/

（1）dictEntry：Redis是Key-Value數(shù)據(jù)庫(kù)，因此對(duì)每個(gè)鍵值對(duì)都會(huì)有一個(gè)dictEntry回季，里面存儲(chǔ)了指向Key和Value的指針家制；next指向下一個(gè)dictEntry，與本Key-Value無(wú)關(guān)泡一。

（2）Key：圖中右上角可見(jiàn)颤殴，Key（“hello”）并不是直接以字符串存儲(chǔ)，而是存儲(chǔ)在SDS結(jié)構(gòu)中鼻忠。

（3）redisObject：Value(“world”)既不是直接以字符串存儲(chǔ)涵但，也不是像Key一樣直接存儲(chǔ)在SDS中，而是存儲(chǔ)在redisObject中粥烁。實(shí)際上贤笆，不論Value是5種類型的哪一種，都是通過(guò)RedisObject來(lái)存儲(chǔ)的讨阻；而RedisObject中的type字段指明了Value對(duì)象的類型芥永，ptr字段則指向?qū)ο笏诘牡刂贰２贿^(guò)可以看出钝吮，字符串對(duì)象雖然經(jīng)過(guò)了RedisObject的包裝埋涧，但仍然需要通過(guò)SDS存儲(chǔ)板辽。

實(shí)際上，RedisObject除了type和ptr字段以外棘催，還有其它字段圖中沒(méi)有給出劲弦，如用于指定對(duì)象內(nèi)部編碼的字段。后面會(huì)詳細(xì)介紹醇坝。

（4）jemalloc：無(wú)論是DictEntry對(duì)象邑跪，還是RedisObject、SDS對(duì)象呼猪，都需要內(nèi)存分配器（如jemalloc）分配內(nèi)存進(jìn)行存儲(chǔ)画畅。以DictEntry對(duì)象為例，有3個(gè)指針組成宋距，在64位機(jī)器下占24個(gè)字節(jié)轴踱，jemalloc會(huì)為它分配32字節(jié)大小的內(nèi)存單元。

下面來(lái)分別介紹jemalloc谚赎、RedisObject淫僻、SDS、對(duì)象類型及內(nèi)部編碼壶唤。

2雳灵、jemalloc

Redis在編譯時(shí)便會(huì)指定內(nèi)存分配器；內(nèi)存分配器可以是 libc 视粮、jemalloc或者tcmalloc细办，默認(rèn)是jemalloc。

jemalloc作為Redis的默認(rèn)內(nèi)存分配器蕾殴，在減小內(nèi)存碎片方面做的相對(duì)比較好笑撞。jemalloc在64位系統(tǒng)中，將內(nèi)存空間劃分為小钓觉、大茴肥、巨大三個(gè)范圍；每個(gè)范圍內(nèi)又劃分了許多小的內(nèi)存塊單位荡灾；當(dāng)Redis存儲(chǔ)數(shù)據(jù)時(shí)瓤狐，會(huì)選擇大小最合適的內(nèi)存塊進(jìn)行存儲(chǔ)。

jemalloc劃分的內(nèi)存單元如下圖所示：

圖片來(lái)源：

http://blog.csdn.net/zhengpeitao/article/details/76573053

例如批幌，如果需要存儲(chǔ)大小為130字節(jié)的對(duì)象础锐，jemalloc會(huì)將其放入160字節(jié)的內(nèi)存單元中。

3荧缘、RedisObject

前面說(shuō)到皆警，Redis對(duì)象有5種類型；無(wú)論是哪種類型截粗，Redis都不會(huì)直接存儲(chǔ)信姓，而是通過(guò)RedisObject對(duì)象進(jìn)行存儲(chǔ)鸵隧。

RedisObject對(duì)象非常重要，Redis對(duì)象的類型意推、內(nèi)部編碼豆瘫、內(nèi)存回收、共享對(duì)象等功能菊值，都需要RedisObject支持外驱，下面將通過(guò)RedisObject的結(jié)構(gòu)來(lái)說(shuō)明它是如何起作用的。

RedisObject的定義如下（不同版本的Redis可能稍稍有所不同）：

typedef?struct?redisObject {

　　unsigned type:4;

　　unsigned encoding:4;

　　unsigned lru:REDIS_LRU_BITS;?/* lru time (relative to server.lruclock) */

　　int?refcount;

　　void?*ptr;

} robj;

RedisObject的每個(gè)字段的含義和作用如下：

（1）type

type字段表示對(duì)象的類型腻窒，占4個(gè)比特略步；目前包括REDIS_STRING(字符串)、REDIS_LIST (列表)定页、REDIS_HASH(哈希)、REDIS_SET(集合)绽诚、REDIS_ZSET(有序集合)典徊。

當(dāng)我們執(zhí)行type命令時(shí)，便是通過(guò)讀取RedisObject的type字段獲得對(duì)象的類型恩够。如下圖所示：

（2）encoding

encoding表示對(duì)象的內(nèi)部編碼卒落，占4個(gè)比特。

對(duì)于Redis支持的每種類型蜂桶，都有至少兩種內(nèi)部編碼儡毕，例如對(duì)于字符串，有int扑媚、embstr腰湾、raw三種編碼。通過(guò)encoding屬性疆股，Redis可以根據(jù)不同的使用場(chǎng)景來(lái)為對(duì)象設(shè)置不同的編碼费坊，大大提高了Redis的靈活性和效率。

以列表對(duì)象為例旬痹，有壓縮列表和雙端鏈表兩種編碼方式附井；如果列表中的元素較少，Redis傾向于使用壓縮列表進(jìn)行存儲(chǔ)茵乱，因?yàn)閴嚎s列表占用內(nèi)存更少砾省，而且比雙端鏈表可以更快載入筑悴；當(dāng)列表對(duì)象元素較多時(shí)，壓縮列表就會(huì)轉(zhuǎn)化為更適合存儲(chǔ)大量元素的雙端鏈表沼死。

通過(guò)object encoding命令，可以查看對(duì)象采用的編碼方式票从，如下圖所示：

5種對(duì)象類型對(duì)應(yīng)的編碼方式以及使用條件漫雕，將在后面介紹滨嘱。

（3）lru

lru記錄的是對(duì)象最后一次被命令程序訪問(wèn)的時(shí)間，占據(jù)的比特?cái)?shù)不同的版本有所不同（如4.0版本占24比特浸间，2.6版本占22比特）太雨。

通過(guò)對(duì)比lru時(shí)間與當(dāng)前時(shí)間，可以計(jì)算某個(gè)對(duì)象的空轉(zhuǎn)時(shí)間魁蒜；object idletime命令可以顯示該空轉(zhuǎn)時(shí)間（單位是秒）囊扳。object idletime命令的一個(gè)特殊之處在于它不改變對(duì)象的lru值。

lru值除了通過(guò)object idletime命令打印之外兜看，還與Redis的內(nèi)存回收有關(guān)系：如果Redis打開(kāi)了maxmemory選項(xiàng)锥咸，且內(nèi)存回收算法選擇的是volatile-lru或allkeys—lru，那么當(dāng)Redis內(nèi)存占用超過(guò)maxmemory指定的值時(shí)细移，Redis會(huì)優(yōu)先選擇空轉(zhuǎn)時(shí)間最長(zhǎng)的對(duì)象進(jìn)行釋放搏予。

（4）refcount

refcount與共享對(duì)象

refcount記錄的是該對(duì)象被引用的次數(shù)，類型為整型弧轧。refcount的作用雪侥，主要在于對(duì)象的引用計(jì)數(shù)和內(nèi)存回收：

當(dāng)創(chuàng)建新對(duì)象時(shí)，refcount初始化為1精绎；

當(dāng)有新程序使用該對(duì)象時(shí)速缨，refcount加1；

當(dāng)對(duì)象不再被一個(gè)新程序使用時(shí)代乃，refcount減1旬牲；

當(dāng)refcount變?yōu)?時(shí)，對(duì)象占用的內(nèi)存會(huì)被釋放搁吓。

Redis中被多次使用的對(duì)象(refcount>1)稱為共享對(duì)象原茅。Redis為了節(jié)省內(nèi)存，當(dāng)有一些對(duì)象重復(fù)出現(xiàn)時(shí)堕仔，新的程序不會(huì)創(chuàng)建新的對(duì)象员咽，而是仍然使用原來(lái)的對(duì)象。這個(gè)被重復(fù)使用的對(duì)象贮预，就是共享對(duì)象贝室。目前共享對(duì)象僅支持整數(shù)值的字符串對(duì)象。

共享對(duì)象的具體實(shí)現(xiàn)

Redis的共享對(duì)象目前只支持整數(shù)值的字符串對(duì)象仿吞。之所以如此滑频，實(shí)際上是對(duì)內(nèi)存和CPU（時(shí)間）的平衡：共享對(duì)象雖然會(huì)降低內(nèi)存消耗，但是判斷兩個(gè)對(duì)象是否相等卻需要消耗額外的時(shí)間唤冈。

對(duì)于整數(shù)值峡迷，判斷操作復(fù)雜度為O(1)；

對(duì)于普通字符串，判斷復(fù)雜度為O(n)绘搞；

而對(duì)于哈希彤避、列表、集合和有序集合夯辖，判斷的復(fù)雜度為O(n^2)琉预。

雖然共享對(duì)象只能是整數(shù)值的字符串對(duì)象，但是5種類型都可能使用共享對(duì)象（如哈希蒿褂、列表等的元素可以使用）圆米。

就目前的實(shí)現(xiàn)來(lái)說(shuō)，Redis服務(wù)器在初始化時(shí)啄栓，會(huì)創(chuàng)建10000個(gè)字符串對(duì)象娄帖，值分別是0~9999的整數(shù)值；當(dāng)Redis需要使用值為0~9999的字符串對(duì)象時(shí)昙楚，可以直接使用這些共享對(duì)象近速。10000這個(gè)數(shù)字可以通過(guò)調(diào)整參數(shù)REDIS_SHARED_INTEGERS（4.0中是OBJ_SHARED_INTEGERS）的值進(jìn)行改變。

共享對(duì)象的引用次數(shù)可以通過(guò)object refcount命令查看堪旧，如下圖所示数焊。命令執(zhí)行的結(jié)果頁(yè)佐證了只有0~9999之間的整數(shù)會(huì)作為共享對(duì)象。

（5）ptr

ptr指針指向具體的數(shù)據(jù)崎场，如前面的例子中，set hello world遂蛀，ptr指向包含字符串world的SDS谭跨。

（6）總結(jié)

綜上所述，redisObject的結(jié)構(gòu)與對(duì)象類型李滴、編碼螃宙、內(nèi)存回收、共享對(duì)象都有關(guān)系所坯；一個(gè)redisObject對(duì)象的大小為16字節(jié)：

4bit+4bit+24bit+4Byte+8Byte=16Byte谆扎。

4、SDS

Redis沒(méi)有直接使用C字符串(即以空字符‘\0’結(jié)尾的字符數(shù)組)作為默認(rèn)的字符串表示芹助，而是使用了SDS堂湖。SDS是簡(jiǎn)單動(dòng)態(tài)字符串(Simple Dynamic String)的縮寫(xiě)。

（1）SDS結(jié)構(gòu)

sds的結(jié)構(gòu)如下：

struct?sdshdr {

????int?len;

????int?free;

????char?buf[];

};

其中状土，buf表示字節(jié)數(shù)組无蜂，用來(lái)存儲(chǔ)字符串；len表示buf已使用的長(zhǎng)度蒙谓，free表示buf未使用的長(zhǎng)度斥季。

下面是兩個(gè)例子：

圖片來(lái)源：《Redis設(shè)計(jì)與實(shí)現(xiàn)》

通過(guò)SDS的結(jié)構(gòu)可以看出，buf數(shù)組的長(zhǎng)度=free+len+1（其中1表示字符串結(jié)尾的空字符）；所以酣倾，一個(gè)SDS結(jié)構(gòu)占據(jù)的空間為：free所占長(zhǎng)度+len所占長(zhǎng)度+ buf數(shù)組的長(zhǎng)度=4+4+free+len+1=free+len+9舵揭。

（2）SDS與C字符串的比較

SDS在C字符串的基礎(chǔ)上加入了free和len字段，帶來(lái)了很多好處：

獲取字符串長(zhǎng)度：SDS是O(1)躁锡，C字符串是O(n)午绳。

緩沖區(qū)溢出：使用C字符串的API時(shí)，如果字符串長(zhǎng)度增加（如strcat操作）而忘記重新分配內(nèi)存稚铣，很容易造成緩沖區(qū)的溢出箱叁；而SDS由于記錄了長(zhǎng)度，相應(yīng)的API在可能造成緩沖區(qū)溢出時(shí)會(huì)自動(dòng)重新分配內(nèi)存惕医，杜絕了緩沖區(qū)溢出耕漱。

修改字符串時(shí)內(nèi)存的重分配：對(duì)于C字符串，如果要修改字符串抬伺，必須要重新分配內(nèi)存（先釋放再申請(qǐng)）螟够，因?yàn)槿绻麤](méi)有重新分配，字符串長(zhǎng)度增大時(shí)會(huì)造成內(nèi)存緩沖區(qū)溢出峡钓，字符串長(zhǎng)度減小時(shí)會(huì)造成內(nèi)存泄露妓笙。而對(duì)于SDS，由于可以記錄len和free能岩，因此解除了字符串長(zhǎng)度和空間數(shù)組長(zhǎng)度之間的關(guān)聯(lián)寞宫，可以在此基礎(chǔ)上進(jìn)行優(yōu)化——空間預(yù)分配策略（即分配內(nèi)存時(shí)比實(shí)際需要的多）使得字符串長(zhǎng)度增大時(shí)重新分配內(nèi)存的概率大大減小拉鹃；惰性空間釋放策略使得字符串長(zhǎng)度減小時(shí)重新分配內(nèi)存的概率大大減小辈赋。

存取二進(jìn)制數(shù)據(jù)：SDS可以，C字符串不可以膏燕。因?yàn)镃字符串以空字符作為字符串結(jié)束的標(biāo)識(shí)钥屈，而對(duì)于一些二進(jìn)制文件（如圖片等），內(nèi)容可能包括空字符串坝辫，因此C字符串無(wú)法正確存扰窬汀；而SDS以字符串長(zhǎng)度len來(lái)作為字符串結(jié)束標(biāo)識(shí)近忙，因此沒(méi)有這個(gè)問(wèn)題竭业。

此外，由于SDS中的buf仍然使用了C字符串（即以‘\0’結(jié)尾）及舍，因此SDS可以使用C字符串庫(kù)中的部分函數(shù)永品。但是需要注意的是，只有當(dāng)SDS用來(lái)存儲(chǔ)文本數(shù)據(jù)時(shí)才可以這樣使用击纬，在存儲(chǔ)二進(jìn)制數(shù)據(jù)時(shí)則不行（‘\0’不一定是結(jié)尾）鼎姐。

（3）SDS與C字符串的應(yīng)用

Redis在存儲(chǔ)對(duì)象時(shí)，一律使用SDS代替C字符串。例如set hello world命令炕桨，hello和world都是以SDS的形式存儲(chǔ)的饭尝。而sadd myset member1 member2 member3命令，不論是鍵“myset”献宫，還是集合中的元素member1钥平、?member2和member3，都是以SDS的形式存儲(chǔ)姊途。除了存儲(chǔ)對(duì)象涉瘾，SDS還用于存儲(chǔ)各種緩沖區(qū)。

只有在字符串不會(huì)改變的情況下捷兰，如打印日志時(shí)立叛，才會(huì)使用C字符串。

四贡茅、Redis的對(duì)象類型與內(nèi)部編碼

前面已經(jīng)說(shuō)過(guò)秘蛇，Redis支持5種對(duì)象類型，而每種結(jié)構(gòu)都有至少兩種編碼顶考。這樣做的好處在于：一方面接口與實(shí)現(xiàn)分離赁还，當(dāng)需要增加或改變內(nèi)部編碼時(shí)，用戶使用不受影響驹沿，另一方面可以根據(jù)不同的應(yīng)用場(chǎng)景切換內(nèi)部編碼艘策，提高效率。

Redis各種對(duì)象類型支持的內(nèi)部編碼如下圖所示（圖中版本是Redis3.0渊季，Redis后面版本中又增加了內(nèi)部編碼朋蔫，略過(guò)不提。本章所介紹的內(nèi)部編碼都是基于3.0的）：

圖片來(lái)源：《Redis設(shè)計(jì)與實(shí)現(xiàn)》

關(guān)于Redis內(nèi)部編碼的轉(zhuǎn)換梭域，都符合以下規(guī)律：編碼轉(zhuǎn)換在Redis寫(xiě)入數(shù)據(jù)時(shí)完成，且轉(zhuǎn)換過(guò)程不可逆搅轿，只能從小內(nèi)存編碼向大內(nèi)存編碼轉(zhuǎn)換病涨。

1、字符串

（1）概況

字符串是最基礎(chǔ)的類型璧坟，因?yàn)樗械逆I都是字符串類型既穆，且字符串之外的其他幾種復(fù)雜類型的元素也是字符串。字符串長(zhǎng)度不能超過(guò)512MB雀鹃。

（2）內(nèi)部編碼

字符串類型的內(nèi)部編碼有3種幻工，它們的應(yīng)用場(chǎng)景如下：

int：8個(gè)字節(jié)的長(zhǎng)整型。字符串值是整型時(shí)黎茎，這個(gè)值使用long整型表示囊颅。

embstr：<=39字節(jié)的字符串。embstr與raw都使用RedisObject和SDS保存數(shù)據(jù)。區(qū)別在于：embstr的使用只分配一次內(nèi)存空間（因此RedisObject和SDS是連續(xù)的）踢代，而raw需要分配兩次內(nèi)存空間（分別為RedisObject和SDS分配空間）盲憎。因此與raw相比，embstr的好處在于創(chuàng)建時(shí)少分配一次空間胳挎、刪除時(shí)少釋放一次空間饼疙、對(duì)象的所有數(shù)據(jù)連在一起，尋找方便慕爬。而embstr的壞處也很明顯：如果字符串的長(zhǎng)度增加需要重新分配內(nèi)存時(shí)窑眯，整個(gè)RedisObject和SDS都需要重新分配空間，因此Redis中的embstr實(shí)現(xiàn)為只讀医窿。

raw：大于39個(gè)字節(jié)的字符串

示例如下圖所示：

embstr和raw進(jìn)行區(qū)分的長(zhǎng)度是39是因?yàn)镽edisObject的長(zhǎng)度是16字節(jié)磅甩，SDS的長(zhǎng)度是9+字符串長(zhǎng)度.因此當(dāng)字符串長(zhǎng)度是39時(shí)，embstr的長(zhǎng)度正好是16+9+39=64留搔，jemalloc正好可以分配64字節(jié)的內(nèi)存單元更胖。

（3）編碼轉(zhuǎn)換

當(dāng)int數(shù)據(jù)不再是整數(shù)，或大小超過(guò)了long的范圍時(shí)隔显，自動(dòng)轉(zhuǎn)化為raw却妨。

而對(duì)于embstr，由于其實(shí)現(xiàn)是只讀的括眠，因此在對(duì)embstr對(duì)象進(jìn)行修改時(shí)彪标，都會(huì)先轉(zhuǎn)化為raw再進(jìn)行修改，因此掷豺，只要是修改embstr對(duì)象捞烟，修改后的對(duì)象一定是raw的，無(wú)論是否達(dá)到了39個(gè)字節(jié)当船。示例如下圖所示：

2题画、列表

（1）概況

列表（list）用來(lái)存儲(chǔ)多個(gè)有序的字符串，每個(gè)字符串稱為元素德频；一個(gè)列表可以存儲(chǔ)2^32-1個(gè)元素苍息。Redis中的列表支持兩端插入和彈出，并可以獲得指定位置（或范圍）的元素壹置，可以充當(dāng)數(shù)組竞思、隊(duì)列、棧等钞护。

（2）內(nèi)部編碼

列表的內(nèi)部編碼可以是壓縮列表（ziplist）或雙端鏈表（linkedlist）盖喷。

雙端鏈表：由一個(gè)list結(jié)構(gòu)和多個(gè)listNode結(jié)構(gòu)組成，典型結(jié)構(gòu)如下圖所示：

圖片來(lái)源：《Redis設(shè)計(jì)與實(shí)現(xiàn)》

通過(guò)圖中可以看出难咕，雙端鏈表同時(shí)保存了表頭指針和表尾指針课梳，并且每個(gè)節(jié)點(diǎn)都有指向前和指向后的指針距辆。鏈表中保存了列表的長(zhǎng)度，dup惦界、free和match為節(jié)點(diǎn)值設(shè)置類型特定函數(shù)挑格，所以鏈表可以用于保存各種不同類型的值。而鏈表中每個(gè)節(jié)點(diǎn)指向的是type為字符串的RedisObject沾歪。

壓縮列表：壓縮列表是Redis為了節(jié)約內(nèi)存而開(kāi)發(fā)的漂彤，是由一系列特殊編碼的連續(xù)內(nèi)存塊（而不是像雙端鏈表一樣每個(gè)節(jié)點(diǎn)是指針）組成的順序型數(shù)據(jù)結(jié)構(gòu)；具體結(jié)構(gòu)相對(duì)比較復(fù)雜灾搏，略挫望。與雙端鏈表相比，壓縮列表可以節(jié)省內(nèi)存空間狂窑，但是進(jìn)行修改或增刪操作時(shí)媳板，復(fù)雜度較高，因此當(dāng)節(jié)點(diǎn)數(shù)量較少時(shí)泉哈，可以使用壓縮列表蛉幸。但是節(jié)點(diǎn)數(shù)量多時(shí)，還是使用雙端鏈表劃算丛晦。

壓縮列表不僅用于實(shí)現(xiàn)列表奕纫，也用于實(shí)現(xiàn)哈希、有序列表烫沙，使用非常廣泛匹层。

（3）編碼轉(zhuǎn)換

只有同時(shí)滿足下面兩個(gè)條件時(shí)，才會(huì)使用壓縮列表：

列表中元素?cái)?shù)量小于512個(gè)锌蓄；

列表中所有字符串對(duì)象都不足64字節(jié)升筏。

如果有一個(gè)條件不滿足，則使用雙端列表瘸爽，且編碼只可能由壓縮列表轉(zhuǎn)化為雙端鏈表您访，反方向則不可能。

下圖展示了列表編碼轉(zhuǎn)換的特點(diǎn)：

其中剪决，單個(gè)字符串不能超過(guò)64字節(jié)灵汪，是為了便于統(tǒng)一分配每個(gè)節(jié)點(diǎn)的長(zhǎng)度。這里的64字節(jié)是指字符串的長(zhǎng)度昼捍，不包括SDS結(jié)構(gòu)识虚，因?yàn)閴嚎s列表使用連續(xù)肢扯、定長(zhǎng)內(nèi)存塊存儲(chǔ)字符串妒茬，不需要SDS結(jié)構(gòu)指明長(zhǎng)度。后面提到壓縮列表蔚晨，也會(huì)強(qiáng)調(diào)長(zhǎng)度不超過(guò)64字節(jié)乍钻，原理與這里類似肛循。

3、哈希

（1）概況

哈希作為一種數(shù)據(jù)結(jié)構(gòu)银择，不僅與字符串多糠、列表、集合浩考、有序結(jié)合并列夹孔，是Redis對(duì)外提供的5種對(duì)象類型的一種，也是Redis作為Key-Value數(shù)據(jù)庫(kù)所使用的數(shù)據(jù)結(jié)構(gòu)析孽。為了說(shuō)明的方便搭伤，在本文后面當(dāng)使用“內(nèi)層的哈希”時(shí)袜瞬，代表的是Redis對(duì)外提供的5種對(duì)象類型的一種怜俐；使用“外層的哈希”代指Redis作為Key-Value數(shù)據(jù)庫(kù)所使用的數(shù)據(jù)結(jié)構(gòu)邓尤。

（2）內(nèi)部編碼

內(nèi)層的哈希使用的內(nèi)部編碼可以是壓縮列表（ziplist）和哈希表（hashtable）兩種拍鲤；Redis的外層的哈希則只使用了hashtable。

壓縮列表前面已介紹汞扎。與哈希表相比季稳，壓縮列表用于元素個(gè)數(shù)少、元素長(zhǎng)度小的場(chǎng)景佩捞，其優(yōu)勢(shì)在于集中存儲(chǔ)绞幌，節(jié)省空間。同時(shí)一忱，雖然對(duì)于元素的操作復(fù)雜度也由O(n)變?yōu)榱薕(1)莲蜘，但由于哈希中元素?cái)?shù)量較少，因此操作的時(shí)間并沒(méi)有明顯劣勢(shì)帘营。

hashtable：一個(gè)hashtable由1個(gè)dict結(jié)構(gòu)票渠、2個(gè)dictht結(jié)構(gòu)、1個(gè)dictEntry指針數(shù)組（稱為bucket）和多個(gè)dictEntry結(jié)構(gòu)組成芬迄。

正常情況下问顷，即hashtable沒(méi)有進(jìn)行rehash時(shí)，各部分關(guān)系如下圖所示：

圖片改編自：《Redis設(shè)計(jì)與實(shí)現(xiàn)》

下面從底層向上依次介紹各個(gè)部分：

dictEntry

dictEntry結(jié)構(gòu)用于保存鍵值對(duì)禀梳，結(jié)構(gòu)定義如下：

typedef?struct?dictEntry{

????void?*key;

????union{

????????void?*val;

????????uint64_tu64;

????????int64_ts64;

????}v;

????struct?dictEntry *next;

}dictEntry;

其中杜窄，各個(gè)屬性的功能如下：

key：鍵值對(duì)中的鍵；

val：鍵值對(duì)中的值算途，使用union(即共用體)實(shí)現(xiàn)塞耕，存儲(chǔ)的內(nèi)容既可能是一個(gè)指向值的指針，也可能是64位整型嘴瓤，或無(wú)符號(hào)64位整型扫外；

next：指向下一個(gè)dictEntry莉钙，用于解決哈希沖突問(wèn)題

在64位系統(tǒng)中，一個(gè)dictEntry對(duì)象占24字節(jié)（key/val/next各占8字節(jié)）筛谚。

bucket

bucket是一個(gè)數(shù)組磁玉，數(shù)組的每個(gè)元素都是指向dictEntry結(jié)構(gòu)的指針。Redis中bucket數(shù)組的大小計(jì)算規(guī)則如下：大于dictEntry的驾讲、最小的2^n蚊伞。例如，如果有1000個(gè)dictEntry吮铭，那么bucket大小為1024厚柳；如果有1500個(gè)dictEntry，則bucket大小為2048沐兵。

dictht

dictht結(jié)構(gòu)如下：

typedef?struct?dictht{

????dictEntry **table;

????unsigned?long?size;

????unsigned?long?sizemask;

????unsigned?long?used;

}dictht;

其中别垮，各個(gè)屬性的功能說(shuō)明如下：

table屬性是一個(gè)指針，指向bucket扎谎；

size屬性記錄了哈希表的大小碳想，即bucket的大小毁靶；

used記錄了已使用的dictEntry的數(shù)量胧奔；

sizemask屬性的值總是為size-1，這個(gè)屬性和哈希值一起決定一個(gè)鍵在table中存儲(chǔ)的位置预吆。

dict

一般來(lái)說(shuō)龙填，通過(guò)使用dictht和dictEntry結(jié)構(gòu)，便可以實(shí)現(xiàn)普通哈希表的功能拐叉；但是Redis的實(shí)現(xiàn)中岩遗，在dictht結(jié)構(gòu)的上層，還有一個(gè)dict結(jié)構(gòu)凤瘦。下面說(shuō)明dict結(jié)構(gòu)的定義及作用宿礁。

dict結(jié)構(gòu)如下：

typedef?struct?dict{

????dictType *type;

????void?*privdata;

????dictht ht[2];

????int?trehashidx;

} dict;

其中，type屬性和privdata屬性是為了適應(yīng)不同類型的鍵值對(duì)蔬芥，用于創(chuàng)建多態(tài)字典梆靖。

ht屬性和trehashidx屬性則用于rehash，即當(dāng)哈希表需要擴(kuò)展或收縮時(shí)使用笔诵。

ht是一個(gè)包含兩個(gè)項(xiàng)的數(shù)組返吻，每項(xiàng)都指向一個(gè)dictht結(jié)構(gòu)，這也是Redis的哈希會(huì)有1個(gè)dict乎婿、2個(gè)dictht結(jié)構(gòu)的原因测僵。通常情況下，所有的數(shù)據(jù)都是存在放dict的ht[0]中次酌，ht[1]只在rehash的時(shí)候使用恨课。dict進(jìn)行rehash操作的時(shí)候，將ht[0]中的所有數(shù)據(jù)rehash到ht[1]中岳服。然后將ht[1]賦值給ht[0]剂公，并清空ht[1]。

因此吊宋，Redis中的哈希之所以在dictht和dictEntry結(jié)構(gòu)之外還有一個(gè)dict結(jié)構(gòu)纲辽，一方面是為了適應(yīng)不同類型的鍵值對(duì)，另一方面是為了rehash璃搜。

（3）編碼轉(zhuǎn)換

如前所述拖吼，Redis中內(nèi)層的哈希既可能使用哈希表，也可能使用壓縮列表这吻。

只有同時(shí)滿足下面兩個(gè)條件時(shí)吊档，才會(huì)使用壓縮列表：

哈希中元素?cái)?shù)量小于512個(gè)；

哈希中所有鍵值對(duì)的鍵和值字符串長(zhǎng)度都小于64字節(jié)唾糯。

如果有一個(gè)條件不滿足怠硼，則使用哈希表；且編碼只可能由壓縮列表轉(zhuǎn)化為哈希表移怯，反方向則不可能香璃。

下圖展示了Redis內(nèi)層的哈希編碼轉(zhuǎn)換的特點(diǎn)：

4、集合

（1）概況

集合（set）與列表類似舟误，都是用來(lái)保存多個(gè)字符串葡秒，但集合與列表有兩點(diǎn)不同：集合中的元素是無(wú)序的，因此不能通過(guò)索引來(lái)操作元素嵌溢；集合中的元素不能有重復(fù)眯牧。

一個(gè)集合中最多可以存儲(chǔ)2^32-1個(gè)元素，除了支持常規(guī)的增刪改查赖草，Redis還支持多個(gè)集合取交集炸站、并集、差集疚顷。

（2）內(nèi)部編碼

集合的內(nèi)部編碼可以是整數(shù)集合（intset）或哈希表（hashtable）旱易。

哈希表前面已經(jīng)講過(guò)，這里略過(guò)不提腿堤。需要注意的是集合在使用哈希表時(shí)阀坏，值全部被置為null。

整數(shù)集合的結(jié)構(gòu)定義如下：

typedef?struct?intset{

????uint32_t encoding;

????uint32_t length;

????int8_t contents[];

} intset;

其中笆檀，encoding代表contents中存儲(chǔ)內(nèi)容的類型忌堂，雖然contents（存儲(chǔ)集合中的元素）是int8_t類型，但實(shí)際上其存儲(chǔ)的值是int16_t酗洒、int32_t或int64_t士修，具體的類型便是由encoding決定的枷遂。length表示元素個(gè)數(shù)。

整數(shù)集合適用于集合所有元素都是整數(shù)且集合元素?cái)?shù)量較小的時(shí)候棋嘲，與哈希表相比酒唉，整數(shù)集合的優(yōu)勢(shì)在于集中存儲(chǔ)，節(jié)省空間沸移；同時(shí)痪伦，雖然對(duì)于元素的操作復(fù)雜度也由O(n)變?yōu)榱薕(1)，但由于集合數(shù)量較少雹锣，因此操作的時(shí)間并沒(méi)有明顯劣勢(shì)网沾。

（3）編碼轉(zhuǎn)換

只有同時(shí)滿足下面兩個(gè)條件時(shí)，集合才會(huì)使用整數(shù)集合：

集合中元素?cái)?shù)量小于512個(gè)蕊爵；

集合中所有元素都是整數(shù)值辉哥。

如果有一個(gè)條件不滿足，則使用哈希表攒射；且編碼只可能由整數(shù)集合轉(zhuǎn)化為哈希表证薇，反方向則不可能。

下圖展示了集合編碼轉(zhuǎn)換的特點(diǎn)：

5匆篓、有序集合

（1）概況

有序集合與集合一樣浑度，元素都不能重復(fù)。但與集合不同的是鸦概，有序集合中的元素是有順序的箩张。與列表使用索引下標(biāo)作為排序依據(jù)不同，有序集合為每個(gè)元素設(shè)置一個(gè)分?jǐn)?shù)（score）作為排序依據(jù)窗市。

（2）內(nèi)部編碼

有序集合的內(nèi)部編碼可以是壓縮列表（ziplist）或跳躍表（skiplist）先慷。ziplist在列表和哈希中都有使用，前面已經(jīng)講過(guò)咨察，這里略過(guò)不提论熙。

跳躍表是一種有序數(shù)據(jù)結(jié)構(gòu)，通過(guò)在每個(gè)節(jié)點(diǎn)中維持多個(gè)指向其它節(jié)點(diǎn)的指針摄狱，從而達(dá)到快速訪問(wèn)節(jié)點(diǎn)的目的脓诡。

除了跳躍表凝垛，實(shí)現(xiàn)有序數(shù)據(jù)結(jié)構(gòu)的另一種典型實(shí)現(xiàn)是平衡樹(shù)纽竣；大多數(shù)情況下奶陈，跳躍表的效率可以和平衡樹(shù)媲美绍哎，且跳躍表實(shí)現(xiàn)比平衡樹(shù)簡(jiǎn)單很多，因此Redis中選用跳躍表代替平衡樹(shù)望忆。

跳躍表支持平均O(logN)浅妆、最壞O(N)的復(fù)雜點(diǎn)進(jìn)行節(jié)點(diǎn)查找变秦，并支持順序操作。Redis的跳躍表實(shí)現(xiàn)由zskiplist和zskiplistNode兩個(gè)結(jié)構(gòu)組成：前者用于保存跳躍表信息（如頭結(jié)點(diǎn)席爽、尾節(jié)點(diǎn)意荤、長(zhǎng)度等），后者用于表示跳躍表節(jié)點(diǎn)只锻。具體結(jié)構(gòu)相對(duì)比較復(fù)雜玖像，略。

（3）編碼轉(zhuǎn)換

只有同時(shí)滿足下面兩個(gè)條件時(shí)炬藤，才會(huì)使用壓縮列表：

有序集合中元素?cái)?shù)量小于128個(gè)；

有序集合中所有成員長(zhǎng)度都不足64字節(jié)碴里。

如果有一個(gè)條件不滿足沈矿，則使用跳躍表；且編碼只可能由壓縮列表轉(zhuǎn)化為跳躍表咬腋，反方向則不可能羹膳。

下圖展示了有序集合編碼轉(zhuǎn)換的特點(diǎn)：

五、應(yīng)用舉例

了解Redis的內(nèi)存模型之后根竿，下面通過(guò)幾個(gè)例子說(shuō)明其應(yīng)用陵像。

1、估算Redis內(nèi)存使用量

要估算Redis中的數(shù)據(jù)占據(jù)的內(nèi)存大小寇壳，需要對(duì)Redis的內(nèi)存模型有比較全面的了解醒颖，包括前面介紹的hashtable、SDS壳炎、RedisObject泞歉、各種對(duì)象類型的編碼方式等。

下面以最簡(jiǎn)單的字符串類型來(lái)進(jìn)行說(shuō)明：

假設(shè)有90000個(gè)鍵值對(duì)匿辩，每個(gè)key的長(zhǎng)度是7個(gè)字節(jié)腰耙，每個(gè)value的長(zhǎng)度也是7個(gè)字節(jié)（且key和value都不是整數(shù)）。

下面來(lái)估算這90000個(gè)鍵值對(duì)所占用的空間铲球。

在估算占據(jù)空間之前挺庞，首先可以判定字符串類型使用的編碼方式：embstr。90000個(gè)鍵值對(duì)占據(jù)的內(nèi)存空間主要可以分為兩部分：一部分是90000個(gè)dictEntry占據(jù)的空間稼病；一部分是鍵值對(duì)所需要的bucket空間选侨。

每個(gè)dictEntry占據(jù)的空間包括：

一個(gè)dictEntry，24字節(jié)然走，jemalloc會(huì)分配32字節(jié)的內(nèi)存塊侵俗。

一個(gè)key，7字節(jié)丰刊，所以SDS(key)需要7+9=16個(gè)字節(jié)隘谣，jemalloc會(huì)分配16字節(jié)的內(nèi)存塊。

一個(gè)RedisObject，16字節(jié)寻歧，jemalloc會(huì)分配16字節(jié)的內(nèi)存塊掌栅。

一個(gè)value，7字節(jié)码泛，所以SDS(value)需要7+9=16個(gè)字節(jié)猾封，jemalloc會(huì)分配16字節(jié)的內(nèi)存塊。

綜上噪珊，一個(gè)dictEntry需要32+16+16+16=80個(gè)字節(jié)晌缘。

bucket空間：bucket數(shù)組的大小為大于90000的最小的2^n，是131072痢站，每個(gè)bucket元素為8字節(jié)（因?yàn)?4位系統(tǒng)中指針大小為8字節(jié)）磷箕。

因此，可以估算出這90000個(gè)鍵值對(duì)占據(jù)的內(nèi)存大小為：90000*80 + 131072*8 = 8248576阵难。

下面寫(xiě)個(gè)程序在Redis中驗(yàn)證一下：

public?class?RedisTest {

　　public?static?Jedis jedis =?new?Jedis("localhost", 6379);

　　public?static?void?main(String[] args) throws Exception{

　　　　Long m1 = Long.valueOf(getMemory());

　　　　insertData();

　　　　Long m2 = Long.valueOf(getMemory());

　　　　System.out.println(m2 - m1);

　　}

　　public?static?void?insertData(){

　　　　for(int?i = 10000; i < 100000; i++){

　　　　　　jedis.set("aa"?+ i,?"aa"?+ i);?//key和value長(zhǎng)度都是7字節(jié)岳枷，且不是整數(shù)

　　　　}

　　}

　　public?static?String getMemory(){

　　　　String memoryAllLine = jedis.info("memory");

　　　　String usedMemoryLine = memoryAllLine.split("\r\n")[1];

　　　　String memory = usedMemoryLine.substring(usedMemoryLine.indexOf(':') + 1);

　　　　return?memory;

　　}

}

運(yùn)行結(jié)果：8247552

理論值與結(jié)果值誤差在萬(wàn)分之1.2，對(duì)于計(jì)算需要多少內(nèi)存來(lái)說(shuō)呜叫，這個(gè)精度已經(jīng)足夠了空繁。之所以會(huì)存在誤差，是因?yàn)樵谖覀儾迦?0000條數(shù)據(jù)之前Redis已分配了一定的bucket空間朱庆，而這些bucket空間尚未使用盛泡。

作為對(duì)比將key和value的長(zhǎng)度由7字節(jié)增加到8字節(jié)，則對(duì)應(yīng)的SDS變?yōu)?7個(gè)字節(jié)娱颊，jemalloc會(huì)分配32個(gè)字節(jié)饭于，因此每個(gè)dictEntry占用的字節(jié)數(shù)也由80字節(jié)變?yōu)?12字節(jié)。此時(shí)估算這90000個(gè)鍵值對(duì)占據(jù)內(nèi)存大小為：90000*112 + 131072*8 = 11128576维蒙。

在Redis中驗(yàn)證代碼如下（只修改插入數(shù)據(jù)的代碼）：

public?static?void?insertData(){

　　for(int?i = 10000; i < 100000; i++){

　　　　jedis.set("aaa"?+ i,?"aaa"?+ i);?//key和value長(zhǎng)度都是8字節(jié)掰吕，且不是整數(shù)

　　}

}

運(yùn)行結(jié)果：11128576；估算準(zhǔn)確颅痊。

對(duì)于字符串類型之外的其它類型殖熟，對(duì)內(nèi)存占用的估算方法是類似的，需要結(jié)合具體類型的編碼方式來(lái)確定斑响。

2菱属、優(yōu)化內(nèi)存占用

了解Redis的內(nèi)存模型，對(duì)優(yōu)化Redis內(nèi)存占用有很大幫助舰罚。下面介紹幾種優(yōu)化場(chǎng)景：

（1）利用jemalloc特性進(jìn)行優(yōu)化

上一小節(jié)所講述的90000個(gè)鍵值便是一個(gè)例子纽门。由于jemalloc分配內(nèi)存時(shí)數(shù)值是不連續(xù)的，因此key/value字符串變化一個(gè)字節(jié)营罢，可能會(huì)引起占用內(nèi)存很大的變動(dòng)赏陵，在設(shè)計(jì)時(shí)可以利用這一點(diǎn)饼齿。

例如，如果key的長(zhǎng)度如果是8個(gè)字節(jié)蝙搔，則SDS為17字節(jié)缕溉，jemalloc分配32字節(jié)；此時(shí)將key長(zhǎng)度縮減為7個(gè)字節(jié)吃型，則SDS為16字節(jié)证鸥，jemalloc分配16字節(jié)；則每個(gè)key所占用的空間都可以縮小一半勤晚。

（2）使用整型/長(zhǎng)整型

如果是整型/長(zhǎng)整型枉层，Redis會(huì)使用int類型（8字節(jié)）存儲(chǔ)來(lái)代替字符串，可以節(jié)省更多空間赐写。因此在可以使用長(zhǎng)整型/整型代替字符串的場(chǎng)景下鸟蜡，盡量使用長(zhǎng)整型/整型。

（3）共享對(duì)象

利用共享對(duì)象血淌，可以減少對(duì)象的創(chuàng)建（同時(shí)減少了RedisObject的創(chuàng)建）矩欠，節(jié)省內(nèi)存空間财剖。

目前Redis中的共享對(duì)象只包括10000個(gè)整數(shù)（0-9999）悠夯，可以通過(guò)調(diào)整REDIS_SHARED_INTEGERS參數(shù)提高共享對(duì)象的個(gè)數(shù)。例如將REDIS_SHARED_INTEGERS調(diào)整到20000躺坟，則0-19999之間的對(duì)象都可以共享沦补。

考慮這樣一種場(chǎng)景：論壇網(wǎng)站在Redis中存儲(chǔ)了每個(gè)帖子的瀏覽數(shù)，而這些瀏覽數(shù)絕大多數(shù)分布在0-20000之間咪橙，這時(shí)候通過(guò)適當(dāng)增大REDIS_SHARED_INTEGERS參數(shù)夕膀，便可以利用共享對(duì)象節(jié)省內(nèi)存空間。

（4）避免過(guò)度設(shè)計(jì)

然而需要注意的是美侦，不論是哪種優(yōu)化場(chǎng)景产舞，都要考慮內(nèi)存空間與設(shè)計(jì)復(fù)雜度的權(quán)衡；而設(shè)計(jì)復(fù)雜度會(huì)影響到代碼的復(fù)雜度菠剩、可維護(hù)性易猫。

如果數(shù)據(jù)量較小，那么為了節(jié)省內(nèi)存而使得代碼的開(kāi)發(fā)具壮、維護(hù)變得更加困難并不劃算准颓；還是以前面講到的90000個(gè)鍵值對(duì)為例，實(shí)際上節(jié)省的內(nèi)存空間只有幾MB棺妓。但是如果數(shù)據(jù)量有幾千萬(wàn)甚至上億攘已，考慮內(nèi)存的優(yōu)化就比較必要了。

3怜跑、關(guān)注內(nèi)存碎片率

內(nèi)存碎片率是一個(gè)重要的參數(shù)样勃，對(duì)Redis 內(nèi)存的優(yōu)化有重要意義。

如果內(nèi)存碎片率過(guò)高（jemalloc在1.03左右比較正常），說(shuō)明內(nèi)存碎片多彤灶，內(nèi)存浪費(fèi)嚴(yán)重看幼。這時(shí)便可以考慮重啟Redis服務(wù)，在內(nèi)存中對(duì)數(shù)據(jù)進(jìn)行重排幌陕，減少內(nèi)存碎片诵姜。

如果內(nèi)存碎片率小于1，說(shuō)明Redis內(nèi)存不足搏熄，部分?jǐn)?shù)據(jù)使用了虛擬內(nèi)存（即swap）棚唆；由于虛擬內(nèi)存的存取速度比物理內(nèi)存差很多（2-3個(gè)數(shù)量級(jí)），此時(shí)Redis的訪問(wèn)速度可能會(huì)變得很慢心例。因此必須設(shè)法增大物理內(nèi)存（可以增加服務(wù)器節(jié)點(diǎn)數(shù)量宵凌，或提高單機(jī)內(nèi)存），或減少Redis中的數(shù)據(jù)止后。

要減少Redis中的數(shù)據(jù)瞎惫，除了選用合適的數(shù)據(jù)類型、利用共享對(duì)象等译株，還有一點(diǎn)是要設(shè)置合理的數(shù)據(jù)回收策略（maxmemory-policy）瓜喇，當(dāng)內(nèi)存達(dá)到一定量后，根據(jù)不同的優(yōu)先級(jí)對(duì)內(nèi)存進(jìn)行回收歉糜。

六乘寒、參考文獻(xiàn)

《Redis開(kāi)發(fā)與運(yùn)維》

《Redis設(shè)計(jì)與實(shí)現(xiàn)》

https://redis.io/documentation

http://redisdoc.com/server/info.html

https://www.cnblogs.com/lhcpig/p/4769397.html

https://searchdatabase.techtarget.com.cn/7-20218/

http://www.cnblogs.com/mushroom/p/4738170.html

http://www.imooc.com/article/3645

http://blog.csdn.net/zhengpeitao/article/details/76573053

作者：編程迷思

來(lái)源：

https://www.cnblogs.com/kismetv/p/8654978.html

DBAplus社群歡迎廣大技術(shù)人員投稿，投稿郵箱：editor@dbaplus.cn