Redis(五) -- 數(shù)據(jù)存儲

本文主要參考redis各類型數(shù)據(jù)存儲分析议慰,Redis-基本數(shù)據(jù)類型與內(nèi)部存儲結(jié)構(gòu)

背景

我們在之前的文章中介紹了Redis主要有五種數(shù)據(jù)結(jié)構(gòu)蝌蹂,分別是String补君、Hash膏燕、List芜飘、Set砰左、Sorted Set茂腥,并且大致說了下各自底層的數(shù)據(jù)結(jié)構(gòu)井联,這一篇就好好學(xué)習(xí)下這五種數(shù)據(jù)結(jié)構(gòu)的存儲。

Redis存儲對象


Redis使用dictEntry對象來存儲一個k-v值,我們來看下dictEntry的三個屬性值

  • key:redis的key是以SDS(簡單動態(tài)字符串)存儲靴寂。
  • val:reids的val是以redisObject對象存儲磷蜀,redisObject里面包含多個屬性,最重要的是type和encoding百炬,type表示value對象是何種數(shù)據(jù)類型褐隆,encoding表示不同數(shù)據(jù)類型在redis內(nèi)部的存儲方式。




    Redis的內(nèi)存分配器默認(rèn)是jemalloc收壕,可以將內(nèi)存空間劃分為小妓灌,大,巨大三個范圍蜜宪,每個范圍又劃分了許多小的內(nèi)存塊單位,當(dāng)Redis存儲數(shù)據(jù)的時候會選擇最合適的內(nèi)存塊進行存儲祥山。

String

字符串對象的底層可以是int圃验,raw,embstr缝呕。

  • int:8個字節(jié)的長整數(shù)澳窑,在一定條件下會轉(zhuǎn)化為raw編碼字符串對象。
  • raw:大于39個字節(jié)的字符串供常,簡單動態(tài)字符串(SDS)摊聋,有點類似于List<String>,長度動態(tài)可變
struct sdshdr {
    // buf 中已占用空間的長度
    int len;
    // buf 中剩余可用空間的長度
    int free;
    // 數(shù)據(jù)空間
    char buf[]; // ’\0’空字符結(jié)尾
};
  • embstr:小于等于39個字節(jié)的字符串栈暇,在一定條件下也會轉(zhuǎn)化成raw編碼字符串對象麻裁,通過調(diào)用一次內(nèi)存分配函數(shù)來分配一塊連續(xù)的空間。
    String的常用命令的時間復(fù)雜度為O(1)源祈,讀寫一樣快煎源,當(dāng)遇到Incr,decr等操作時會轉(zhuǎn)成數(shù)據(jù)型進行計算香缺。

List

List對象的底層是quicklist手销,由ziplist和linkedlist組成的快速列表,所以list支持兩端插入和彈出图张,lpush锋拖,rpush,lpop祸轮,rpop等命令兽埃。可以獲得指定位置(或范圍)的元素倔撞,可以充當(dāng)數(shù)組讲仰、隊列、棧等。

typedef struct listNode {
    // 前置節(jié)點
   struct listNode *prev;
   // 后置節(jié)點
   struct listNode *next;
   // 節(jié)點的值
   void *value;
} listNode;

typedef struct list {
    // 表頭節(jié)點
   listNode *head;
   // 表尾節(jié)點
   listNode *tail;
   // 節(jié)點值復(fù)制函數(shù)
   void *(*dup)(void *ptr);
   // 節(jié)點值釋放函數(shù)
   void (*free)(void *ptr);
    // 節(jié)點值對比函數(shù)
   int (*match)(void *ptr, void *key);
    // 鏈表所包含的節(jié)點數(shù)量
   unsigned long len;
} list;
  • linkedlist:結(jié)構(gòu)有點類似java的linkedlist鄙陡,列表在增刪操作時時間復(fù)雜度較低冕房。
  • ziplist:當(dāng)一個列表鍵只包含少量列表項,且是小整數(shù)值或長度比較短的字符串時趁矾,redis會用ziplist代替linkedlist耙册,可以節(jié)省內(nèi)存空間,但是增刪時復(fù)雜度較高毫捣。
  • quickList: zipList 和 linkedList 的混合體详拙。它將 linkedList 按段切分,每一段使用 zipList 來緊湊存儲蔓同,多個 zipList 之間使用雙向指針串接起來饶辙。因為鏈表的附加空間相對太高,prev 和 next 指針就要占去 16 個字節(jié) (64bit 系統(tǒng)的指針是 8 個字節(jié))斑粱,另外每個節(jié)點的內(nèi)存都是單獨分配弃揽,會加劇內(nèi)存的碎片化,影響內(nèi)存管理效率则北。


Hash

Hash對象底層實現(xiàn)是ziplist或者hashtable矿微,當(dāng)Hash對象滿足hash元素數(shù)量小于512個并且所有鍵值對的鍵和值字符串長度都小于64字節(jié)時會使用ziplist,否則使用hashtable.

  • hashtable:hashtable有點類似java中hashmap尚揣,當(dāng)產(chǎn)生哈希沖突時使用鏈地址法來解決鍵沖突涌矢。


Set

Set的底層實現(xiàn)是intset或者hashtable

  • intset:當(dāng)一個集合只含有整數(shù),并且元素不多時會使用intset存儲快骗,是一個無序set娜庇。
typedef struct intset {
    // 編碼方式
    uint32_t encoding;
    // 集合包含的元素數(shù)量
    uint32_t length;
    // 保存元素的數(shù)組
    int8_t contents[];
} intset;

Sorted Set

Sorted Set也叫ZSet,底層實現(xiàn)使用ziplist或者skiplist滨巴。

  • skiplist:跳躍表是很常見的一個提高查詢時間復(fù)雜度的結(jié)構(gòu)思灌,可以將平均時間復(fù)雜度降到logN,譬如在lucene索引中也使用到恭取,當(dāng)ZSet元素數(shù)量比較多或者成員是比較長的字符串時會使用skiplist作為底層實現(xiàn)泰偿。
typedef struct zskiplist {
     // 表頭節(jié)點和表尾節(jié)點
    struct zskiplistNode *header, *tail;
    // 表中節(jié)點的數(shù)量
    unsigned long length;
    // 表中層數(shù)最大的節(jié)點的層數(shù)
    int level;
 } zskiplist;
typedef struct zskiplistNode {
    // 成員對象
    robj *obj;
    // 分值
    double score;
     // 后退指針
    struct zskiplistNode *backward;
    // 層
    struct zskiplistLevel {
        // 前進指針
        struct zskiplistNode *forward;
         // 跨度---前進指針?biāo)赶蚬?jié)點與當(dāng)前節(jié)點的距離
        unsigned int span;
    } level[];
} zskiplistNode;
最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
  • 序言:七十年代末,一起剝皮案震驚了整個濱河市蜈垮,隨后出現(xiàn)的幾起案子耗跛,更是在濱河造成了極大的恐慌,老刑警劉巖攒发,帶你破解...
    沈念sama閱讀 217,657評論 6 505
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件调塌,死亡現(xiàn)場離奇詭異,居然都是意外死亡惠猿,警方通過查閱死者的電腦和手機羔砾,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 92,889評論 3 394
  • 文/潘曉璐 我一進店門,熙熙樓的掌柜王于貴愁眉苦臉地迎上來,“玉大人姜凄,你說我怎么就攤上這事政溃。” “怎么了态秧?”我有些...
    開封第一講書人閱讀 164,057評論 0 354
  • 文/不壞的土叔 我叫張陵董虱,是天一觀的道長。 經(jīng)常有香客問我申鱼,道長愤诱,這世上最難降的妖魔是什么? 我笑而不...
    開封第一講書人閱讀 58,509評論 1 293
  • 正文 為了忘掉前任捐友,我火速辦了婚禮淫半,結(jié)果婚禮上,老公的妹妹穿的比我還像新娘匣砖。我一直安慰自己撮慨,他們只是感情好,可當(dāng)我...
    茶點故事閱讀 67,562評論 6 392
  • 文/花漫 我一把揭開白布脆粥。 她就那樣靜靜地躺著,像睡著了一般影涉。 火紅的嫁衣襯著肌膚如雪变隔。 梳的紋絲不亂的頭發(fā)上,一...
    開封第一講書人閱讀 51,443評論 1 302
  • 那天蟹倾,我揣著相機與錄音匣缘,去河邊找鬼。 笑死鲜棠,一個胖子當(dāng)著我的面吹牛肌厨,可吹牛的內(nèi)容都是我干的。 我是一名探鬼主播豁陆,決...
    沈念sama閱讀 40,251評論 3 418
  • 文/蒼蘭香墨 我猛地睜開眼柑爸,長吁一口氣:“原來是場噩夢啊……” “哼!你這毒婦竟也來了盒音?” 一聲冷哼從身側(cè)響起表鳍,我...
    開封第一講書人閱讀 39,129評論 0 276
  • 序言:老撾萬榮一對情侶失蹤,失蹤者是張志新(化名)和其女友劉穎祥诽,沒想到半個月后譬圣,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體,經(jīng)...
    沈念sama閱讀 45,561評論 1 314
  • 正文 獨居荒郊野嶺守林人離奇死亡雄坪,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點故事閱讀 37,779評論 3 335
  • 正文 我和宋清朗相戀三年厘熟,在試婚紗的時候發(fā)現(xiàn)自己被綠了。 大學(xué)時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片。...
    茶點故事閱讀 39,902評論 1 348
  • 序言:一個原本活蹦亂跳的男人離奇死亡绳姨,死狀恐怖登澜,靈堂內(nèi)的尸體忽然破棺而出,到底是詐尸還是另有隱情就缆,我是刑警寧澤帖渠,帶...
    沈念sama閱讀 35,621評論 5 345
  • 正文 年R本政府宣布,位于F島的核電站竭宰,受9級特大地震影響空郊,放射性物質(zhì)發(fā)生泄漏。R本人自食惡果不足惜切揭,卻給世界環(huán)境...
    茶點故事閱讀 41,220評論 3 328
  • 文/蒙蒙 一狞甚、第九天 我趴在偏房一處隱蔽的房頂上張望。 院中可真熱鬧廓旬,春花似錦哼审、人聲如沸。這莊子的主人今日做“春日...
    開封第一講書人閱讀 31,838評論 0 22
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽。三九已至励背,卻和暖如春春霍,著一層夾襖步出監(jiān)牢的瞬間,已是汗流浹背叶眉。 一陣腳步聲響...
    開封第一講書人閱讀 32,971評論 1 269
  • 我被黑心中介騙來泰國打工址儒, 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留,地道東北人衅疙。 一個月前我還...
    沈念sama閱讀 48,025評論 2 370
  • 正文 我出身青樓莲趣,卻偏偏與公主長得像,于是被迫代替她去往敵國和親饱溢。 傳聞我的和親對象是個殘疾皇子喧伞,可洞房花燭夜當(dāng)晚...
    茶點故事閱讀 44,843評論 2 354