Slab Allocator內(nèi)存分配機(jī)制
Memcache按照預(yù)先規(guī)定的大小,將分配的內(nèi)存分割成特定長(zhǎng)度的塊幔欧,以解決內(nèi)存碎片問(wèn)題.
Memcache的存儲(chǔ)涉及到slab罪治,page,chunk三個(gè)概念,三者是包含關(guān)系礁蔗,從小到大如下:
1.Chunk為固定大小的內(nèi)存空間觉义,默認(rèn)為96Byte。
2.page對(duì)應(yīng)實(shí)際的物理空間浴井,1個(gè)page默認(rèn)為1M晒骇。
所以memcache默認(rèn)最大存儲(chǔ)1M的對(duì)象,每個(gè)Slab中按照Page來(lái)申請(qǐng)內(nèi)存磺浙, Page的大小默認(rèn)為1M洪囤,可以通過(guò)-l參數(shù)調(diào)整,最小1k撕氧,最大128m.
3.同樣大小的chunk又稱(chēng)為slab瘤缩。
三者的關(guān)系如下圖:
比較重要的幾個(gè)啟動(dòng)參數(shù):
-f:增長(zhǎng)因子,chunk的值會(huì)按照增長(zhǎng)因子的比例增長(zhǎng)(chunk size growth factor).
-n:每個(gè)chunk的初始大小(minimum space allocated for key+value+flags),chunk大小還包括本身結(jié)構(gòu)體大小.
-I:每個(gè)slab page大小(Override the size of each slab page. Adjusts max item size)
-m:需要分配的大小(max memory to use for items in megabytes)
Slab Allocator 的缺點(diǎn)
由于分配的是特定長(zhǎng)度的內(nèi)存,因此無(wú)法有效利用分配的內(nèi)存伦泥。例如剥啤,將100 字節(jié)的數(shù)據(jù)緩存到128 字節(jié)的chunk 中,剩余的28字節(jié)就浪費(fèi)了
對(duì)于該問(wèn)題目前還沒(méi)有完美的解決方案不脯,但是可以通過(guò)分析目標(biāo)應(yīng)用緩存的大小府怯,來(lái)調(diào)整chunk的大小以減少浪費(fèi)。
使用Growth Factor進(jìn)行調(diào)優(yōu)
memcached 在啟動(dòng)時(shí)指定Growth Factor 因子(通過(guò)f 選項(xiàng))跨新,就可以在某種程度上控制slab 之間的差異富腊。默認(rèn)值為1.25坏逢。但是域帐,在該選項(xiàng)出現(xiàn)之前赘被,這個(gè)因子曾經(jīng)固定為2,稱(chēng)為“powers of 2”策略肖揣。
下面是啟動(dòng)后的verbose 輸出:
slab class 1: chunk size 128 perslab 8192
slab class 2: chunk size 256 perslab 4096
slab class 3: chunk size 512 perslab 2048
slab class 4: chunk size 1024 perslab 1024
slab class 5: chunk size 2048 perslab 512
slab class 6: chunk size 4096 perslab 256
slab class 7: chunk size 8192 perslab 128
slab class 8: chunk size 16384 perslab 64
slab class 9: chunk size 32768 perslab 32
slab class 10: chunk size 65536 perslab 16
slab class 11: chunk size 131072 perslab 8
slab class 12: chunk size 262144 perslab 4
slab class 13: chunk size 524288 perslab 2
可見(jiàn)民假,從128 字節(jié)的組開(kāi)始,組的大小依次增大為原來(lái)的2 倍龙优。這樣設(shè)置的問(wèn)題是羊异,slab 之間的差別比較大,有些情況下就相當(dāng)浪費(fèi)內(nèi)存彤断。因此野舶,為盡量減少內(nèi)存浪費(fèi),追加了growth factor 這個(gè)選項(xiàng)來(lái)看看現(xiàn)在的默認(rèn)設(shè)置(f=1.25)時(shí)的輸出(篇幅所限宰衙,這里只寫(xiě)到第10 組):
slab class 1: chunk size 88 perslab 11915
slab class 2: chunk size 112 perslab 9362
slab class 3: chunk size 144 perslab 7281
slab class 4: chunk size 184 perslab 5698
slab class 5: chunk size 232 perslab 4519
slab class 6: chunk size 296 perslab 3542
slab class 7: chunk size 376 perslab 2788
slab class 8: chunk size 472 perslab 2221
slab class 9: chunk size 592 perslab 1771
slab class 10: chunk size 744 perslab 1409
可見(jiàn)平道,組間差距比因子為2 時(shí)小得多,更適合緩存幾百字節(jié)的記錄供炼。從上面的輸出結(jié)果來(lái)看一屋,可能會(huì)覺(jué)得有些計(jì)算誤差,這些誤差是為了保持字節(jié)數(shù)的對(duì)齊而故意設(shè)置的袋哼。將memcached 引入產(chǎn)品冀墨,或是直接使用默認(rèn)值進(jìn)行部署時(shí),最好是重新計(jì)算一下數(shù)據(jù)的預(yù)期平均長(zhǎng)度涛贯,調(diào)整growth factor诽嘉,以獲得最恰當(dāng)?shù)脑O(shè)置。內(nèi)存是珍貴的資源疫蔓,浪費(fèi)就太可惜了含懊。