memcached 內(nèi)存存儲(chǔ)Slab Allocator 筆記整理

Slab Allocator內(nèi)存分配機(jī)制

Memcache按照預(yù)先規(guī)定的大小,將分配的內(nèi)存分割成特定長(zhǎng)度的塊幔欧,以解決內(nèi)存碎片問(wèn)題.


Memcache的存儲(chǔ)涉及到slab罪治,page,chunk三個(gè)概念,三者是包含關(guān)系礁蔗,從小到大如下:
1.Chunk為固定大小的內(nèi)存空間觉义,默認(rèn)為96Byte。
2.page對(duì)應(yīng)實(shí)際的物理空間浴井,1個(gè)page默認(rèn)為1M晒骇。
所以memcache默認(rèn)最大存儲(chǔ)1M的對(duì)象,每個(gè)Slab中按照Page來(lái)申請(qǐng)內(nèi)存磺浙, Page的大小默認(rèn)為1M洪囤,可以通過(guò)-l參數(shù)調(diào)整,最小1k撕氧,最大128m.
3.同樣大小的chunk又稱(chēng)為slab瘤缩。
三者的關(guān)系如下圖:

Paste_Image.png

比較重要的幾個(gè)啟動(dòng)參數(shù):
-f:增長(zhǎng)因子,chunk的值會(huì)按照增長(zhǎng)因子的比例增長(zhǎng)(chunk size growth factor).
-n:每個(gè)chunk的初始大小(minimum space allocated for key+value+flags),chunk大小還包括本身結(jié)構(gòu)體大小.
-I:每個(gè)slab page大小(Override the size of each slab page. Adjusts max item size)
-m:需要分配的大小(max memory to use for items in megabytes)


Slab Allocator 的缺點(diǎn)

由于分配的是特定長(zhǎng)度的內(nèi)存,因此無(wú)法有效利用分配的內(nèi)存伦泥。例如剥啤,將100 字節(jié)的數(shù)據(jù)緩存到128 字節(jié)的chunk 中,剩余的28字節(jié)就浪費(fèi)了

Image.png

對(duì)于該問(wèn)題目前還沒(méi)有完美的解決方案不脯,但是可以通過(guò)分析目標(biāo)應(yīng)用緩存的大小府怯,來(lái)調(diào)整chunk的大小以減少浪費(fèi)。


使用Growth Factor進(jìn)行調(diào)優(yōu)

memcached 在啟動(dòng)時(shí)指定Growth Factor 因子(通過(guò)f 選項(xiàng))跨新,就可以在某種程度上控制slab 之間的差異富腊。默認(rèn)值為1.25坏逢。但是域帐,在該選項(xiàng)出現(xiàn)之前赘被,這個(gè)因子曾經(jīng)固定為2,稱(chēng)為“powers of 2”策略肖揣。
下面是啟動(dòng)后的verbose 輸出:
slab class 1: chunk size 128 perslab 8192
slab class 2: chunk size 256 perslab 4096
slab class 3: chunk size 512 perslab 2048
slab class 4: chunk size 1024 perslab 1024
slab class 5: chunk size 2048 perslab 512
slab class 6: chunk size 4096 perslab 256
slab class 7: chunk size 8192 perslab 128
slab class 8: chunk size 16384 perslab 64
slab class 9: chunk size 32768 perslab 32
slab class 10: chunk size 65536 perslab 16
slab class 11: chunk size 131072 perslab 8
slab class 12: chunk size 262144 perslab 4
slab class 13: chunk size 524288 perslab 2
可見(jiàn)民假,從128 字節(jié)的組開(kāi)始,組的大小依次增大為原來(lái)的2 倍龙优。這樣設(shè)置的問(wèn)題是羊异,slab 之間的差別比較大,有些情況下就相當(dāng)浪費(fèi)內(nèi)存彤断。因此野舶,為盡量減少內(nèi)存浪費(fèi),追加了growth factor 這個(gè)選項(xiàng)來(lái)看看現(xiàn)在的默認(rèn)設(shè)置(f=1.25)時(shí)的輸出(篇幅所限宰衙,這里只寫(xiě)到第10 組):
slab class 1: chunk size 88 perslab 11915
slab class 2: chunk size 112 perslab 9362
slab class 3: chunk size 144 perslab 7281
slab class 4: chunk size 184 perslab 5698
slab class 5: chunk size 232 perslab 4519
slab class 6: chunk size 296 perslab 3542
slab class 7: chunk size 376 perslab 2788
slab class 8: chunk size 472 perslab 2221
slab class 9: chunk size 592 perslab 1771
slab class 10: chunk size 744 perslab 1409

可見(jiàn)平道,組間差距比因子為2 時(shí)小得多,更適合緩存幾百字節(jié)的記錄供炼。從上面的輸出結(jié)果來(lái)看一屋,可能會(huì)覺(jué)得有些計(jì)算誤差,這些誤差是為了保持字節(jié)數(shù)的對(duì)齊而故意設(shè)置的袋哼。將memcached 引入產(chǎn)品冀墨,或是直接使用默認(rèn)值進(jìn)行部署時(shí),最好是重新計(jì)算一下數(shù)據(jù)的預(yù)期平均長(zhǎng)度涛贯,調(diào)整growth factor诽嘉,以獲得最恰當(dāng)?shù)脑O(shè)置。內(nèi)存是珍貴的資源疫蔓,浪費(fèi)就太可惜了含懊。

最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
  • 序言:七十年代末,一起剝皮案震驚了整個(gè)濱河市衅胀,隨后出現(xiàn)的幾起案子岔乔,更是在濱河造成了極大的恐慌,老刑警劉巖滚躯,帶你破解...
    沈念sama閱讀 217,509評(píng)論 6 504
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件雏门,死亡現(xiàn)場(chǎng)離奇詭異,居然都是意外死亡掸掏,警方通過(guò)查閱死者的電腦和手機(jī)茁影,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 92,806評(píng)論 3 394
  • 文/潘曉璐 我一進(jìn)店門(mén),熙熙樓的掌柜王于貴愁眉苦臉地迎上來(lái)丧凤,“玉大人募闲,你說(shuō)我怎么就攤上這事≡复” “怎么了浩螺?”我有些...
    開(kāi)封第一講書(shū)人閱讀 163,875評(píng)論 0 354
  • 文/不壞的土叔 我叫張陵靴患,是天一觀的道長(zhǎng)。 經(jīng)常有香客問(wèn)我要出,道長(zhǎng)鸳君,這世上最難降的妖魔是什么? 我笑而不...
    開(kāi)封第一講書(shū)人閱讀 58,441評(píng)論 1 293
  • 正文 為了忘掉前任患蹂,我火速辦了婚禮或颊,結(jié)果婚禮上,老公的妹妹穿的比我還像新娘传于。我一直安慰自己囱挑,他們只是感情好,可當(dāng)我...
    茶點(diǎn)故事閱讀 67,488評(píng)論 6 392
  • 文/花漫 我一把揭開(kāi)白布沼溜。 她就那樣靜靜地躺著看铆,像睡著了一般。 火紅的嫁衣襯著肌膚如雪盛末。 梳的紋絲不亂的頭發(fā)上弹惦,一...
    開(kāi)封第一講書(shū)人閱讀 51,365評(píng)論 1 302
  • 那天,我揣著相機(jī)與錄音悄但,去河邊找鬼棠隐。 笑死,一個(gè)胖子當(dāng)著我的面吹牛檐嚣,可吹牛的內(nèi)容都是我干的助泽。 我是一名探鬼主播,決...
    沈念sama閱讀 40,190評(píng)論 3 418
  • 文/蒼蘭香墨 我猛地睜開(kāi)眼嚎京,長(zhǎng)吁一口氣:“原來(lái)是場(chǎng)噩夢(mèng)啊……” “哼嗡贺!你這毒婦竟也來(lái)了?” 一聲冷哼從身側(cè)響起鞍帝,我...
    開(kāi)封第一講書(shū)人閱讀 39,062評(píng)論 0 276
  • 序言:老撾萬(wàn)榮一對(duì)情侶失蹤诫睬,失蹤者是張志新(化名)和其女友劉穎,沒(méi)想到半個(gè)月后帕涌,有當(dāng)?shù)厝嗽跇?shù)林里發(fā)現(xiàn)了一具尸體摄凡,經(jīng)...
    沈念sama閱讀 45,500評(píng)論 1 314
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡,尸身上長(zhǎng)有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 37,706評(píng)論 3 335
  • 正文 我和宋清朗相戀三年蚓曼,在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了亲澡。 大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片。...
    茶點(diǎn)故事閱讀 39,834評(píng)論 1 347
  • 序言:一個(gè)原本活蹦亂跳的男人離奇死亡纫版,死狀恐怖床绪,靈堂內(nèi)的尸體忽然破棺而出,到底是詐尸還是另有隱情,我是刑警寧澤癞己,帶...
    沈念sama閱讀 35,559評(píng)論 5 345
  • 正文 年R本政府宣布裹匙,位于F島的核電站,受9級(jí)特大地震影響末秃,放射性物質(zhì)發(fā)生泄漏。R本人自食惡果不足惜籽御,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 41,167評(píng)論 3 328
  • 文/蒙蒙 一练慕、第九天 我趴在偏房一處隱蔽的房頂上張望。 院中可真熱鬧技掏,春花似錦铃将、人聲如沸。這莊子的主人今日做“春日...
    開(kāi)封第一講書(shū)人閱讀 31,779評(píng)論 0 22
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽(yáng)。三九已至鸠真,卻和暖如春悯仙,著一層夾襖步出監(jiān)牢的瞬間,已是汗流浹背吠卷。 一陣腳步聲響...
    開(kāi)封第一講書(shū)人閱讀 32,912評(píng)論 1 269
  • 我被黑心中介騙來(lái)泰國(guó)打工锡垄, 沒(méi)想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留,地道東北人祭隔。 一個(gè)月前我還...
    沈念sama閱讀 47,958評(píng)論 2 370
  • 正文 我出身青樓货岭,卻偏偏與公主長(zhǎng)得像,于是被迫代替她去往敵國(guó)和親疾渴。 傳聞我的和親對(duì)象是個(gè)殘疾皇子千贯,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 44,779評(píng)論 2 354

推薦閱讀更多精彩內(nèi)容