jemalloc原理概覽

jemalloc在linux的世界里聲名鵲起级乐,并被移植到多個(gè)平臺(tái)议薪。后起之秀的tcmalloc性能與之相近尤蛮,雖有谷歌這個(gè)牛爹,但因jemalloc專美在前斯议,tcmalloc的使用范圍還是略遜一籌产捞。網(wǎng)絡(luò)上關(guān)于jemalloc的各種解讀很多,不再一一贅述哼御,這里 挑一些關(guān)鍵點(diǎn)來(lái)分析坯临。

一、地址訪問(wèn)

malloc和free的第一個(gè)參數(shù)都是內(nèi)存地址恋昼,如何快速定位到該地址所屬的內(nèi)存塊基址呢看靠,在高頻內(nèi)存分配中,這是第一 要?jiǎng)?wù)焰雕。jemalloc使用一個(gè)簡(jiǎn)單的技巧衷笋,chunk = addr & (~chunksize_mask) ,確保尋址O(1)就能完成矩屁。在這個(gè)公式中辟宗,有一個(gè)很隱晦的前提是,chunk的地址吝秕,必須能夠滿足類似0xaabb0000這樣格式泊脐,其尾部0的數(shù)量要大于等于chunksize_mask的F的數(shù)量。

jemalloc在分配時(shí)烁峭,會(huì)做這樣的嘗試容客,alloc_size = size + aligment - PAGE_SIZE,然后去掉頭部约郁,保證chunk地址滿足這樣的條件缩挑。如果不能,則將多余的內(nèi)存地址還給系統(tǒng)鬓梅。

二供置、內(nèi)存頁(yè)管理

小對(duì)象可以用技巧映射到chunk,對(duì)于chunk尋址就沒(méi)有辦法用上面這招了绽快。jemalloc用三層基數(shù)樹(shù)芥丧,所以查找效率還是相當(dāng)高的,只是增刪除改查時(shí)坊罢,需要加鎖续担。加鎖會(huì)影響效率,當(dāng)因?yàn)榇螖?shù)比較少活孩,倒不會(huì)有太大的影響物遇。需要注意的是,jemalloc的這個(gè)全局基數(shù)樹(shù)的節(jié)點(diǎn)在分配之后,是不釋放的挎挖,直到最終進(jìn)程退出这敬。jemalloc從系統(tǒng)中航夺,每次都是以4M為基準(zhǔn)申請(qǐng)的蕉朵。

三、長(zhǎng)度對(duì)齊

在實(shí)際場(chǎng)景中阳掐,請(qǐng)求分配字節(jié)大小是隨機(jī)的始衅,如果按照真實(shí)大小分配,容易引起內(nèi)存頁(yè)缺失中斷缭保,因此需要字節(jié)對(duì)齊汛闸。在jemalloc中,并不是固定字節(jié)對(duì)齊艺骂,而是按照如下的邏輯:

(0)诸老、[0-16] --字節(jié)對(duì)齊-->8

(1)、(16-128] --字節(jié)對(duì)齊-->16

(2)钳恕、(128-256] --字節(jié)對(duì)齊-->32

(3)别伏、(256-512] --字節(jié)對(duì)齊-->64

四、線程競(jìng)爭(zhēng)

在內(nèi)存分配過(guò)程中忧额,鎖會(huì)造成線程等待厘肮,對(duì)性能影響巨大。jemalloc采用了兩種措施避免線程競(jìng)爭(zhēng)鎖的發(fā)生睦番,

1类茂、使用線程變量,每個(gè)線程有自己的內(nèi)存管理器托嚣,分配在這個(gè)線程內(nèi)完成巩检,就不需要和其他線程競(jìng)爭(zhēng)。

2示启、競(jìng)技場(chǎng)兢哭,分配一個(gè)數(shù)組,每個(gè)線程通過(guò)線程號(hào)的映射丑搔,對(duì)應(yīng)到一個(gè)數(shù)組元素中厦瓢。這樣,多個(gè)線程競(jìng)爭(zhēng)一個(gè)元素的概率就下降啤月。

有點(diǎn)令人詫異的是煮仇,jemalloc使用原子操作基本沒(méi)有,鎖都是用粒度較大的mutex谎仲。只有需要較長(zhǎng)等待時(shí)浙垫,比如陷入系統(tǒng)時(shí)才有必要用這種粗粒度的鎖。和競(jìng)技場(chǎng)相關(guān)的資料頗多,可以在網(wǎng)上找找夹姥。

五杉武、分配流程

我們假設(shè)一個(gè)應(yīng)用場(chǎng)景,要分配一個(gè)大小為SIZE的內(nèi)存塊辙售,那么流程如下:

1轻抱、選定一個(gè)arena或者tcache。

2旦部、計(jì)算對(duì)應(yīng)的對(duì)齊長(zhǎng)度祈搜,見(jiàn)第三節(jié),根據(jù)對(duì)齊長(zhǎng)度士八,計(jì)算出arena中bins的下標(biāo)容燕。

3、在一個(gè)bins中婚度,如果runccur可用蘸秘,則在runcur中分配,否則從runs中選擇一個(gè)蝗茁。

4醋虏、從選定的run中,計(jì)算bitmap评甜,得到空閑的region灰粮,后返回。

?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
  • 序言:七十年代末忍坷,一起剝皮案震驚了整個(gè)濱河市粘舟,隨后出現(xiàn)的幾起案子,更是在濱河造成了極大的恐慌佩研,老刑警劉巖柑肴,帶你破解...
    沈念sama閱讀 216,651評(píng)論 6 501
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件,死亡現(xiàn)場(chǎng)離奇詭異旬薯,居然都是意外死亡晰骑,警方通過(guò)查閱死者的電腦和手機(jī),發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 92,468評(píng)論 3 392
  • 文/潘曉璐 我一進(jìn)店門绊序,熙熙樓的掌柜王于貴愁眉苦臉地迎上來(lái)硕舆,“玉大人,你說(shuō)我怎么就攤上這事骤公「Ч伲” “怎么了?”我有些...
    開(kāi)封第一講書人閱讀 162,931評(píng)論 0 353
  • 文/不壞的土叔 我叫張陵阶捆,是天一觀的道長(zhǎng)凌节。 經(jīng)常有香客問(wèn)我钦听,道長(zhǎng),這世上最難降的妖魔是什么倍奢? 我笑而不...
    開(kāi)封第一講書人閱讀 58,218評(píng)論 1 292
  • 正文 為了忘掉前任朴上,我火速辦了婚禮,結(jié)果婚禮上卒煞,老公的妹妹穿的比我還像新娘痪宰。我一直安慰自己,他們只是感情好跷坝,可當(dāng)我...
    茶點(diǎn)故事閱讀 67,234評(píng)論 6 388
  • 文/花漫 我一把揭開(kāi)白布有咨。 她就那樣靜靜地躺著树绩,像睡著了一般。 火紅的嫁衣襯著肌膚如雪货葬。 梳的紋絲不亂的頭發(fā)上垢粮,一...
    開(kāi)封第一講書人閱讀 51,198評(píng)論 1 299
  • 那天贴届,我揣著相機(jī)與錄音,去河邊找鬼蜡吧。 笑死毫蚓,一個(gè)胖子當(dāng)著我的面吹牛,可吹牛的內(nèi)容都是我干的昔善。 我是一名探鬼主播元潘,決...
    沈念sama閱讀 40,084評(píng)論 3 418
  • 文/蒼蘭香墨 我猛地睜開(kāi)眼,長(zhǎng)吁一口氣:“原來(lái)是場(chǎng)噩夢(mèng)啊……” “哼君仆!你這毒婦竟也來(lái)了翩概?” 一聲冷哼從身側(cè)響起,我...
    開(kāi)封第一講書人閱讀 38,926評(píng)論 0 274
  • 序言:老撾萬(wàn)榮一對(duì)情侶失蹤返咱,失蹤者是張志新(化名)和其女友劉穎钥庇,沒(méi)想到半個(gè)月后,有當(dāng)?shù)厝嗽跇?shù)林里發(fā)現(xiàn)了一具尸體咖摹,經(jīng)...
    沈念sama閱讀 45,341評(píng)論 1 311
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡评姨,尸身上長(zhǎng)有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 37,563評(píng)論 2 333
  • 正文 我和宋清朗相戀三年,在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了萤晴。 大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片吐句。...
    茶點(diǎn)故事閱讀 39,731評(píng)論 1 348
  • 序言:一個(gè)原本活蹦亂跳的男人離奇死亡,死狀恐怖店读,靈堂內(nèi)的尸體忽然破棺而出嗦枢,到底是詐尸還是另有隱情,我是刑警寧澤两入,帶...
    沈念sama閱讀 35,430評(píng)論 5 343
  • 正文 年R本政府宣布净宵,位于F島的核電站,受9級(jí)特大地震影響,放射性物質(zhì)發(fā)生泄漏择葡。R本人自食惡果不足惜紧武,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 41,036評(píng)論 3 326
  • 文/蒙蒙 一、第九天 我趴在偏房一處隱蔽的房頂上張望敏储。 院中可真熱鬧阻星,春花似錦、人聲如沸已添。這莊子的主人今日做“春日...
    開(kāi)封第一講書人閱讀 31,676評(píng)論 0 22
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽(yáng)更舞。三九已至畦幢,卻和暖如春,著一層夾襖步出監(jiān)牢的瞬間缆蝉,已是汗流浹背宇葱。 一陣腳步聲響...
    開(kāi)封第一講書人閱讀 32,829評(píng)論 1 269
  • 我被黑心中介騙來(lái)泰國(guó)打工, 沒(méi)想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留刊头,地道東北人黍瞧。 一個(gè)月前我還...
    沈念sama閱讀 47,743評(píng)論 2 368
  • 正文 我出身青樓,卻偏偏與公主長(zhǎng)得像原杂,于是被迫代替她去往敵國(guó)和親印颤。 傳聞我的和親對(duì)象是個(gè)殘疾皇子,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 44,629評(píng)論 2 354

推薦閱讀更多精彩內(nèi)容