理解 glibc malloc

本文章引用
堆內存是一個很有意思的領域典蝌,這樣的問題:
henan.qq.com/zt/2018/dyzb/qi angwang.htm?from=singlemessage&isappinstalled=0

堆內存是如何從內核中分配的逐样? 
內存管理效率怎樣? 
它是由內核、庫函數(shù)透典,還是應用本身管理的滤奈? 
堆內存可以開發(fā)嗎摆昧?

我也困惑了很久,但是直到最近我才有時間去了解它蜒程。下面就讓我來談談我的研究成果绅你。開源社區(qū)提供了很多現(xiàn)成的內存分配器(memory allocators ):

  • dlmalloc – General purpose allocator
  • ptmalloc2 – glibc
  • jemalloc – FreeBSD and Firefox
  • tcmalloc – Google
  • libumem – Solaris

每一種分配器都宣稱自己快(fast)、可拓展(scalable )昭躺、效率高(memory efficient)忌锯!但是并非所有的分配器都適用于我們的應用。內存吞吐量大(memory hungry)的應用程序的性能很大程度上取決于內存分配器的性能领炫。
在這篇文章中偶垮,我將只談論「glibc malloc」內存分配器。為了更好地理解「glibc malloc」帝洪,我會聯(lián)系最近的源代碼针史。

歷史:[ptmalloc2](http://www.malloc.de/en/) 基于 [dlmalloc](http://g.oswego.edu/dl/html/malloc.html) 開發(fā),并添加了對多線程的支持碟狞,于 2006 年公布啄枕。在公布之后,ptmalloc2 被整合到 glibc 源代碼中族沃,此后 ptmalloc2 所有的修改都直接提交到 glibc 的 malloc 部分去了频祝。因此,ptmalloc2 的源碼和 glibc 的 malloc源碼有很多不一致的地方脆淹。(譯者注:1996 年出現(xiàn)的 dlmalloc 只有一個主分配區(qū)常空,為所有線程所爭用,1997 年發(fā)布的 ptmalloc 在 dlmalloc 的基礎上引入了非主分配區(qū)的支持盖溺。 )

理解 glibc malloc

系統(tǒng)調用

之前的文章中提到過malloc的內部調用為 brkmmap 漓糙。

譯者注:其中有一張關于虛擬地址空間分布的圖片,我覺得很有助于本篇文章的理解烘嘱,因此把它放在此處昆禽。

虛擬地址空間分布

線程處理
Linux 的早期版本使用 dlmalloc 為默認內存分配器蝗蛙,但是因為 ptmalloc2 提供了多線程支持,所以 Linux 后來采用 ptmalloc2 作為默認內存分配器醉鳖。多線程支持可以提升內存分配器的性能捡硅,進而間接提升應用的性能。

在 dlmalloc 中盗棵,當有兩個線程同時調用 malloc 時壮韭,只有一個線程能夠訪問臨界區(qū)(critical section)——因為「空閑列表數(shù)據(jù)結構」(freelist data structure)被所有可用線程共享。正如此纹因,使用 dlmalloc 的多線程應用會在內存分配上耗費過多時間喷屋,導致整個應用性能的下降。

而在 ptmalloc2 中瞭恰,當有兩個線程同時調用 malloc 時逼蒙,內存均會得到立即分配——因為每個線程都維護著一個獨立的「堆段」(heap segment),因此維護這些堆的「空閑列表數(shù)據(jù)結構」也是獨立的寄疏。這種為每個線程獨立地維護堆和「空閑列表數(shù)據(jù)結構」的行為就稱為 per thread arena。

/* Per thread arena example. */
#include <stdio.h>
#include <stdlib.h>
#include <pthread.h>
#include <unistd.h>
#include <sys/types.h>

void* threadFunc(void* arg) {
        printf("Before malloc in thread 1\n");
        getchar();
        char* addr = (char*) malloc(1000);
        printf("After malloc and before free in thread 1\n");
        getchar();
        free(addr);
        printf("After free in thread 1\n");
        getchar();
}

int main() {
        pthread_t t1;
        void* s;
        int ret;
        char* addr;

        printf("Welcome to per thread arena example::%d\n",getpid());
        printf("Before malloc in main thread\n");
        getchar();
        addr = (char*) malloc(1000);
        printf("After malloc and before free in main thread\n");
        getchar();
        free(addr);
        printf("After free in main thread\n");
        getchar();
        ret = pthread_create(&t1, NULL, threadFunc, NULL);
        if(ret)
        {
                printf("Thread creation error\n");
                return -1;
        }
        ret = pthread_join(t1, &s);
        if(ret)
        {
                printf("Thread join error\n");
                return -1;
        }
        return 0;
}

輸出分析

在主線程 malloc 之前

在如下的輸出里我們可以看到僵井,這里還 沒有「 堆段」 也沒有 「每線程椛陆兀」(per-thread stack),因為 thread1 還沒有創(chuàng)建批什!

?著作權歸作者所有,轉載或內容合作請聯(lián)系作者
  • 序言:七十年代末农曲,一起剝皮案震驚了整個濱河市,隨后出現(xiàn)的幾起案子驻债,更是在濱河造成了極大的恐慌乳规,老刑警劉巖,帶你破解...
    沈念sama閱讀 223,002評論 6 519
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件合呐,死亡現(xiàn)場離奇詭異暮的,居然都是意外死亡,警方通過查閱死者的電腦和手機淌实,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 95,357評論 3 400
  • 文/潘曉璐 我一進店門冻辩,熙熙樓的掌柜王于貴愁眉苦臉地迎上來,“玉大人拆祈,你說我怎么就攤上這事恨闪。” “怎么了放坏?”我有些...
    開封第一講書人閱讀 169,787評論 0 365
  • 文/不壞的土叔 我叫張陵咙咽,是天一觀的道長。 經(jīng)常有香客問我淤年,道長钧敞,這世上最難降的妖魔是什么蜡豹? 我笑而不...
    開封第一講書人閱讀 60,237評論 1 300
  • 正文 為了忘掉前任,我火速辦了婚禮犁享,結果婚禮上余素,老公的妹妹穿的比我還像新娘。我一直安慰自己炊昆,他們只是感情好桨吊,可當我...
    茶點故事閱讀 69,237評論 6 398
  • 文/花漫 我一把揭開白布。 她就那樣靜靜地躺著凤巨,像睡著了一般视乐。 火紅的嫁衣襯著肌膚如雪。 梳的紋絲不亂的頭發(fā)上敢茁,一...
    開封第一講書人閱讀 52,821評論 1 314
  • 那天佑淀,我揣著相機與錄音,去河邊找鬼彰檬。 笑死伸刃,一個胖子當著我的面吹牛,可吹牛的內容都是我干的逢倍。 我是一名探鬼主播捧颅,決...
    沈念sama閱讀 41,236評論 3 424
  • 文/蒼蘭香墨 我猛地睜開眼,長吁一口氣:“原來是場噩夢啊……” “哼较雕!你這毒婦竟也來了碉哑?” 一聲冷哼從身側響起,我...
    開封第一講書人閱讀 40,196評論 0 277
  • 序言:老撾萬榮一對情侶失蹤亮蒋,失蹤者是張志新(化名)和其女友劉穎扣典,沒想到半個月后,有當?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體慎玖,經(jīng)...
    沈念sama閱讀 46,716評論 1 320
  • 正文 獨居荒郊野嶺守林人離奇死亡贮尖,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內容為張勛視角 年9月15日...
    茶點故事閱讀 38,794評論 3 343
  • 正文 我和宋清朗相戀三年,在試婚紗的時候發(fā)現(xiàn)自己被綠了趁怔。 大學時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片远舅。...
    茶點故事閱讀 40,928評論 1 353
  • 序言:一個原本活蹦亂跳的男人離奇死亡,死狀恐怖痕钢,靈堂內的尸體忽然破棺而出图柏,到底是詐尸還是另有隱情,我是刑警寧澤任连,帶...
    沈念sama閱讀 36,583評論 5 351
  • 正文 年R本政府宣布蚤吹,位于F島的核電站,受9級特大地震影響,放射性物質發(fā)生泄漏裁着。R本人自食惡果不足惜繁涂,卻給世界環(huán)境...
    茶點故事閱讀 42,264評論 3 336
  • 文/蒙蒙 一、第九天 我趴在偏房一處隱蔽的房頂上張望二驰。 院中可真熱鬧扔罪,春花似錦、人聲如沸桶雀。這莊子的主人今日做“春日...
    開封第一講書人閱讀 32,755評論 0 25
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽矗积。三九已至全肮,卻和暖如春,著一層夾襖步出監(jiān)牢的瞬間棘捣,已是汗流浹背辜腺。 一陣腳步聲響...
    開封第一講書人閱讀 33,869評論 1 274
  • 我被黑心中介騙來泰國打工, 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留乍恐,地道東北人评疗。 一個月前我還...
    沈念sama閱讀 49,378評論 3 379
  • 正文 我出身青樓,卻偏偏與公主長得像茵烈,于是被迫代替她去往敵國和親百匆。 傳聞我的和親對象是個殘疾皇子,可洞房花燭夜當晚...
    茶點故事閱讀 45,937評論 2 361

推薦閱讀更多精彩內容