“分布式”編譯

??最近部門有一個(gè)關(guān)于代碼編譯效率的問(wèn)題需要解決,具體背景就不方便介紹了善绎。下面我們以一個(gè)例子說(shuō)明钦铺。

?? 假設(shè)你是一個(gè)linux內(nèi)核的開(kāi)發(fā)著殊校,據(jù)我所知2.6版本的內(nèi)核代碼就達(dá)260多萬(wàn)行(見(jiàn)下圖)张漂。


??假設(shè)你有一個(gè)submit晶默,需要驗(yàn)證其正確性即需要將所有的代碼編譯一邊,那么需要多少時(shí)間呢航攒?(上學(xué)時(shí)嘗試過(guò)2.6的內(nèi)核磺陡,大約一個(gè)小時(shí)。這是不可想象的D蟆币他!。不過(guò)話說(shuō)回來(lái)現(xiàn)在的電腦性能提高了好多憔狞,最近給新買的電腦裝Ubuntu系統(tǒng)蝴悉,居然只使用了不到5分鐘)。那么如何解決耗時(shí)問(wèn)題呢瘾敢?下面我們通過(guò)實(shí)例進(jìn)行分析拍冠。

?? 代碼分為cpp/c文件和h文件,其中我們把cpp/c稱為一個(gè)編譯單元簇抵,h文件當(dāng)include后實(shí)際上只是提供一個(gè)前向聲明的作用(可以使用GCC/G++ -E 通過(guò)展示預(yù)處理來(lái)觀察)庆杜。下面提供一個(gè)簡(jiǎn)單的makefile展示下程序的編譯過(guò)程

objects = main.o kbd.o command.o display.o
edit : $(objects)
?? cc -o edit $(objects)
main.o : main.c defs.h
?? cc -c main.c -o main.o
kbd.o : kbd.c defs.h command.h
?? cc -c kbd.c -o kbd.o
command.o : command.c defs.h command.h
?? cc -c command.c -o command.o
display.o : display.c defs.h buffer.h
.PHONY : clean
clean :
?? rm edit $(objects)

??上述makefile表示我們需要產(chǎn)出一個(gè)名叫edit的可執(zhí)行文件,其依賴 main.o kbd.o command.o display.o碟摆,如果其中有一個(gè)依賴找不著晃财,makefile會(huì)通過(guò)缺少文件的產(chǎn)生規(guī)則生成該文件。例如main.o依賴main.c和defs.h, 如果main.o 不存在則會(huì)通過(guò):cc -c main.c -o main.o(表示一個(gè)編譯過(guò)程)得到典蜕,一次類推断盛。依賴的object都存在了雏逾,則通過(guò):cc -o edit $(objects) 鏈接得到可執(zhí)行文件。上述makefile明確的向我們展示了程序的編譯和鏈接過(guò)程郑临。編譯過(guò)程中我們經(jīng)常發(fā)現(xiàn)栖博,程序是一個(gè)增量編譯過(guò)程。實(shí)際上makefile在工作時(shí)為了加快編譯速度厢洞,會(huì)檢測(cè)cpp/c及其依賴文件和可鏈接文件的時(shí)間戳仇让,如果鏈接文件的時(shí)間戳比編譯單元新則不會(huì)重新編譯,這也就是程序增量編譯的原因躺翻。(上述makefile比較簡(jiǎn)單丧叽,沒(méi)有展示所有編譯過(guò)程,有興趣的可以查找資料學(xué)習(xí)下公你。雖說(shuō)現(xiàn)在我們已經(jīng)很少使用makefile來(lái)管理工程踊淳,但是只有了解其工作原理這樣你才能完全理解一個(gè)完整編譯過(guò)程~~~)。

?? 預(yù)處理 -----> 編譯------>匯編----->鏈接 陕靠。

??可執(zhí)行文件的產(chǎn)生一般經(jīng)過(guò)了上面的幾個(gè)過(guò)程迂尝,不過(guò)我們可以將其簡(jiǎn)化為編譯和鏈接兩個(gè)過(guò)程(makefile中已經(jīng)明確了上述兩個(gè)過(guò)程)。如果你需要加快可執(zhí)行文件產(chǎn)生過(guò)程剪芥,除了一般的ccache垄开,減少物理依賴等這種“吹毛求疵”的方法外還有沒(méi)有其他方式呢?這也就是本次需要討論的問(wèn)題税肪。
??我們明確了程序的編譯主要分為編譯和鏈接兩個(gè)階段溉躲,最為耗時(shí)的過(guò)程為編譯,所以要大幅度的提高編譯效率也就只能在該階段找突破益兄。那么我們的解決辦法是什么呢锻梳?"分布式"編譯即:將工程打散,將原來(lái)的串行改為并行净捅,如下圖所示:

mshot.png

??如上我們將浩大的工程拆成若該個(gè)微小的模塊疑枯,使用多臺(tái)機(jī)器并行編譯最后再統(tǒng)一在中心節(jié)點(diǎn)機(jī)器進(jìn)行鏈接、執(zhí)行灸叼,從而成倍的減少編譯耗時(shí)神汹。工作原理比較簡(jiǎn)單,通過(guò)編寫簡(jiǎn)單的Cmake文件和shell我們就實(shí)現(xiàn)上述思想古今。好了就這么多了屁魏,如果小伙伴有其它好方法可以可以一起討論下∽叫龋~~~

最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
  • 序言:七十年代末氓拼,一起剝皮案震驚了整個(gè)濱河市,隨后出現(xiàn)的幾起案子,更是在濱河造成了極大的恐慌桃漾,老刑警劉巖坏匪,帶你破解...
    沈念sama閱讀 212,816評(píng)論 6 492
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件,死亡現(xiàn)場(chǎng)離奇詭異撬统,居然都是意外死亡适滓,警方通過(guò)查閱死者的電腦和手機(jī),發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 90,729評(píng)論 3 385
  • 文/潘曉璐 我一進(jìn)店門恋追,熙熙樓的掌柜王于貴愁眉苦臉地迎上來(lái)凭迹,“玉大人,你說(shuō)我怎么就攤上這事苦囱⌒岢瘢” “怎么了?”我有些...
    開(kāi)封第一講書(shū)人閱讀 158,300評(píng)論 0 348
  • 文/不壞的土叔 我叫張陵撕彤,是天一觀的道長(zhǎng)鱼鸠。 經(jīng)常有香客問(wèn)我,道長(zhǎng)羹铅,這世上最難降的妖魔是什么蚀狰? 我笑而不...
    開(kāi)封第一講書(shū)人閱讀 56,780評(píng)論 1 285
  • 正文 為了忘掉前任,我火速辦了婚禮睦裳,結(jié)果婚禮上造锅,老公的妹妹穿的比我還像新娘。我一直安慰自己廉邑,他們只是感情好,可當(dāng)我...
    茶點(diǎn)故事閱讀 65,890評(píng)論 6 385
  • 文/花漫 我一把揭開(kāi)白布倒谷。 她就那樣靜靜地躺著蛛蒙,像睡著了一般。 火紅的嫁衣襯著肌膚如雪渤愁。 梳的紋絲不亂的頭發(fā)上牵祟,一...
    開(kāi)封第一講書(shū)人閱讀 50,084評(píng)論 1 291
  • 那天,我揣著相機(jī)與錄音抖格,去河邊找鬼诺苹。 笑死,一個(gè)胖子當(dāng)著我的面吹牛雹拄,可吹牛的內(nèi)容都是我干的收奔。 我是一名探鬼主播,決...
    沈念sama閱讀 39,151評(píng)論 3 410
  • 文/蒼蘭香墨 我猛地睜開(kāi)眼滓玖,長(zhǎng)吁一口氣:“原來(lái)是場(chǎng)噩夢(mèng)啊……” “哼坪哄!你這毒婦竟也來(lái)了?” 一聲冷哼從身側(cè)響起,我...
    開(kāi)封第一講書(shū)人閱讀 37,912評(píng)論 0 268
  • 序言:老撾萬(wàn)榮一對(duì)情侶失蹤翩肌,失蹤者是張志新(化名)和其女友劉穎模暗,沒(méi)想到半個(gè)月后,有當(dāng)?shù)厝嗽跇?shù)林里發(fā)現(xiàn)了一具尸體念祭,經(jīng)...
    沈念sama閱讀 44,355評(píng)論 1 303
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡兑宇,尸身上長(zhǎng)有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 36,666評(píng)論 2 327
  • 正文 我和宋清朗相戀三年,在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了粱坤。 大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片顾孽。...
    茶點(diǎn)故事閱讀 38,809評(píng)論 1 341
  • 序言:一個(gè)原本活蹦亂跳的男人離奇死亡,死狀恐怖比规,靈堂內(nèi)的尸體忽然破棺而出若厚,到底是詐尸還是另有隱情,我是刑警寧澤蜒什,帶...
    沈念sama閱讀 34,504評(píng)論 4 334
  • 正文 年R本政府宣布测秸,位于F島的核電站,受9級(jí)特大地震影響灾常,放射性物質(zhì)發(fā)生泄漏霎冯。R本人自食惡果不足惜,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 40,150評(píng)論 3 317
  • 文/蒙蒙 一钞瀑、第九天 我趴在偏房一處隱蔽的房頂上張望沈撞。 院中可真熱鬧,春花似錦雕什、人聲如沸缠俺。這莊子的主人今日做“春日...
    開(kāi)封第一講書(shū)人閱讀 30,882評(píng)論 0 21
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽(yáng)壹士。三九已至,卻和暖如春偿警,著一層夾襖步出監(jiān)牢的瞬間躏救,已是汗流浹背。 一陣腳步聲響...
    開(kāi)封第一講書(shū)人閱讀 32,121評(píng)論 1 267
  • 我被黑心中介騙來(lái)泰國(guó)打工螟蒸, 沒(méi)想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留盒使,地道東北人。 一個(gè)月前我還...
    沈念sama閱讀 46,628評(píng)論 2 362
  • 正文 我出身青樓七嫌,卻偏偏與公主長(zhǎng)得像少办,于是被迫代替她去往敵國(guó)和親。 傳聞我的和親對(duì)象是個(gè)殘疾皇子抄瑟,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 43,724評(píng)論 2 351

推薦閱讀更多精彩內(nèi)容