?桔妹導(dǎo)讀：GPU虛擬機(jī)實(shí)例創(chuàng)建速度慢是公有云面臨的普遍問(wèn)題瑞凑，由于通常情況下創(chuàng)建虛擬機(jī)屬于低頻操作而未引起業(yè)界的重視，實(shí)際生產(chǎn)中還是存在對(duì)GPU實(shí)例創(chuàng)建時(shí)間有苛刻要求的業(yè)務(wù)場(chǎng)景惰匙。本文將介紹滴滴云在解決該問(wèn)題時(shí)的思路徽曲、方法秃臣、并展示最終的優(yōu)化成果。

從公有云服務(wù)商那里購(gòu)買過(guò)虛擬主機(jī)的資深用戶弧哎，一般會(huì)發(fā)現(xiàn)這么個(gè)規(guī)律：創(chuàng)建一臺(tái)CPU虛擬主機(jī)是比較快的撤嫩，但是要?jiǎng)?chuàng)建一臺(tái)包含GPU卡的虛擬主機(jī)通常需要等比較長(zhǎng)的時(shí)間序攘，整個(gè)創(chuàng)建過(guò)程短則數(shù)十秒鐘程奠，長(zhǎng)則數(shù)分鐘瞄沙。對(duì)于絕大多少的用戶來(lái)說(shuō)距境，虛擬主機(jī)的創(chuàng)建時(shí)間長(zhǎng)一點(diǎn)對(duì)他們影響并不大，因?yàn)閯?chuàng)建虛擬機(jī)屬于相對(duì)低頻操作伪货。但是也會(huì)有一些特定的用戶由于其業(yè)務(wù)場(chǎng)景交互性比較強(qiáng)们衙，會(huì)對(duì)虛擬主機(jī)的創(chuàng)建時(shí)間有相對(duì)苛刻的要求，因?yàn)檫^(guò)長(zhǎng)的創(chuàng)建時(shí)間會(huì)導(dǎo)致其業(yè)務(wù)用戶體驗(yàn)很差碱呼。本文將從虛擬化的角度來(lái)介紹GPU虛擬主機(jī)創(chuàng)建時(shí)間長(zhǎng)背后的原因蒙挑，以及相關(guān)的優(yōu)化方法。

通過(guò)分析Libvirt, QEMU以及Guest 內(nèi)的相關(guān)日志及對(duì)應(yīng)的時(shí)間戳愚臀，可以獲取GPU虛擬主機(jī)在創(chuàng)建過(guò)程中的耗時(shí)情況忆蚀，這里我們主要關(guān)心幾個(gè)關(guān)鍵的時(shí)間點(diǎn): a) Libvirt 開(kāi)始創(chuàng)建QEMU 進(jìn)程；b) Libvirt 執(zhí)行 Resume啟動(dòng)VCPU ; c) Guest kernel 打印第一條日志. 在本文中姑裂，我們把a(bǔ)和 b 之間的時(shí)間間隔稱為QEMU初始化時(shí)間, 把b 和c 之間的時(shí)間間隔稱為 BIOS執(zhí)行時(shí)間馋袜。以下數(shù)據(jù)是在滴滴云的線上環(huán)境中采集到的創(chuàng)建一臺(tái)包含8個(gè)CPU核虛擬機(jī)實(shí)例的相關(guān)數(shù)據(jù)：

從上面的數(shù)據(jù)可以看到，對(duì)于規(guī)格相同的虛擬機(jī)實(shí)例舶斧，帶1塊P40卡的GPU實(shí)例相比同規(guī)格的CPU實(shí)例在QEMU初始化及BIOS執(zhí)行部分的時(shí)間都明顯要長(zhǎng), 在帶4塊P40卡以及更大內(nèi)存規(guī)格的場(chǎng)景下泽台，需要的時(shí)間會(huì)進(jìn)一步拉長(zhǎng)嗜闻。通過(guò)實(shí)驗(yàn)我們發(fā)現(xiàn)在主機(jī)配置和GPU卡型號(hào)確定的前提下，GPU實(shí)例的創(chuàng)建時(shí)間長(zhǎng)短主要取決于兩個(gè)因素：虛擬機(jī)的內(nèi)存大小和GPU卡的數(shù)量锯茄。

為什么GPU實(shí)例的創(chuàng)建過(guò)程要比CPU實(shí)例的創(chuàng)建過(guò)程耗時(shí)長(zhǎng)抓半？多消耗的時(shí)間到底花在哪里？要搞清楚原因需要深入的分析，比較直觀的辦法就是通過(guò)perf采樣來(lái)生成火焰圖殃恒，以此來(lái)分析虛擬機(jī)在創(chuàng)建過(guò)程中的熱點(diǎn)函數(shù)亥鬓。下圖是在滴滴云環(huán)境里抓取到的GPU虛擬機(jī)啟動(dòng)過(guò)程中QEMU進(jìn)程的火焰圖。

通過(guò)對(duì)代碼調(diào)用關(guān)系的分析，可以得知熱點(diǎn)發(fā)生在系統(tǒng)分配內(nèi)存和對(duì)內(nèi)存頁(yè)面清零的過(guò)程中馋没，是由QEMU中的vfio_dma_map函數(shù)在執(zhí)行VFIO_IOMMU_MAP_DMA ioctl 系統(tǒng)調(diào)用所觸發(fā)，該調(diào)用會(huì)Pin住所有分配給VM當(dāng)做RAM使用的內(nèi)存笔链。在Pin 內(nèi)存的過(guò)程中坪创，如果虛擬內(nèi)存對(duì)應(yīng)的物理頁(yè)面尚未分配陪踩，會(huì)先進(jìn)行物理內(nèi)存分配并對(duì)內(nèi)存頁(yè)面內(nèi)容進(jìn)行清零傻谁。在Linux kernel 中态蒂，對(duì)分配給應(yīng)用程序的內(nèi)存進(jìn)行清零主要是基于安全方面的考慮瘩蚪，避免Host 內(nèi)存中的內(nèi)容泄漏給用戶空間的應(yīng)用程序言沐。這里之所以要將內(nèi)存Pin 住钉嘹，目的是為了保證IOMMU IO頁(yè)表和 host HVA->HPA 映射的一致性奖年，否則Guest 內(nèi)設(shè)備的DMA操作可能會(huì)訪問(wèn)到錯(cuò)誤的內(nèi)存頁(yè)面水评。

VFIO DMA 映射處理慢可以在一定程度上解釋為什么內(nèi)存的大小和GPU卡的數(shù)量會(huì)影響到GPU實(shí)例的創(chuàng)建時(shí)間中燥。虛擬機(jī)實(shí)例內(nèi)存規(guī)格越大，需要映射和Pin住的內(nèi)存量也就越大吟秩，相關(guān)處理的耗時(shí)和內(nèi)存量成正比。另外GPU卡上通常會(huì)包含一塊比較大的MMIO區(qū)域，對(duì)MMIO的映射也會(huì)耗費(fèi)較多的時(shí)間已骇，卡的數(shù)量越多，耗時(shí)就會(huì)越長(zhǎng)痘拆。相比之下识颊，CPU實(shí)例的創(chuàng)建過(guò)程沒(méi)有VFIO DMA 映射的相關(guān)處理流程，因此會(huì)比較快奕坟。

針對(duì)以上的熱點(diǎn)祥款，有什么辦法可以消除或者緩解呢？已經(jīng)有業(yè)內(nèi)的同行們提到過(guò)這個(gè)問(wèn)題并給出了對(duì)應(yīng)的解決方案月杉，其思路是對(duì)分配給VM 用作RAM使用的內(nèi)存區(qū)域做一個(gè)標(biāo)記刃跛，在內(nèi)核中跳過(guò)對(duì)標(biāo)記的內(nèi)存頁(yè)面進(jìn)行清零，而將清零的動(dòng)作留給QEMU來(lái)做苛萎，在QEMU 中可以利用多線程以及更高效的指令進(jìn)行清零動(dòng)作桨昙，從而加速Pin內(nèi)存的過(guò)程。該方案的缺陷主要有兩點(diǎn): 一是存在安全性風(fēng)險(xiǎn)腌歉，其他應(yīng)用程序可以利用設(shè)定的標(biāo)記來(lái)窺探host 內(nèi)存中的信息蛙酪；二是在VM實(shí)例的VCPU個(gè)數(shù)比較少的情況下，優(yōu)化效果不是很好翘盖。

我們采用了另外一種方案桂塞，通過(guò)修改Host kernel的內(nèi)存管理部分， 我們實(shí)現(xiàn)了一種對(duì)Host 上空閑物理內(nèi)存提前進(jìn)行清零的機(jī)制馍驯，清零動(dòng)作可以在系統(tǒng)空閑的時(shí)候進(jìn)行阁危，當(dāng)某個(gè)內(nèi)存頁(yè)面被清零后，將其對(duì)應(yīng)的 struct page 進(jìn)行標(biāo)記汰瘫，這樣在需要對(duì)內(nèi)存進(jìn)行清零的時(shí)候狂打，可以通過(guò)檢查該標(biāo)記來(lái)判斷是否要執(zhí)行清零動(dòng)作，如果清零的標(biāo)記已經(jīng)被設(shè)置混弥，就可以跳過(guò)清零的步驟趴乡。該方案避免了上述方案中的兩個(gè)主要問(wèn)題，同時(shí)還有其它方面的好處，主要包括以下幾點(diǎn)：a.可以提高缺頁(yè)異常處理效率浙宜，尤其是透明大頁(yè)的缺頁(yè)異常處理效率官辽；b. 可以加速需要Pin內(nèi)存及需要通過(guò)mlock 來(lái)鎖住內(nèi)存的應(yīng)用場(chǎng)景蛹磺，例如使用RDMA, QAT 硬件加速等場(chǎng)合粟瞬；c. 可以加速內(nèi)核中其他需要對(duì)內(nèi)存進(jìn)行清零的場(chǎng)景。相關(guān)補(bǔ)丁的RFC版本萤捆，我們已經(jīng)提交到了Linux kernel 社區(qū)裙品。

另一個(gè)加速Pin內(nèi)存的有效方法是采用大頁(yè)，通過(guò)開(kāi)啟透明大頁(yè)可以顯著減少缺頁(yè)處理的調(diào)用次數(shù)并加速Pin內(nèi)存的過(guò)程俗或。下圖展示了開(kāi)啟透明大頁(yè)以及啟用空閑內(nèi)存預(yù)清零機(jī)制對(duì)GPU實(shí)例創(chuàng)創(chuàng)建時(shí)間的影響市怎。

以上的數(shù)據(jù)表明，在開(kāi)啟透明大頁(yè)以及空閑內(nèi)存預(yù)清零功能后辛慰，可以顯著的的優(yōu)化QEMU的初始化時(shí)間区匠，但是BIOS部分的耗時(shí)依然偏長(zhǎng)。通過(guò)進(jìn)一步的分析我們發(fā)現(xiàn)主要的時(shí)間消耗還是在VFIO 映射DMA的處理過(guò)程當(dāng)中帅腌，主要有幾個(gè)方面的原因：a. 映射DMA Pin內(nèi)存需要逐頁(yè)查詢頁(yè)表驰弄，開(kāi)銷較大；b. QEMU 存在對(duì)部分IOVA區(qū)域的反復(fù)映射及解除映射的操作速客。于是我們嘗試在這兩個(gè)方向上進(jìn)行優(yōu)化戚篙，通過(guò)采用批量處理的方法減少查詢頁(yè)表的開(kāi)銷，另外在QEMU中加入VFIO DMA映射區(qū)域的管理溺职，有效的規(guī)避了效率低下的反復(fù)映射及解除映射操作岔擂，最終大幅度降低了VFIO DMA映射的時(shí)間消耗。

在解決完上述問(wèn)題后我們并沒(méi)有止步浪耘，對(duì)虛擬機(jī)實(shí)例創(chuàng)建過(guò)程中的可優(yōu)化的其它地方乱灵，我們也做了相關(guān)的處理，例如關(guān)閉BIOS boot menu 七冲，優(yōu)化VFIO PCI 設(shè)備reset 的流程痛倚，去掉對(duì)GPU實(shí)例來(lái)說(shuō)不必要的操作，最終將GPU實(shí)例創(chuàng)建過(guò)程中虛擬化部分的時(shí)間開(kāi)銷減少了90%以上癞埠，下面這張圖展示了單卡小內(nèi)存規(guī)格實(shí)例優(yōu)化前后的耗時(shí)對(duì)比：

大內(nèi)存規(guī)格和多GPU卡的效果更加顯著状原，時(shí)間減少了95%以上，相關(guān)數(shù)據(jù)如下圖：

經(jīng)過(guò)上述的優(yōu)化苗踪，目前在滴滴云上創(chuàng)建一個(gè)GPU實(shí)例的速度比優(yōu)化前顯著加快颠区，甚至比優(yōu)化前創(chuàng)建一個(gè)CPU實(shí)例的速度還要快，如果用戶對(duì)GPU實(shí)例的創(chuàng)建速度有比較強(qiáng)的需求通铲，歡迎到滴滴云上進(jìn)行體驗(yàn)毕莱。

團(tuán)隊(duì)介紹

滴滴云平臺(tái)事業(yè)群滴滴內(nèi)核團(tuán)隊(duì)致力于為公司各種業(yè)務(wù)提供底層系統(tǒng)軟件支撐，負(fù)責(zé)公司線上服務(wù)器Linux操作系統(tǒng)內(nèi)核的研發(fā)并維護(hù)虛擬化相關(guān)的核心組件。團(tuán)隊(duì)針對(duì)各個(gè)業(yè)務(wù)的需求朋截，在虛擬化蛹稍、業(yè)務(wù)混部、資源隔離部服、系統(tǒng)性能優(yōu)化等領(lǐng)域均有廣泛深入的研究唆姐，在公有云、彈性云等業(yè)務(wù)線都有相關(guān)的產(chǎn)品廓八。

作者介紹

專注于系統(tǒng)虛擬化研究奉芦，負(fù)責(zé)解決滴滴云底層虛擬化相關(guān)技術(shù)問(wèn)題。曾就職于Intel 開(kāi)源軟件中心虛擬化組剧蹂，具備豐富的底層系統(tǒng)軟件開(kāi)發(fā)經(jīng)驗(yàn)声功。

延伸閱讀

內(nèi)容編輯 | Charlotte
聯(lián)系我們 | DiDiTech@didiglobal.com