參考鏈接

一、引入

network latency是在將深度學(xué)習(xí)網(wǎng)絡(luò)投入實(shí)際應(yīng)用時(shí)需要考慮的重要因素畏线。
文章結(jié)構(gòu)：

1. the main processes that make GPU execution unique, including asynchronous execution and GPU warm up
2. share code samples for measuring time correctly on a GPU
3. review some of the common mistakes people make when quantifying inference time on GPUs

二栖袋、異步執(zhí)行（Asynchronous execution）

我們先來(lái)討論GPU的執(zhí)行機(jī)制拴驮。
在多線程或者多設(shè)備編程中樟插，兩個(gè)獨(dú)立的代碼塊能被并行執(zhí)行；也就是說(shuō)摹菠，第二個(gè)代碼塊可能比第一個(gè)代碼塊先執(zhí)行完。這個(gè)過(guò)程就叫作異步執(zhí)行骗爆。
在深度學(xué)習(xí)中次氨，我們常常需要用到異步執(zhí)行，因?yàn)镚PU操作默認(rèn)是異步的摘投。
更加具體來(lái)說(shuō)煮寡，當(dāng)我們用GPU去調(diào)用一個(gè)函數(shù)的時(shí)候，這些操作會(huì)安排到一個(gè)特定的設(shè)備去排隊(duì)犀呼，但未必會(huì)去其他設(shè)備區(qū)排隊(duì)洲押。這個(gè)機(jī)制允許我們?cè)贑PU或者其他GPU上并行地執(zhí)行運(yùn)算。

下圖左邊為同步執(zhí)行圆凰。進(jìn)程A需要等到進(jìn)程B的回復(fù)才能繼續(xù)執(zhí)行杈帐。右圖為異步執(zhí)行。進(jìn)程A不需要等進(jìn)程B執(zhí)行完就可以繼續(xù)執(zhí)行专钉。

image.png

異步執(zhí)行給深度學(xué)習(xí)提供了便利挑童。當(dāng)我們用多個(gè)batches去進(jìn)行inference時(shí)，當(dāng)?shù)谝粋€(gè)batch被喂到GPU上的網(wǎng)絡(luò)的時(shí)候跃须，第二個(gè)batch能在CPU上進(jìn)行預(yù)處理站叼。

當(dāng)我們用Python里的time庫(kù)計(jì)算時(shí)間時(shí)，這個(gè)measurement是在CPU上運(yùn)行的菇民。因?yàn)镚PU的異步特性尽楔，停止計(jì)算時(shí)間的那行代碼將會(huì)在GPU運(yùn)行完成之前被執(zhí)行。之后我們會(huì)介紹如何在異步運(yùn)行的條件下正確計(jì)算時(shí)間第练。

三阔馋、GPU warm-up

一個(gè)現(xiàn)代化的GPU設(shè)備有不同種耗電狀態(tài)(power states）。當(dāng)GPU不在使用并且persistence mode is not enabled娇掏，GPU會(huì)自動(dòng)reduce its power state to a very low level呕寝，有時(shí)候甚至完全關(guān)閉。在低耗電模式中婴梧，GPU會(huì)關(guān)掉不同pieces of 硬件下梢，包括 memory subsystems, internal subsystems, or even compute cores and caches.

任何嘗試與GPU交互的程序的調(diào)用都將會(huì)導(dǎo)致驅(qū)動(dòng)（the driver）去加載或者初始化GPU客蹋。這個(gè)驅(qū)動(dòng)加載的行為（driver load behavior）是值得注意的。那些觸發(fā)GPU初始化的應(yīng)用會(huì)導(dǎo)致最高3秒的延遲孽江，因?yàn)閠he scrubbing behavior of the error-correcting code讶坯。

舉個(gè)例子，如果我們?nèi)y(cè)試一個(gè)網(wǎng)絡(luò)的時(shí)間岗屏，這個(gè)網(wǎng)絡(luò)跑一個(gè)樣例需要10 milliseconds闽巩，那么跑1000個(gè)樣例會(huì)導(dǎo)致大部分running time都花在了初始化服務(wù)器上。這樣測(cè)出來(lái)的時(shí)間是不準(zhǔn)的担汤。

Nor does it reflect a production environment where usually the GPU is already initialized or working in persistence mode.
在measure time的時(shí)候涎跨，如何deal withGPU的初始化時(shí)間呢？

四崭歧、正確的measure inference time的方式

下面的Pytorch代碼展示了如何正確地measure inference time隅很。
這里用到的網(wǎng)絡(luò)是Efficient-net-b0。在代碼中率碾，我們處理了上面提到的兩個(gè)問(wèn)題（GPU預(yù)熱和異步執(zhí)行）叔营。
在進(jìn)行任何時(shí)間測(cè)量之前，我們?cè)诰W(wǎng)絡(luò)上跑幾個(gè)dummy examples以進(jìn)行”GPU warm up “所宰。這一步會(huì)自動(dòng)初始化GPU并且阻止GPU在我們測(cè)量時(shí)間時(shí)回到省電模式（power saveing mode）绒尊。
然后， 我們用 tr.cuda.event去在GPU上測(cè)量時(shí)間仔粥。
這里值得注意的是需要用到torch.cuda.synchronize()這個(gè)函數(shù)婴谱。這個(gè)函數(shù)能夠同步host和device（即：GPU和CPU），因此躯泰，只有在GPU上的進(jìn)程結(jié)束時(shí)谭羔，時(shí)間才會(huì)被記錄。這樣就解決了非同步執(zhí)行的問(wèn)題麦向。

model = EfficientNet.from_pretrained(‘efficientnet-b0’)
device = torch.device(“cuda”)
model.to(device)
dummy_input = torch.randn(1, 3,224,224,dtype=torch.float).to(device)
starter, ender = torch.cuda.Event(enable_timing=True), torch.cuda.Event(enable_timing=True)
repetitions = 300
timings=np.zeros((repetitions,1))
#GPU-WARM-UP：開(kāi)始跑dummy example
for _ in range(10):
   _ = model(dummy_input)
# MEASURE PERFORMANCE
with torch.no_grad():
  for rep in range(repetitions):
     starter.record()
     _ = model(dummy_input)
     ender.record()
     # WAIT FOR GPU SYNC
     torch.cuda.synchronize()
     curr_time = starter.elapsed_time(ender)
     timings[rep] = curr_time
mean_syn = np.sum(timings) / repetitions
std_syn = np.std(timings)
print(mean_syn)

這段代碼里瘟裸，用了torch.cuda.Event(enable_timing=True)這個(gè)命令中的.record來(lái)記錄時(shí)間，并且用torch.cuda.synchronize()進(jìn)行了時(shí)間同步诵竭，最后用curr_time = starter.elapsed_time(ender)來(lái)計(jì)算起止時(shí)間差话告。

五、在測(cè)量時(shí)間時(shí)的常見(jiàn)錯(cuò)誤

當(dāng)我們測(cè)量一個(gè)網(wǎng)絡(luò)的延遲（the latency of a network）時(shí)卵慰，我們的目標(biāo)是只測(cè)量網(wǎng)絡(luò)前向傳播（feed-forward ）消耗的時(shí)間沙郭。這些是進(jìn)行測(cè)量時(shí)可能犯的錯(cuò)誤和可能導(dǎo)致的后果：

1. 在host和device之間傳輸數(shù)據(jù)（即：GPU和CPU）

這個(gè)錯(cuò)誤常常是無(wú)意識(shí)發(fā)生的。比如：一個(gè)張量產(chǎn)生于CPU但是然后在GPU上進(jìn)行inference呵燕。
這個(gè)內(nèi)存分配（memory allocation）會(huì)消耗considerable amount of time棠绘，從而導(dǎo)致inference time變大件相。

這個(gè)錯(cuò)誤會(huì)影響時(shí)間測(cè)量的均值和方差再扭，如下圖氧苍，橫坐標(biāo)是時(shí)間測(cè)量的方法，縱坐標(biāo)是以milliseconds為單位的時(shí)間：

image.png

2. 不使用 GPU warm-up

正如上文提到的泛范，the first run on the GPU prompts its initialization. GPU initialization can take up to 3 seconds, which makes a huge difference when the timing is in terms of milliseconds.

3. 用標(biāo)準(zhǔn)的CPU計(jì)時(shí)法

The most common mistake made is to measure time without synchronization. Even experienced programmers have been known to use the following piece of code.

s = time.time()
 _ = model(dummy_input)
curr_time = (time.time()-s )*1000

這段代碼完全沒(méi)考慮異步執(zhí)行让虐，因此輸出了不正確的時(shí)間。這個(gè)錯(cuò)誤對(duì)時(shí)間測(cè)量的均值和方差影響如下罢荡，橫坐標(biāo)是時(shí)間測(cè)量的方法赡突，縱坐標(biāo)是以milliseconds為單位的時(shí)間：

image.png

4. 只用一個(gè)exmaple來(lái)測(cè)試時(shí)間

神經(jīng)網(wǎng)絡(luò)的前向傳播 has a (small) stochastic component。The variance of the run-time can be significant, especially when measuring a low latency network.
因此区赵，用若干個(gè)樣例來(lái)跑網(wǎng)絡(luò)然后對(duì)結(jié)果取平均是非常重要的（300 examples can be a good number）

六惭缰、吞吐量的測(cè)量（Measuring Throughput）

神經(jīng)網(wǎng)絡(luò)吞吐量的定義為：在一個(gè)時(shí)間單元（如：一秒）內(nèi)網(wǎng)絡(luò)能處理的最大輸入樣例數(shù)。
與延遲（處理單個(gè)樣例）不同的是笼才，為了達(dá)到最大的吞吐量漱受，我們往往希望并行處理盡可能多的樣例。The effective parallelism is obviously data-, model-, and device-dependent.
因此骡送，為了正確地測(cè)量吞吐量昂羡，我們需要進(jìn)行以下兩個(gè)步驟：
（1）估計(jì)最大并行所允許的最佳batch size
（2）在最佳batch size下，測(cè)量網(wǎng)絡(luò)一秒內(nèi)能處理的樣例數(shù)目摔踱。

如何找到最佳batch size虐先？一個(gè)好辦法是在給定數(shù)據(jù)類型下，達(dá)到GPU的memory limit的batch size派敷。這個(gè)batch size肯定與硬件類型和網(wǎng)絡(luò)尺寸相關(guān)蛹批。最快找到最大batch size的方法是進(jìn)行二分搜索。
當(dāng)我們不需要考慮找最佳batch size時(shí)間的時(shí)候篮愉，a simple sequential search is sufficient.用一個(gè)for 循環(huán)般眉，每次增大一個(gè)batch size，直到報(bào)錯(cuò)Run Time error潜支。這時(shí)候的batch size就是在我們的神經(jīng)網(wǎng)絡(luò)和數(shù)據(jù)數(shù)據(jù)下甸赃，GPU能處理的最大batch size。
在找到最大的batch size之后冗酿，我們?nèi)ビ?jì)算實(shí)際的吞吐量埠对。我們運(yùn)行很多個(gè)batch（100個(gè)batch足夠了），并用以下公式來(lái)計(jì)算一秒內(nèi)神經(jīng)網(wǎng)絡(luò)能處理的樣本數(shù)目：
(number of batches X batch size)/(total time in seconds).

model = EfficientNet.from_pretrained(‘efficientnet-b0’)
device = torch.device(“cuda”)
model.to(device)
dummy_input = torch.randn(optimal_batch_size, 3,224,224, dtype=torch.float).to(device)
repetitions=100
total_time = 0
with torch.no_grad():
  for rep in range(repetitions):
     starter, ender = torch.cuda.Event(enable_timing=True),          torch.cuda.Event(enable_timing=True)
     starter.record()
     _ = model(dummy_input)
     ender.record()
     torch.cuda.synchronize()
     curr_time = starter.elapsed_time(ender)/1000
     total_time += curr_time
Throughput = (repetitions*optimal_batch_size)/total_time
print(‘Final Throughput:’,Throughput)