姓名：唐易平
學(xué)號(hào)：19121110448
轉(zhuǎn)載自：【PyTorch】唯快不破：基于Apex的混合精度加速
【嵌牛導(dǎo)讀】：介紹一下混合精度計(jì)算（Mixed Precision）腾么，并分享一款Nvidia開發(fā)的基于PyTorch的混合精度訓(xùn)練加速神器--Apex。
【嵌牛鼻子】：PyTorch侧蘸，混合精度訓(xùn)練
【嵌牛提問(wèn)】：Apex加速原理锄贷？如何使用板惑？
【嵌牛正文】：
理論部分：
為了充分理解混合精度的原理，以及API的使用，先補(bǔ)充一點(diǎn)基礎(chǔ)的理論知識(shí)篡石。
1. 什么是FP16概耻？
半精度浮點(diǎn)數(shù)是一種計(jì)算機(jī)使用的二進(jìn)制浮點(diǎn)數(shù)數(shù)據(jù)類型使套，使用2字節(jié)（16位）存儲(chǔ)。
其中鞠柄，位表示正負(fù)侦高，
位表示指數(shù)（
)，
表示的是分?jǐn)?shù)（
）厌杜，其中當(dāng)指數(shù)為零的時(shí)候奉呛，下圖加號(hào)左邊為0，其他情況為1夯尽。
2. 為什么需要FP16瞧壮？
1）.?減少顯存占用
現(xiàn)在模型越來(lái)越大，當(dāng)你使用Bert這一類的預(yù)訓(xùn)練模型時(shí)呐萌，往往顯存就被模型及模型計(jì)算占去大半馁痴，當(dāng)想要使用更大的Batch Size的時(shí)候會(huì)顯得捉襟見肘。由于FP16的內(nèi)存占用只有FP32的一半肺孤，自然地就可以幫助訓(xùn)練過(guò)程節(jié)省一半的顯存空間罗晕。
2）.?加快訓(xùn)練和推斷的計(jì)算
與普通的空間時(shí)間Trade-off的加速方法不同济欢，F(xiàn)P16除了能節(jié)約內(nèi)存，還能同時(shí)節(jié)省模型的訓(xùn)練時(shí)間小渊。在大部分的測(cè)試中法褥，基于FP16的加速方法能夠給模型訓(xùn)練帶來(lái)多一倍的加速體驗(yàn)。
3）.?張量核心的普及
硬件的發(fā)展同樣也推動(dòng)著模型計(jì)算的加速酬屉，隨著Nvidia張量核心（Tensor Core）的普及半等，16bit計(jì)算也一步步走向成熟，低精度計(jì)算也是未來(lái)深度學(xué)習(xí)的一個(gè)重要趨勢(shì)呐萨，再不學(xué)習(xí)就out啦杀饵。
3. FP16帶來(lái)的問(wèn)題：量化誤差
1）.?溢出錯(cuò)誤（Grad Overflow / Underflow）
由于FP16的動(dòng)態(tài)范圍（）比FP32的動(dòng)態(tài)范圍（
）要狹窄很多，因此在計(jì)算過(guò)程中很容易出現(xiàn)上溢出（Overflow谬擦，
）和下溢出（Underflow切距，
）的錯(cuò)誤，溢出之后就會(huì)出現(xiàn)“Nan”的問(wèn)題惨远。
在深度學(xué)習(xí)中谜悟，由于激活函數(shù)的的梯度往往要比權(quán)重梯度小，更易出現(xiàn)下溢出的情況北秽。
2）.?舍入誤差（Rounding Error）
舍入誤差指的是當(dāng)梯度過(guò)小葡幸，小于當(dāng)前區(qū)間內(nèi)的最小間隔時(shí)，該次梯度更新可能會(huì)失敗贺氓，用一張圖清晰地表示：
4. 解決問(wèn)題的辦法：混合精度訓(xùn)練+動(dòng)態(tài)損失放大
1）.?混合精度訓(xùn)練（Mixed Precision）
混合精度訓(xùn)練的精髓在于“在內(nèi)存中用FP16做儲(chǔ)存和乘法從而加速計(jì)算蔚叨，用FP32做累加避免舍入誤差”÷庸椋混合精度訓(xùn)練的策略有效地緩解了舍入誤差的問(wèn)題缅叠。
2）.?損失放大（Loss Scaling）
即使用了混合精度訓(xùn)練，還是會(huì)存在無(wú)法收斂的情況虏冻，原因是激活梯度的值太小肤粱，造成了下溢出（Underflow）。損失放大的思路是：
?反向傳播前厨相，將損失變化（dLoss）手動(dòng)增大2k2k倍领曼，因此反向傳播時(shí)得到的中間變量（激活函數(shù)梯度）則不會(huì)溢出；
反向傳播后蛮穿，將權(quán)重梯度縮2k2k倍庶骄，恢復(fù)正常值。
Apex的新API：Automatic Mixed Precision (AMP)
曾經(jīng)的Apex混合精度訓(xùn)練的api仍然需要手動(dòng)half模型已經(jīng)輸入的數(shù)據(jù)践磅，比較麻煩单刁，現(xiàn)在新的api只需要三行代碼即可無(wú)痛使用：
from apex import amp
model, optimizer = amp.initialize(model, optimizer, opt_level="O1")# 這里是“歐一”，不是“零一”
with amp.scale_loss(loss, optimizer) as scaled_loss:
? ?????? scaled_loss.backward()
1.opt_level
其中只有一個(gè)opt_level需要用戶自行配置：
?O0：純FP32訓(xùn)練府适，可以作為accuracy的baseline羔飞；
?O1：混合精度訓(xùn)練（推薦使用）肺樟，根據(jù)黑白名單自動(dòng)決定使用FP16（GEMM, 卷積）還是FP32（Softmax）進(jìn)行計(jì)算。
?O2：“幾乎FP16”混合精度訓(xùn)練逻淌，不存在黑白名單么伯，除了Batch norm，幾乎都是用FP16計(jì)算卡儒。
?O3：純FP16訓(xùn)練田柔，很不穩(wěn)定，但是可以作為speed的baseline骨望；
2.動(dòng)態(tài)損失放大（Dynamic Loss Scaling）
AMP默認(rèn)使用動(dòng)態(tài)損失放大硬爆，為了充分利用FP16的范圍，緩解舍入誤差锦募，盡量使用最高的放大倍數(shù)（）摆屯，如果產(chǎn)生了上溢出（Overflow），則跳過(guò)參數(shù)更新糠亩，縮小放大倍數(shù)使其不溢出，在一定步數(shù)后（比如2000步）會(huì)再嘗試使用大的scale來(lái)充分利用FP16的范圍：
干貨：踩過(guò)的那些坑
?判斷你的GPU是否支持FP16：構(gòu)擁有Tensor Core的GPU（2080Ti准验、Titan赎线、Tesla等），不支持的（Pascal系列）就不建議折騰了糊饱。
?常數(shù)的范圍：為了保證計(jì)算不溢出垂寥，首先要保證人為設(shè)定的常數(shù)（包括調(diào)用的源碼中的）不溢出，如各種epsilon另锋，INF等滞项。
?Dimension最好是8的倍數(shù)：Nvidia官方文檔表示，維度都是8的倍數(shù)的時(shí)候夭坪，性能最好文判。
?涉及到sum的操作要小心，很容易溢出室梅，類似Softmax的操作建議用官方API戏仓，并定義成layer寫在模型初始化里。
?模型書寫要規(guī)范：自定義的Layer寫在模型初始化函數(shù)里亡鼠，graph計(jì)算寫在forward里赏殃。
?某些不常用的函數(shù)，在使用前需要注冊(cè)：amp.register_float_function(torch, 'sigmoid')
?某些函數(shù)（如einsum）暫不支持FP16加速间涵，建議不要用的太heavy仁热。
?需要操作模型參數(shù)的模塊（類似EMA），要使用AMP封裝后的model勾哩。
?需要操作梯度的模塊必須在optimizer的step里抗蠢，不然AMP不能判斷grad是否為Nan根盒。
