這兩天仔細看了下分布式pytorch的文檔…起因是跑分布式pytorch的時候通贞，在training的最后一個epoch掛掉了
首先在最后一個epoch/batch掛掉的原因朗若，肯定不會是模型的問題，因為前面幾個epoch很穩(wěn)定昌罩。仔細排查了下哭懈，發(fā)現(xiàn)是有的worker還在訓練，有的worker卻結束退出了茎用，所以還在訓練的worker一直等不到其他worker的回應遣总，所以出錯了。
非常簡單粗暴地轨功，用DP+all_reduce旭斥，手動地把梯度聚合的方式從同步改成了異步，就好了古涧。
但是仔細想了想垂券，又覺得不太對，這不應該是會出錯的地方羡滑。分布式的pytorch也算是比較成熟的方案了菇爪，分布式的環(huán)境也是一個成熟的應用了，要么是pytorch+分布式出錯了柒昏，要么就是我的用法不對……
分布式機器學習的訓練方式
- 模型并行
- 數(shù)據(jù)并行
顧名思義凳宙，模型并行，是模型拆分成多個模塊昙楚，并行的去計算各自的梯度近速。用的是同一份數(shù)據(jù)诈嘿，模型模型各自算各自的。數(shù)據(jù)并行則是把數(shù)據(jù)拆成多份削葱，不同的機器上用同一份模型去計算不同的數(shù)據(jù)奖亚，每次計算之后，機器們就同步一下各自的梯度析砸。
Distribution In Pytorch
在pytorch中昔字，關于分布式計算，主要有三個大的組件
- Distributed Data Parallel(DDP)
- RPC-Based Distributed Training(RPC)
- Collective Communication(c10d)
一般常用的分布式訓練都是選擇數(shù)據(jù)并行首繁，如果模型太大放到gpu里面裝不下作郭，就只能考慮模型并行了。所以在pytorch中弦疮，常用的分布式訓練夹攒，都是使用DDP這一套就夠了。RPC和c10d就逐漸底層胁塞，主要是為了滿足一些定制化的需要咏尝，比如pytorch里面默認的分布式架構是ring型的，但是你想要用parameter server的訓練框架啸罢，那就可以用后面兩種組件搭配DDP去完成模型的分布式訓練编检。可以看出來DDP確實是非常精妙的扰才，可以參考pytorch這邊發(fā)表的關于DDP的論文（PyTorch Distributed: Experiences on Accelerating Data Parallel Training）允懂。我只用了最普適的DDP方法，所以接下來對DDP的使用方法做一些歸納衩匣。
DDP的使用方法
最開始蕾总，pytorch數(shù)據(jù)并行這塊，用的模塊是DataParallel(DP)舵揭，這個方法有幾個缺點：
- just 1 processing and multi-thread谤专。進程線程和cpu的關系我有點忘了，但是反正就是效率會低一些（doge午绳，and 回頭補充）并且python原生存在的問題是python有CIL鎖，所以很難真正意義上實現(xiàn)多processing映之。
- 并且在分布式的環(huán)境中拦焚，DP包裹的模型，需要手動地去調(diào)用all_reduce來更新模型參數(shù)杠输。（順便pytorch中有幾種梯度聚合的方式赎败，詳情可以參見文檔）
- 且由于DP的1 processing模式，在多GPU的時候蠢甲，會存在各個GPU負載不均衡的問題僵刮。
出于這幾點原因，pytorch做了相應的優(yōu)化，于是有了DDP搞糕。DDP和DP有很大的不同：
- DDP是multi processing的勇吊，解決了python中CIL鎖爭搶的問題。并且做了許多優(yōu)化處理窍仰，來解決之前DP中存在的負載不均衡的問題汉规。
- DDP不需要手動去update 參數(shù)梯度了，DDP內(nèi)部做了相應的廣播處理（是同步更新參數(shù)的）
- DDP可以搭配RPC或者c10d的一些方法去完成更定制化的分布式訓練
DDP的使用也比較簡單：（詳情參考：https://pytorch.org/docs/master/generated/torch.nn.parallel.DistributedDataParallel.html）
1. torch.distributed.init_process_group(backend='nccl', world_size=N, init_method='...')
#做init操作驹吮，初始化分布式的環(huán)境针史，告知一共有多少的機器并行訓練，用的啥后端框架做消息傳遞
2. model = DistributedDataParallel(model, device_ids=[i], output_device=i)
#把模型裹上DDP
一些相關不相關的distrbutedxxx
一個是DistributedSampler碟狞∽恼恚可以說這個是直接解決我最初的bug…導致部分worker提前training結束的原因就是每個機器上的batch數(shù)量不相同，我用的分布式環(huán)境是sagemaker族沃，它能夠支持一種方式就是把輸入根據(jù)機器數(shù)量频祝，切成近似均勻的N等份輸入，這樣每個機器就不需要下載全量的數(shù)據(jù)做訓練了竭业，只要拿到1/N總數(shù)的數(shù)據(jù)智润，可以大大減少機器負載和download時間。但是這直接導致的就是job failed…
于是認命還是用回DistributedSampler(DS)（可以說沒有特殊情況的輸入未辆，都應該用DistributedSampler）它可以根據(jù)init時指定的world_size窟绷，對dataset做shuffle和split，保證每個機器上拿到的數(shù)據(jù)是不重復的咐柜，并且是均勻的兼蜈，每個機器上的batch數(shù)量一定是一樣的。
順便提一嘴拙友，如果在sagemaker已經(jīng)等分過數(shù)據(jù)的情況下为狸，再調(diào)用DS，就會讓每個機器拿到的數(shù)據(jù)是 1/(N*N)的大小了…
還有一個是DistributedOptimizer(DO)遗契。這個數(shù)據(jù)并行的時候?qū)嶋H應該用不到辐棒，DO在初始化的時候，是要指定reff格式的輸入?yún)?shù)牍蜂。直白一點就是你可以指定模型的某些個參數(shù)漾根，然后變成reff格式，指定給DO鲫竞，這樣優(yōu)化器就會只更新分布式環(huán)境里的這幾個參數(shù)了辐怕。所以一般DO是在模型并行的時候需要用的，因為數(shù)據(jù)并行的時候从绘，每個環(huán)境下是獨立擁有優(yōu)化器的寄疏。
最后鳴謝pytorch document是牢，寫得真好，不愧大佬：https://pytorch.org/tutorials/beginner/dist_overview.html
