YOLOv5在COCO數(shù)據(jù)集上訓(xùn)練需要的內(nèi)存大蟹柞恕:128GB
測(cè)試過程中,虛擬內(nèi)存使用了61GB邀杏,內(nèi)存使用了14.1GB贫奠,總數(shù)為75GB唬血,但在這種情況下,還報(bào)錯(cuò)唤崭!
內(nèi)存不足報(bào)錯(cuò)
實(shí)驗(yàn)數(shù)據(jù)
注意:
- 對(duì)于workers拷恨,并不是越大越好,太大時(shí)gpu其實(shí)處理不過來谢肾,訓(xùn)練速度一樣腕侄,但虛擬內(nèi)存(磁盤空間)會(huì)成倍占用;對(duì)于單機(jī)單卡芦疏,workers=4就好冕杠,大于4,訓(xùn)練速度也沒有明顯提升酸茴,反而增加了虛擬內(nèi)存的使用
- 對(duì)于batch-size分预,實(shí)際測(cè)試下來,發(fā)現(xiàn)當(dāng)為8的倍數(shù)時(shí)效率更高一點(diǎn)薪捍,即 batch-size 32的效率反而會(huì)高于batch-size 34笼痹。
實(shí)際測(cè)試下來,在32GB內(nèi)存酪穿,1080Ti 11G顯存的系統(tǒng)上凳干,workers=4,batch-size=32基本達(dá)到上限了被济。
workers=4纺座,batch-size=32
workers=4,batch-size=32配置下溉潭,內(nèi)存=10GB,虛擬內(nèi)存50GB少欺,總共需要60GB喳瓣,64GB內(nèi)存可能ok,但是要測(cè)試赞别!
內(nèi)存消耗60G
workers=4畏陕,batch-size=32配置下,經(jīng)過測(cè)試仿滔,內(nèi)存穩(wěn)定在11.8GB惠毁,虛擬內(nèi)存45.7/56.1GB,顯存訓(xùn)練時(shí)6.4GB崎页,評(píng)估時(shí)會(huì)增加到10.6GB鞠绰。證明在單機(jī)單卡上,workers=4飒焦,batch-size=32已經(jīng)基本榨干了1080Ti了
YOLOv5s在COCO數(shù)據(jù)集上訓(xùn)練