63.1 目標(biāo)檢測中如何從零開始訓(xùn)練
結(jié)合FAIR相關(guān)的研究衷咽，可以了解目標(biāo)檢測和其他任務(wù)從零訓(xùn)練模型一樣啦撮，只要擁有足夠的數(shù)據(jù)以及充分而有效的訓(xùn)練顾稀，同樣能訓(xùn)練出不亞于利用預(yù)訓(xùn)練模型的檢測器苟呐。這里提供如下幾點建議：
1痒芝、數(shù)據(jù)集不大時，同樣需要進(jìn)行數(shù)據(jù)集增強(qiáng)牵素。
2严衬、預(yù)訓(xùn)練模型擁有更好的初始化，train from scratch需要更多的迭代次數(shù)以及時間訓(xùn)練和優(yōu)化檢測器笆呆。而二階段模型由于并不是嚴(yán)格的端對端訓(xùn)練请琳，此時可能需要更多的迭代次數(shù)以及時間，而一階段檢測模型訓(xùn)練會相對更容易些（例如DSOD以ScratchDet及）赠幕。
3俄精、目標(biāo)檢測中train from scratch最大的問題還是batch size過小。所以可采取的策略是增加GPU使用異步batchnorm增大batch size榕堰，若條件限制無法使用更多GPU時嘀倒，可使用groupnorm代替batchnorm
4、由于分類模型存在對多目標(biāo)的捕捉能力弱以及對物體空間位置信息不敏感等問題，可借鑒DetNet訓(xùn)練一個專屬于目標(biāo)檢測的模型網(wǎng)絡(luò)测蘑，增強(qiáng)對多目標(biāo)、尺度和位置擁有更強(qiáng)的適應(yīng)性康二。
63.2 不同的數(shù)據(jù)集特性下如何微調(diào)
- 數(shù)據(jù)集數(shù)據(jù)量少碳胳，數(shù)據(jù)和原數(shù)據(jù)集類似。這是通常做法只需修改最后的輸出層沫勿，訓(xùn)練即可挨约，訓(xùn)練過多參數(shù)容易過擬合。
- 數(shù)據(jù)集數(shù)據(jù)量少产雹，數(shù)據(jù)和原數(shù)據(jù)集差異較大诫惭。由于數(shù)據(jù)差異較大，可以在完成輸出頂層的微調(diào)后蔓挖，微調(diào)頂層往下一半的層數(shù)夕土，進(jìn)行微調(diào)。
- 數(shù)據(jù)集數(shù)據(jù)量大瘟判，數(shù)據(jù)與原數(shù)據(jù)集差異較大怨绣。這種情況下，通常已經(jīng)不需要用預(yù)訓(xùn)練模型進(jìn)行微調(diào)拷获，通常直接重新訓(xùn)練即可篮撑。
- 數(shù)據(jù)集數(shù)據(jù)量大，數(shù)據(jù)與原數(shù)據(jù)類似匆瓜。這時預(yù)訓(xùn)練模型的參數(shù)是個很好的初始化赢笨，可利用預(yù)訓(xùn)練模型放開所有層以較小的學(xué)習(xí)率微調(diào)即可。
63.3 目標(biāo)檢測中使用預(yù)訓(xùn)練模型的優(yōu)劣驮吱？
- 目標(biāo)檢測中無論是一階段的YOLO茧妒、SSD或者RetinaNet 還是二階段的Faster R-CNN、R-FCN 和 FPN都是基于ImageNet上預(yù)訓(xùn)練好的分類模型糠馆。
- 優(yōu)勢在于：
1嘶伟、正如大部分微調(diào)的情況一樣，使用預(yù)訓(xùn)練網(wǎng)絡(luò)已擁有優(yōu)秀的語義特征又碌，能有效的加快訓(xùn)練速度九昧；
2、其次毕匀，對于大部分二階段的模型來說铸鹰，并未實現(xiàn)嚴(yán)格意義上的完全端對端的訓(xùn)練，所以使用預(yù)訓(xùn)練模型能直接提取到語義特征皂岔，能使兩個階段的網(wǎng)絡(luò)更容易實現(xiàn)模型的優(yōu)化蹋笼。 - 劣勢在于，分類模型和檢測模型之間仍然存在一定任務(wù)上的差異：
1、分類模型大部分訓(xùn)練于單目標(biāo)數(shù)據(jù)剖毯，對同時進(jìn)行多目標(biāo)的捕捉能力稍弱圾笨，且不關(guān)注目標(biāo)的位置，在一定程度上讓模型損失部分空間信息逊谋，這對檢測模型通常是不利的擂达；
2、域適應(yīng)問題胶滋，若預(yù)訓(xùn)練模型（ImageNet）和實際檢測器的使用場景（醫(yī)學(xué)圖像板鬓，衛(wèi)星圖像）差異較大時，性能會受到影響究恤；
3俭令、使用預(yù)訓(xùn)練模型就意味著難以自由改變網(wǎng)絡(luò)結(jié)構(gòu)和參數(shù)限制了應(yīng)用場合。
大數(shù)據(jù)視頻推薦：
網(wǎng)易云課堂
CSDN
人工智能算法競賽實戰(zhàn)
AIops智能運(yùn)維機(jī)器學(xué)習(xí)算法實戰(zhàn)
ELK7 stack開發(fā)運(yùn)維實戰(zhàn)
PySpark機(jī)器學(xué)習(xí)從入門到精通
AIOps智能運(yùn)維實戰(zhàn)
騰訊課堂
大數(shù)據(jù)語音推薦：
ELK7 stack開發(fā)運(yùn)維
企業(yè)級大數(shù)據(jù)技術(shù)應(yīng)用
大數(shù)據(jù)機(jī)器學(xué)習(xí)案例之推薦系統(tǒng)
自然語言處理
大數(shù)據(jù)基礎(chǔ)
人工智能：深度學(xué)習(xí)入門到精通
