注：摘自知乎
作者主頁(yè)：https://www.zhihu.com/people/cheng-yin-36/activities
問(wèn)題主頁(yè)：https://www.zhihu.com/question/32673260
如有侵權(quán)煩請(qǐng)告知丙猬。
在合理范圍內(nèi)信卡，增大 Batch_Size 有何好處督函？
- 內(nèi)存利用率提高了樱报，大矩陣乘法的并行化效率提高遵蚜。
- 跑完一次 epoch（全數(shù)據(jù)集）所需的迭代次數(shù)減少，對(duì)于相同數(shù)據(jù)量的處理速度進(jìn)一步加快龙填。
- 在一定范圍內(nèi)氧急，一般來(lái)說(shuō) Batch_Size 越大，其確定的下降方向越準(zhǔn)八回，引起訓(xùn)練震蕩越小酷愧。
盲目增大 Batch_Size 有何壞處？
- 內(nèi)存利用率提高了缠诅，但是內(nèi)存容量可能撐不住了溶浴。
- 跑完一次 epoch（全數(shù)據(jù)集）所需的迭代次數(shù)減少，要想達(dá)到相同的精度管引，其所花費(fèi)的時(shí)間大大增加了士败，從而對(duì)參數(shù)的修正也就顯得更加緩慢。
- 增大到一定程度褥伴，其確定的下降方向已經(jīng)基本不再變化谅将。
