轉(zhuǎn)載知乎：https://www.zhihu.com/question/43673341/answer/257382587
（1）iteration：表示1次迭代（也叫training step）颅停，每次迭代更新1次網(wǎng)絡(luò)結(jié)構(gòu)的參數(shù)谓晌；
（2）batch-size：1次迭代所使用的樣本量；
（3）epoch：1個epoch表示過了1遍訓(xùn)練集中的所有樣本癞揉。
值得注意的是纸肉，在深度學(xué)習(xí)領(lǐng)域中溺欧，常用帶mini-batch的隨機(jī)梯度下降算法（Stochastic Gradient Descent, SGD）訓(xùn)練深層結(jié)構(gòu)，它有一個好處就是并不需要遍歷全部的樣本柏肪，當(dāng)數(shù)據(jù)量非常大時十分有效姐刁。此時，可根據(jù)實(shí)際問題來定義epoch烦味，例如定義10000次迭代為1個epoch聂使，若每次迭代的batch-size設(shè)為256，那么1個epoch相當(dāng)于過了2560000個訓(xùn)練樣本谬俄。
image.png
