- batchsize：批大小鸥诽。在深度學(xué)習(xí)中，一般采用SGD訓(xùn)練拳昌，
即每次訓(xùn)練在訓(xùn)練集中取batchsize個樣本訓(xùn)練钠龙； - iteration：1個iteration等于使用batchsize個樣本訓(xùn)練一次；
- epoch：1個epoch等于使用訓(xùn)練集中的全部樣本訓(xùn)練一次碴里；
舉個例子，訓(xùn)練集有1000個樣本咬腋，batchsize=10，那么：
訓(xùn)練完整個樣本集需要：100次iteration陵像，1次epoch就珠。
2醒颖、
one epoch：所有的訓(xùn)練樣本完成一次Forword運算以及一次BP運算
batch size：一次Forword運算以及BP運算中所需要的訓(xùn)練樣本數(shù)目，其實深度學(xué)習(xí)每一次參數(shù)的更新所需要損失函數(shù)并不是由一個{data：label}獲得的逼侦，而是由一組數(shù)據(jù)加權(quán)得到的腰耙，這一組數(shù)據(jù)的數(shù)量就是[batch size]。當(dāng)然batch size 越大沟优，所需的內(nèi)存就越大，要量力而行
iterations（迭代）：每一次迭代都是一次權(quán)重更新挠阁，每一次權(quán)重更新需要batch size個數(shù)據(jù)進行Forward運算得到損失函數(shù)，再BP算法更新參數(shù)锨用。
最后可以得到一個公式：
one epoch = numbers of iterations = N = 訓(xùn)練樣本的數(shù)量/batch size
一次epoch 總處理數(shù)量 = iterations次數(shù) * batch_size大小
