one epoch：所有的訓(xùn)練樣本完成一次Forword運(yùn)算以及一次BP運(yùn)算?
batch size：一次Forword運(yùn)算以及BP運(yùn)算中所需要的訓(xùn)練樣本數(shù)目榄笙，其實深度學(xué)習(xí)每一次參數(shù)的更新所需要損失函數(shù)并不是由一個{data：label}獲得的祷蝌，而是由一組數(shù)據(jù)加權(quán)得到的，這一組數(shù)據(jù)的數(shù)量就是[batch size]杆逗。當(dāng)然batch size 越大，所需的內(nèi)存就越大蠕蚜，要量力而行
iterations（迭代）：每一次迭代都是一次權(quán)重更新悔橄，每一次權(quán)重更新需要batch size個數(shù)據(jù)進(jìn)行Forward運(yùn)算得到損失函數(shù)，再BP算法更新參數(shù)挣柬。
最后可以得到一個公式 one epoch = numbers ofiterations = N = 訓(xùn)練樣本的數(shù)量/batch size
