作用:創(chuàng)建隨著Step衰減的學(xué)習(xí)率
舉個例子:
decay step解釋:走多少步就按照某個比率(衰減率)衰減一次學(xué)習(xí)率
什么叫steps褪贵?他是 梯度更新的次數(shù),一般就是batch的數(shù)目锅锨。就是說每一個batch的數(shù)據(jù)會更新一次梯度。
所以decay steps又可以表達為恋沃,經(jīng)過多少batch必搞,才衰減一次學(xué)習(xí)率
比如decay steps是5,那么就是說囊咏,每計算5個batch的數(shù)據(jù)恕洲,更新5次梯度,衰減一次學(xué)習(xí)率梅割,然后再輸入5個batch霜第,再更新5次梯度,再衰減第二次學(xué)習(xí)率......