梯度下降Debugging:x軸為迭代次數(shù)隧甚,y軸是J(θ)。 如果J(θ)遞增甘耿,那么很可能是α太大了扰她。
自動(dòng)收斂檢測(cè): 聲明如果一次迭代減少的值小于某個(gè)閾值ε兽掰,那么確認(rèn)函數(shù)已經(jīng)足夠收斂。當(dāng)然徒役,實(shí)際上很難確定ε值禾进。
如果 α 足夠小,那么每次迭代都應(yīng)該是遞減的廉涕。
總結(jié):
如果 α 太行涸啤: 收斂速度緩慢。
如果 α 太大: 每次迭代遞增狐蜕,從而不能收斂宠纯。