原理：
??每次按照下降的方向進(jìn)行計算腾夯，屬于貪心的算法乳丰。
算法（就最小二乘法討論）：
??若訓(xùn)練集：
??訓(xùn)練函數(shù)：
??參數(shù)向量：
??損失函數(shù)：
??梯度：
?????
gradient向量：
?????
故在初始化的時候要補一列元素均為1凝果，即
令為
則
則 郁岩，
的下降（減行霰肌）直到局部最小
其中為學(xué)習(xí)率缺狠，即以一定比例的梯度下降
由于梯度是按增大的方向，故梯度減小為負(fù)
局部最小與全局最衅继：
??由于梯度下降是貪心的思想挤茄，故會陷入局部最小值
避免局部最小值的方法：
??1、以不同的初始值訓(xùn)練
??2冰木、“模擬退火”穷劈，每一步以一定的概率接受比當(dāng)前更差的結(jié)果
??3、隨機梯度下降法（梯度計算式采用隨機因素踊沸，使局部極小處的梯度不一定為0歇终，從而跳出局部極小值）
