??在上文中利用矩陣運(yùn)算的方法對(duì)損失函數(shù)進(jìn)行優(yōu)化窗宦，但其有一定的局限性赦颇，其要求矩陣必須可逆，下面用梯度下降的方法對(duì)其進(jìn)行優(yōu)化赴涵。
??初始化，沿著負(fù)梯度方向迭代订讼，更新后的
髓窜，使
更小：
??求出每一個(gè)變量的梯度寄纵，然后順著梯度的負(fù)方向按著一定的步長(zhǎng)進(jìn)行更新；
??對(duì)每一個(gè)進(jìn)行梯度分解：
??對(duì)于每一個(gè)變量脖苏，求出其梯度程拭，帶入下式進(jìn)行迭代：
??Repeat until convergence {
????
}
??上式是批量梯度下降，每一次更新都要將樣本的梯度加起來(lái)棍潘，數(shù)據(jù)量大的時(shí)候效率較低恃鞋。下面還有一種按樣本個(gè)體進(jìn)行優(yōu)化，就是隨機(jī)梯度下降：
??Loop{
????for i = 1 to m,亦歉，{
????????????
????????????}
}
??當(dāng)模型的復(fù)雜度提高的時(shí)候恤浪，對(duì)訓(xùn)練集的數(shù)據(jù)擬合很好，但會(huì)出現(xiàn)過(guò)擬合現(xiàn)象肴楷，為防止出現(xiàn)過(guò)擬合應(yīng)該加入懲罰項(xiàng)水由，根據(jù)懲罰因子的不同可分為以下幾種：
??采用不同的正則項(xiàng)對(duì)模型有不同的影響，有時(shí)間再繼續(xù)分享赛蔫。
