一、損失函數(shù)
損失函數(shù)蝌数，用來衡量預(yù)測值和真實(shí)值之間的區(qū)別。
1度秘、均方損失（L2 Loss）
橫坐標(biāo)應(yīng)該是y-y'顶伞。藍(lán)色曲線是：真實(shí)值y不變時(shí)，變化預(yù)測值y'的曲線剑梳，是一個(gè)二次函數(shù)唆貌。綠色是它的似然函數(shù)，是一個(gè)高斯分布垢乙。橙色線是損失函數(shù)的梯度锨咙，是個(gè)過原點(diǎn)的直線。
箭頭長度是下降的快不快追逮。圖中可以看出L2 Loss損失函數(shù)的特點(diǎn)酪刀，當(dāng)離極值點(diǎn)較遠(yuǎn)的時(shí)候，其以較大的梯度絕對值下降钮孵；當(dāng)靠近我們的極值點(diǎn)時(shí)它的梯度變得很小骂倘。當(dāng)然也有它不足的地方，就是當(dāng)離極值點(diǎn)很遠(yuǎn)的時(shí)候巴席，它的梯度很大历涝，離原點(diǎn)較遠(yuǎn)的時(shí)候，我們可能不需要那么大的梯度。
最小化損失荧库，等價(jià)于最大化似然函數(shù)
2诱担、絕對值損失函數(shù)（L1 Loss）
這個(gè)損失函數(shù)的特點(diǎn)是，當(dāng)預(yù)測值跟真實(shí)值較遠(yuǎn)時(shí)电爹，不管多遠(yuǎn)蔫仙，梯度永遠(yuǎn)是常數(shù)，就斷隔得很遠(yuǎn)丐箩，權(quán)重更新也不會特別大摇邦，會帶來一些穩(wěn)定性上的好處。缺點(diǎn)是零點(diǎn)處不可導(dǎo)屎勘；還有梯度在-1和1之間的劇烈變化施籍，這個(gè)不平滑性，導(dǎo)致優(yōu)化末期不太穩(wěn)定概漱。
3丑慎、Huber's Robust Loss
結(jié)合L1 Loss和L2 Loss的好處。
二瓤摧、激活函數(shù)
激活函數(shù)的本質(zhì)就是把線性變成非線性竿裂。
（1）sigmoid激活函數(shù)
（2）Tanh函數(shù)
（3）ReLU激活函數(shù)
最常用的。（其實(shí)效果差不多照弥，但是算起來很快腻异，不用進(jìn)行指數(shù)運(yùn)算）
