***sigmoid函數(shù)的使用苫昌。颤绕。。蜡歹。
在以后的機(jī)器學(xué)習(xí)和深度學(xué)習(xí)會普遍用到屋厘。。月而。
sigmoid function 汗洒，step function
模擬神經(jīng)元，神經(jīng)網(wǎng)絡(luò)
sigmoid優(yōu)缺點：優(yōu)點父款，激活函數(shù)溢谤，1輸出范圍有限不容易發(fā)散，緩和憨攒，2輸出范圍是0-1世杀，可用于做輸出層當(dāng)作概率。3求導(dǎo)容易肝集。
? ? ? ?? 缺點是在飽和情況下梯度太小瞻坝。
***梯度下降算法、
計算損失函數(shù)之后杏瞻，用求導(dǎo)的思想進(jìn)行求導(dǎo)
學(xué)習(xí)率進(jìn)行調(diào)整
***均方差代價函數(shù)
MSE（mean squared error）
***交叉熵代價函數(shù)
cross-entropy cost function
收斂更快所刀，C = -1/nZylna+(1-y)ln(1-a)
當(dāng)真實值，和期望值比較接近的時候C趨近于0
當(dāng)真實值與期望值相差較大的時候捞挥，也就是Cost代價函數(shù)比較大的時候浮创，C變化更快
所以比較能夠解決二次方差代價函數(shù)的下降梯度過小的問題。
***sigmoid與softmax
***解決函數(shù)的overfitting
過擬合砌函，解決模型的過擬合：
第一種方法斩披，增加數(shù)據(jù)集的量
http://doc.okbase.net/jianxinzhou/archive/111322.html
***l1 正則化與l2正則化
http://blog.csdn.net/jinping_shi/article/details/52433975
