作者：HaigLee
http://www.reibang.com/u/67ec21fb270d
本文由 HaigLee 發(fā)布徐矩。未經(jīng)許可削茁，禁止轉(zhuǎn)載
神經(jīng)網(wǎng)絡(luò)中瓢宦，運(yùn)算特征是不斷進(jìn)行循環(huán)計(jì)算斥季，所以在每代循環(huán)過(guò)程中锦溪，每個(gè)神經(jīng)元的值也在不斷變化。這就導(dǎo)致了Tanh函數(shù)在特征相差明顯的時(shí)候效果會(huì)很好综苔，在循環(huán)過(guò)程中惩系，其會(huì)不斷擴(kuò)大特征效果并顯示出來(lái)位岔。
但是有時(shí)當(dāng)計(jì)算的特征間的相差雖比較復(fù)雜但是卻沒(méi)有明顯區(qū)別，或者是特征的相差不是特別大時(shí)堡牡，就需要更細(xì)微的分類(lèi)判斷抒抬，這時(shí)sigmoid函數(shù)的效果就會(huì)更好一些。
后來(lái)出現(xiàn)的ReLU 激活函數(shù)的優(yōu)勢(shì)是晤柄，經(jīng)過(guò)其處理后數(shù)據(jù)有更好的稀疏性擦剑。即，將數(shù)據(jù)轉(zhuǎn)化為只有最大值芥颈，其他都為0惠勒。這種變換可以近似程度地最大保留數(shù)據(jù)特征，用大多數(shù)元素為0的稀疏矩陣來(lái)實(shí)現(xiàn)浇借。
實(shí)際上捉撮，神經(jīng)網(wǎng)絡(luò)在不斷反復(fù)計(jì)算中，就變成了ReLU 函數(shù)在不斷嘗試如何用一個(gè)大多數(shù)為0的矩陣來(lái)表達(dá)數(shù)據(jù)特征妇垢。以稀疏性數(shù)據(jù)來(lái)表達(dá)原有數(shù)據(jù)特征的方法，使得神經(jīng)網(wǎng)絡(luò)在迭代運(yùn)算中能夠取得又快又好的效果肉康，所以目前大多數(shù)max(0,x)來(lái)替代sigmoid函數(shù)闯估。
作者：HaigLee
http://www.reibang.com/u/67ec21fb270d
本文由 HaigLee 發(fā)布。未經(jīng)許可吼和，禁止轉(zhuǎn)載
