神經(jīng)網(wǎng)絡(luò)
上一章學(xué)習(xí)了感知機(jī)嘹履，神經(jīng)網(wǎng)絡(luò)與多層感知機(jī)有著相似的結(jié)構(gòu)同规，但是感知機(jī)設(shè)定權(quán)重的工作笛辟，還是由人工進(jìn)行的鲁森，而神經(jīng)網(wǎng)絡(luò)的一個(gè)重要性質(zhì)是它可以自動(dòng)地從數(shù)據(jù)中學(xué)習(xí)到合適的權(quán)重參數(shù)噪馏。
神經(jīng)網(wǎng)絡(luò)分為三部分輸入層麦到，隱藏層，輸出層欠肾，輸入層為第0層瓶颠，隱藏層為1-L-1層，輸出層為L(zhǎng)層刺桃。
那么粹淋，為什么輸入層為0，而不是1呢瑟慈，因?yàn)檩斎雽硬](méi)有權(quán)重和偏移量桃移。
而權(quán)重和偏移量正是我們通過(guò)神經(jīng)網(wǎng)絡(luò)最終要獲取的重要參數(shù)。
激活函數(shù)（activation function）
我們?cè)谏弦徽聦W(xué)習(xí)的感知機(jī)會(huì)輸出兩個(gè)結(jié)果葛碧，非0即1借杰，而y = wx+b應(yīng)該是一條直線不會(huì)只有這兩個(gè)結(jié)果，原因就是在原函數(shù)外邊又嵌套了另一個(gè)函數(shù)进泼，我們稱(chēng)為激活函數(shù)蔗衡。激活函數(shù)是神經(jīng)網(wǎng)絡(luò)重要的組成部分，因?yàn)樗梢詫⒃瘮?shù)的計(jì)算結(jié)果轉(zhuǎn)換成下一個(gè)神經(jīng)元可以理解的有效信息乳绕。
這樣的函數(shù)稱(chēng)為“階躍函數(shù)”绞惦。因此，可以說(shuō)感知機(jī)中使用了階躍函數(shù)作為激活函數(shù)洋措。
而在神經(jīng)網(wǎng)絡(luò)中激活函數(shù)主要分為4種:
-
sigmoid activation function
sigmoid激活函數(shù)
在二分類(lèi)的問(wèn)題中济蝉，對(duì)于輸出層，因?yàn)榈闹凳?或1菠发，所以想讓的數(shù)值介于0和1之間王滤，而不是在-1和+1之間。所以需要使用sigmoid激活函數(shù)雷酪。
-
Tanh activation function
tanh函數(shù)
tanh函數(shù)是sigmoid的向下平移和伸縮后的結(jié)果淑仆。對(duì)它進(jìn)行了變形后，穿過(guò)了點(diǎn)哥力，并且值域介于+1和-1之間蔗怠。
結(jié)果表明墩弯，如果在隱藏層上使用,效果總是優(yōu)于sigmoid函數(shù)。因?yàn)楹瘮?shù)值域在-1和+1的激活函數(shù)寞射，其均值是更接近零均值的渔工。在訓(xùn)練一個(gè)算法模型時(shí)，如果使用tanh函數(shù)代替sigmoid函數(shù)中心化數(shù)據(jù)桥温，使得數(shù)據(jù)的平均值更接近0而不是0.5.
3）Rectified Linear Unit (ReLU)&Leaky Relu
sigmoid函數(shù)和tanh函數(shù)兩者共同的缺點(diǎn)是引矩，在特別大或者特別小的情況下，導(dǎo)數(shù)的梯度或者函數(shù)的斜率會(huì)變得特別小侵浸，最后就會(huì)接近于0旺韭，導(dǎo)致降低梯度下降的速度。
在機(jī)器學(xué)習(xí)另一個(gè)很流行的函數(shù)是：修正線性單元的函數(shù)（ReLu）掏觉，ReLu函數(shù)圖像是如下圖区端。
這是很多激活函數(shù)的默認(rèn)選擇，如果在隱藏層上不確定使用哪個(gè)激活函數(shù)澳腹，那么通常會(huì)使用Relu激活函數(shù)织盼。有時(shí)，也會(huì)使用tanh激活函數(shù)酱塔，但Relu的一個(gè)優(yōu)點(diǎn)是：當(dāng)z是負(fù)值的時(shí)候沥邻，導(dǎo)數(shù)等于0。
這里也有另一個(gè)版本的Relu被稱(chēng)為L(zhǎng)eaky Relu羊娃。
當(dāng)z是負(fù)值時(shí)唐全，這個(gè)函數(shù)的值不是等于0，而是輕微的傾斜迁沫，如圖芦瘾。
這個(gè)函數(shù)通常比Relu激活函數(shù)效果要好，盡管在實(shí)際中Leaky ReLu使用的并不多集畅。
我們來(lái)分析一下這四個(gè)激活函數(shù)：
第一，在的區(qū)間變動(dòng)很大的情況下缅糟，激活函數(shù)的導(dǎo)數(shù)或者激活函數(shù)的斜率都會(huì)遠(yuǎn)大于0挺智，在程序?qū)崿F(xiàn)就是一個(gè)if-else語(yǔ)句，而sigmoid函數(shù)需要進(jìn)行浮點(diǎn)四則運(yùn)算窗宦，在實(shí)踐中赦颇，使用ReLu激活函數(shù)神經(jīng)網(wǎng)絡(luò)通常會(huì)比使用sigmoid或者tanh激活函數(shù)學(xué)習(xí)的更快。
第二赴涵，sigmoid和tanh函數(shù)的導(dǎo)數(shù)在正負(fù)飽和區(qū)的梯度都會(huì)接近于0媒怯，這會(huì)造成梯度消失，而Relu和Leaky ReLu函數(shù)大于0部分都為常數(shù)髓窜，不會(huì)產(chǎn)生梯度消失現(xiàn)象扇苞。(同時(shí)應(yīng)該注意到的是欺殿，Relu進(jìn)入負(fù)半?yún)^(qū)的時(shí)候，梯度為0鳖敷，神經(jīng)元此時(shí)不會(huì)訓(xùn)練脖苏，產(chǎn)生所謂的稀疏性，而Leaky ReLu不會(huì)有這問(wèn)題)
在ReLu的梯度一半都是0定踱，但是棍潘，有足夠的隱藏層使得z值大于0，所以對(duì)大多數(shù)的訓(xùn)練數(shù)據(jù)來(lái)說(shuō)學(xué)習(xí)過(guò)程仍然可以很快崖媚。
最后可以總結(jié)為：
sigmoid激活函數(shù)：除了輸出層是一個(gè)二分類(lèi)問(wèn)題基本不會(huì)用它亦歉。
tanh激活函數(shù)：tanh是非常優(yōu)秀的，幾乎適合所有場(chǎng)合畅哑。
ReLu激活函數(shù)：最常用的默認(rèn)函數(shù)鳍徽，如果不確定用哪個(gè)激活函數(shù)，就使用ReLu或者Leaky ReLu敢课。
我們可以發(fā)現(xiàn)激活函數(shù)全部都是非線性的阶祭，這就是為什么我們?cè)谏弦徽露鄬痈兄獧C(jī)可以處理非線性空間的原因。當(dāng)單一神經(jīng)元被激活函數(shù)激活直秆，便不再是線性的了濒募，相反如果不加激活函數(shù)，那么無(wú)論多少的神經(jīng)元圾结，最后的結(jié)果依然是線性的瑰剃。
多維數(shù)組的計(jì)算
今天的最后一個(gè)部分是關(guān)于向量化的，其實(shí)神經(jīng)網(wǎng)絡(luò)的計(jì)算也可以用多重for循環(huán)搞定筝野，但是作為一個(gè)程序猿深知多重for循環(huán)的痛晌姚，因?yàn)樗耍?dāng)數(shù)據(jù)量上到一定級(jí)別歇竟，它將成為性能的瓶頸挥唠。那么向量化就很好的解決了這一難題。我寫(xiě)了一個(gè)例子焕议，向量化的速度大概是非向量化的300倍１δァ！盅安！
快這么多是因?yàn)镃PU和GPU都有并行化的指令唤锉，他們有時(shí)候會(huì)叫做SIMD指令，這個(gè)代表了一個(gè)單獨(dú)指令多維數(shù)據(jù)别瞭，它可以讓python的充分利用并行化計(jì)算窿祥，相對(duì)來(lái)說(shuō)，GPU更加擅長(zhǎng)SIMD計(jì)算蝙寨，這就是為什么在深度學(xué)習(xí)領(lǐng)域?qū)︼@卡的要求特別高晒衩。
書(shū)中這部分內(nèi)容實(shí)際是在幫我們復(fù)習(xí)線性代數(shù)的基礎(chǔ)嗤瞎，向量化正是借助線性代數(shù)的概念實(shí)現(xiàn)的，所以線性代數(shù)在機(jī)器學(xué)領(lǐng)域是非常重要的浸遗。
值得注意的是：
一猫胁、在python中矩陣的乘法并不是用*表示的，而是要用np.dot實(shí)現(xiàn)跛锌。
二弃秆、注意矩陣的維度，矩陣和向量髓帽，計(jì)算結(jié)果完全不同菠赚。在編程的時(shí)候統(tǒng)一使用矩陣，防止出錯(cuò)
