P.S.:? 說三個(gè)比較重要的事情：
i.? 我突然的發(fā)現(xiàn)自己忘了把代碼上傳恼琼，于是決定在這周末上傳到github中却特。如果這個(gè)section中包含了實(shí)例代碼建峭，我會更新文章并把github上的鏈接放在文章的開頭症副。
ii. 剛才看了看之前寫的凌受，發(fā)現(xiàn)有部分文章沒有上傳阵子。待我回去找找上傳上去。沒關(guān)系胜蛉，第4章講的都是基礎(chǔ)概念挠进，第5,6章才是重點(diǎn)。
iii. 翻譯了這么久誊册，似乎只在第一篇上粘貼了翻譯的書籍 领突。這是我的失誤，現(xiàn)在給出翻譯來源：
目前案怯，我們已經(jīng)使用過了簡單的神經(jīng)網(wǎng)絡(luò)君旦。無論是線性的還是邏輯回歸的模型都是這樣的單個(gè)神經(jīng)元：
1.將一個(gè)輸入特征按照權(quán)重求和。偏置（bias）可以被認(rèn)為是輸入的特征值為1的權(quán)重嘲碱。我們稱之為線性組合的功能金砍。
2.然后使用激活或者是傳遞函數(shù)來計(jì)算輸出。（Then apply an activation or transfer function to calculate the
output）麦锯。如果是線性回歸恕稠，轉(zhuǎn)換函數(shù)是恒等的（the identity），然而邏輯回歸用的是sigmoid函數(shù)作為轉(zhuǎn)換器扶欣。
下圖繪制出了每個(gè)神經(jīng)元的輸出鹅巍、處理和輸出：
如果是softmax classification的話，我們使用C個(gè)神經(jīng)元對應(yīng)每一種可能的輸出類別：
現(xiàn)在料祠，為了解決更多復(fù)雜（difficult）的問題骆捧，我們需要更加優(yōu)秀的模型（a more developed model.）例如：讀取手寫體數(shù)字或者是在圖像中識別貓和狗。
來讓我們從一個(gè)簡單的例子說起术陶。假設(shè)凑懂，我們想要構(gòu)建一個(gè)神經(jīng)網(wǎng)絡(luò)來適合XOR(eXclusive OR異或)的boolean操作：
當(dāng)任一輸入等于1時(shí)，它應(yīng)返回1梧宫，但兩者都相同的時(shí)候不會返回1接谨。
這似乎是我們迄今為止所嘗試的一個(gè)更簡單的問題，但是我們提出的模型卻都沒有解決塘匣。
原因是S型神經(jīng)元需要我們的數(shù)據(jù)線性分離才能使其工作更好脓豪。這意味著必須在二維數(shù)據(jù)（或更高維度數(shù)據(jù)中的超平面）中存在一條直線，它將屬于同一側(cè)的類的所有數(shù)據(jù)樣本分開忌卤，如下所示：
從這個(gè)圖標(biāo)中我們可以看出點(diǎn)作為數(shù)據(jù)樣本扫夜，相同的類別是相同的顏色。只要我們可以找出一條黃線可以完全分離圖表中的紅色和藍(lán)色點(diǎn)，則S型的神經(jīng)元對于該數(shù)據(jù)集將工作正常笤闯。
來讓我們看看XOR門（異或門）函數(shù)繪制的圖表：
我們找不到一條分割圖表的直線堕阔，留下一邊的所有1（紅點(diǎn)），另一邊留下0（藍(lán)點(diǎn)）颗味。所XOR函數(shù)輸出不是線性可分離的超陆。
這個(gè)問題實(shí)際上導(dǎo)致了神經(jīng)網(wǎng)絡(luò)研究在1970年代左右大約十年左右的失去其重要性。那么他們?nèi)绾谓鉀Q缺乏線性可分性來繼續(xù)使用網(wǎng)絡(luò)浦马？他們通過在網(wǎng)絡(luò)的輸入和輸出之間插入更多的神經(jīng)元來完成时呀，如圖所示：
你看，我們在輸入層和輸出層之間添加了隱含層晶默。你可以認(rèn)為它允許我們的網(wǎng)絡(luò)向輸入數(shù)據(jù)詢問多個(gè)問題谨娜，隱藏層每個(gè)神經(jīng)元對應(yīng)一個(gè)問題，最后根據(jù)這些問題的答案決定輸出結(jié)果磺陡。
從圖上來看趴梢，我們允許網(wǎng)絡(luò)繪制多個(gè)單獨(dú)的分隔線：
正如你再圖中看到的一樣，每行將平面的第一個(gè)問題劃分給輸入數(shù)據(jù)仅政。然后垢油，你可以將所有相等的輸出在一個(gè)區(qū)域中組合在一起。
在本書的后面圆丹，我們介紹不同類型的深層神經(jīng)網(wǎng)絡(luò)，用于不同的使用場景躯喇。
下一期：梯度下降和反向傳播
