以下有部分公式，如果無法顯示报咳，請訪問原文鏈接

書接上文凌彬，繼續(xù)說說神經(jīng)網(wǎng)絡的結構。首先我們要回顧上一篇文章深度學習數(shù)學基礎(一)之神經(jīng)元構造中講到的兩個公式最楷。

1. 加權輸入公式
   
2. 激活公式
   

還有神經(jīng)元構造圖：

我們只要將這樣的神經(jīng)元連接成網(wǎng)絡狀整份，那么就形成了神經(jīng)網(wǎng)絡。這里我們主要說最基礎的階層型神經(jīng)網(wǎng)絡,像卷積神經(jīng)網(wǎng)絡,循環(huán)神經(jīng)網(wǎng)絡等需要學習完本系列后再進行學習籽孙。

那么我們先來通俗的比喻下神經(jīng)網(wǎng)絡用來干什么的皂林，我們以往在寫程序的時候都是求結果，而神經(jīng)網(wǎng)絡求得卻不是結果蚯撩，而是公式或規(guī)則（比喻），其實神經(jīng)網(wǎng)絡就是通過大量的計算來不斷的減小誤差來求距離正解最相似的公式的權重和偏置等（統(tǒng)稱參數(shù)）烛占。所以感覺神經(jīng)網(wǎng)絡高大上的朋友們不要有感覺自己學不會的想法胎挎，其實神經(jīng)網(wǎng)絡并不難，就是一個又一個的公式組合起來而已忆家，不同的算法其實就是各個大佬用數(shù)學建模犹菇，我們不看那么遠，先跟我一起把神經(jīng)網(wǎng)絡的基礎入門一下吧芽卿。

1 神經(jīng)網(wǎng)絡

下面就是一個階層型的神經(jīng)網(wǎng)絡的圖片揭芍，按照層對該神經(jīng)網(wǎng)絡劃分，可分為輸入層,隱藏層(也稱為中間層),輸出層卸例。

2 神經(jīng)網(wǎng)絡層級的職責

下面我們說說神經(jīng)網(wǎng)絡中各層的職責：

1. 輸入層：該層負責讀取神經(jīng)網(wǎng)絡需要的數(shù)據(jù)称杨，這個層的神經(jīng)元沒有輸入監(jiān)聽，他們的輸出是將讀取的數(shù)據(jù)原樣輸出筷转。輸入==輸出
2. 隱藏層：該層神經(jīng)元則負責上面我們所回顧的兩個公式的計算操作姑原，在神經(jīng)網(wǎng)絡中，這層是實際處理信息的部分呜舒。計算z和y
3. 輸出層：該層與隱藏層一樣锭汛，執(zhí)行兩個公式的計算，并且顯示神經(jīng)網(wǎng)絡的計算結果，也就是最終輸出唤殴。計算z和y并顯示結果

下圖是一個最簡單的神經(jīng)網(wǎng)絡示例般婆，用于我們來理解神經(jīng)網(wǎng)絡的本質。這個簡單的神經(jīng)網(wǎng)絡的特征是朵逝，前一層的神經(jīng)單與下一層的所有神經(jīng)元都有箭頭連接蔚袍，這樣的層構造稱為全連接層（fully connected layer）

輸入層：輸入與輸出是相同的，如果一定要引入激活函數(shù)廉侧，那激活函數(shù)就是恒等函數(shù)页响，該示例中輸入層有12個神經(jīng)元，對應圖片的12個像素數(shù)據(jù)

隱藏層：輸入是變量段誊，根據(jù)對應的權重和偏置來計算z闰蚕，再經(jīng)由激活函數(shù)計算，輸出值傳遞到下一層

輸出層：該層有兩個神經(jīng)元连舍，分別對應著要識別的數(shù)字0和1没陡，兩個神經(jīng)元分別是對兩個輸出值較為興奮的神經(jīng)元，通過sigmoid我們可以拿到兩個神經(jīng)元對數(shù)據(jù)的興奮度索赏，通過對連個興奮度做比較盼玄，我們就可以來猜這個數(shù)據(jù)到底是什么了!

3 神經(jīng)網(wǎng)絡的結構

3.1 示例說明

我們還使用上方的示例來進行說明

建立一個神經(jīng)網(wǎng)絡，用來識別通過 4×3 像素的圖像讀取的手寫數(shù)字 0 和 1潜腻。學習數(shù)據(jù)是 64 張圖像埃儿，其中像素是單色二值。

模式識別的難點在于答案不標準融涣，這個例題也體現(xiàn)了這樣的特性童番。即使是區(qū)區(qū)一個 4×3 像素的二值圖像，所讀入的手寫數(shù)字0 和 1 的像素模式也是多種多樣的威鹿。例如剃斧，上方圖像可以認為是讀入了手寫數(shù)字 0。對于這樣的數(shù)字 0忽你，即使人能設法識別出來幼东，讓計算機來判斷也十分困難。下面讓我們使用一個小故事來了解下如何使用神經(jīng)網(wǎng)絡來解決這個問題科雳。

假設有個神經(jīng)網(wǎng)絡根蟹，輸入層12個神經(jīng)元小弟，隱藏層住著3個神經(jīng)元中層干部糟秘，頂層住著2個神經(jīng)元大哥娜亿，

底層輸入層的12個小弟接到任務要監(jiān)控圖片的動靜，所以12個輸入層小弟分別住在4x3像素的圖像的各個像素上對圖片進行監(jiān)控蚌堵，如果像素信號是白色0买决，小弟就睡覺不管沛婴，如果像素是黑色1，小弟就興奮向上層通風報信督赤，將他們的信息傳遞個他們的領導A嘁灯、B、C

住在隱藏層的3個中層干部ABC分別重視下面三個地方躲舌，從下面的小弟那里拿到信息丑婿，然后自身對信息的思考（計算z和y），看看有沒有需要自己注意的地方没卸，把自己的想法跟頂層的兩個大哥匯報

住在最頂層輸出層的大哥拿到下面三個干部遞交的信息羹奉，與三個干部一樣，也進行了思考作出了對應的策略约计，然后兩個大哥看了下各自的策略诀拭，選出更好的那一個(興奮度高的)作為了這次行動的策略。

讓我們再來回顧下上面說到的隱藏層煤蚌，3個中層干部分別重視三個模式耕挨，所以3個中層干部對12個手下各有偏愛，比如A干部就看重小弟4和7尉桩，B干部看重小弟5和8筒占，C干部看中小弟6和9。

所以這幾個干部有點偏心蜘犁，著重看了直接小弟給的情報翰苫，所以他們之間傳遞的興奮度的管道也變粗了。

而住在頂層的大哥對中層的干部也各有偏愛这橙，比如大哥0喜歡干部A和C革骨，大哥1喜歡干部B

那么，我們讀入手寫數(shù)字0析恋，下面的小弟4、7盛卡、6助隧、9看到這個圖就特別興奮了

興奮的小弟4和7向干部A傳遞消息，興奮的小弟6和9向干部C傳遞了消息滑沧，沒人向干部B傳遞消息并村。

干部A和C也接到了小弟傳來的信息也興奮了起來，于是干部A和C也向上層向大哥0發(fā)送信息滓技，而干部B由于沒有掌握到信息哩牍，就沒有向大哥1發(fā)送消息。

由于大哥0是興奮地令漂，而大哥1是冷靜的膝昆，根據(jù)之前說的大哥0的興奮度比大哥1高丸边，所以就判斷這個圖片是0

3.2 偏置

在上面的示例中，下層的興奮度會或多或少的向上層傳遞荚孵，但是除了干部看中小弟和大哥看中干部的關系而傳送的興奮度外妹窖，還遺漏了一些信息，這個信息就是”噪音“收叶，如果這些噪聲迷住了每個人的腦子骄呼，就會導致無法正確的傳遞興奮度信息，隱藏我們需要減少噪音的功能判没，也就是我們所說的偏置蜓萄，將偏置放在每個人（神經(jīng)元）的心中，用來忽略少量的噪音澄峰，這個心中的偏置嫉沽，就是各個人固有的個性。

3.3 實例解釋

在上面的示例中摊阀，我們理解了神經(jīng)網(wǎng)絡識別數(shù)字的的模式識別耻蛇，而我們應該看到了每個人之間的關系（就是權重）和每個人的個性(偏置)合作推導出了答案，也就是神經(jīng)網(wǎng)絡整體的判斷胞此。所以我們應該明白臣咖，我們最終從神經(jīng)網(wǎng)絡中獲取的應該是關系和個性，也就是權重和偏置漱牵，也就是我們所說的模型的參數(shù)夺蛇。

4 神經(jīng)網(wǎng)絡的信息說明

上面我們通過實例考察了大哥帶著小弟來識別數(shù)字0、1的結構酣胀，只要將這個組織替換為神經(jīng)網(wǎng)絡刁赦，我們就可以理解神經(jīng)元進模式識別的結構。

4.1 權重與偏置

觀看下面的兩張圖闻镶，我們就會發(fā)現(xiàn)甚脉，輸入層的12個小弟其實就是輸入層的12個神經(jīng)元，隱藏層的3個干部其實就是隱藏層的3個神經(jīng)元铆农，而頂層的兩個大哥就是輸出層的兩個神經(jīng)元牺氨。

、

接下來墩剖，我們將層級中領導對下級的看重的關系看做神經(jīng)元的權重猴凹，干部A看重小弟4和7，這種關系可以看做是輸入層的神經(jīng)元4和7指向隱藏層的神經(jīng)元A的箭頭的權重較大岭皂，隱藏層與輸出層的關系類似郊霎，下面我們將這種權重關系通過圖片標記出來。通過這樣的權重關系爷绘，最后輸出層神經(jīng)元0的輸出值較大书劝，所以最終輸出0

在像上圖這種前一層與后一層全連接的情況下进倍，輸入圖像0時，原本不希望隱藏層B神經(jīng)元以及輸出層1神經(jīng)元也有信號傳遞庄撮，所以我們需要禁止掉這種信號背捌，使信號更清晰，這種功能就是我們說的偏置洞斯。

4.2 模型合理性

上面我們將小故事翻譯成了神經(jīng)網(wǎng)絡毡庆，但是也不能保證一定能求出權重和偏置。如果想實際建立基于上面這個想法的神經(jīng)網(wǎng)絡烙如，能充分解釋所給的數(shù)據(jù)就能驗證它的合理性么抗，這點需要一定的數(shù)學計算，需要將我們的語言描述轉化為數(shù)據(jù)的式子亚铁，我們會在下篇文章開始講一些會用到的數(shù)學蝇刀。

4.3 網(wǎng)絡自學習的神經(jīng)網(wǎng)絡

本文開篇我們說神經(jīng)網(wǎng)絡是通過大量計算來算出權重和偏置等參數(shù)，而在上一個示例中徘溢，我們事先假定了權重的大型趟觥（假定中層對小弟的看看著關系），那么這個權重的大小應該如何確定呢然爆？神經(jīng)網(wǎng)絡中比較重要的一點就是利用網(wǎng)絡自學習算法來確定權重大小

神經(jīng)網(wǎng)絡的參數(shù)確定方法分為有監(jiān)督學習和無監(jiān)督學習站粟，在這個系列里我們只介紹有監(jiān)督學習。

4.3.1 有監(jiān)督學習

有監(jiān)督學習：為了確定神經(jīng)網(wǎng)絡的權重和偏置曾雕，事先給予數(shù)據(jù)奴烙，這些數(shù)據(jù)成為學習數(shù)據(jù)、訓練數(shù)據(jù)剖张。根據(jù)給定的數(shù)據(jù)確定權重和偏置切诀，稱為學習、訓練搔弄。

4.3.2 最優(yōu)解

神經(jīng)網(wǎng)絡是如何學習的呢幅虑？

神經(jīng)網(wǎng)絡學習的思路：計算神經(jīng)網(wǎng)絡得出的預測值與正解的誤差，確定使誤差總和達到最小的權重和偏置顾犹，這在數(shù)學上成為模型的最優(yōu)化

4.3.3 代價函數(shù)

關于預測值和正解的誤差總和倒庵，有各種各樣的定義。這個誤差的總和稱為代價函數(shù)蹦渣，符號表示是（T是Total的首字母）

我們這個系列中使用最經(jīng)典的方式平方誤差和，利用平方誤差確定參數(shù)的方法在數(shù)學上成為最小二乘法貌亭，它在統(tǒng)計學中是回歸分析的常規(guī)手段柬唯。

平方誤差和：通過計算預測值與正解的誤差的平方再求和

下一篇開始，我們就要正式的進入數(shù)學的領域圃庭，興奮不興奮锄奢！

評論請轉至原文鏈接

本文來自納蘭小筑失晴，本文不予回復，評論請追溯原文