TensorFlow從0到1系列回顧

創(chuàng)世紀(jì) 2:7：

“耶和華神用地上的塵土造人措左，將生氣吹在他鼻孔里，他就成了有靈的活人避除≡跖”

上一篇8 萬能函數(shù)的形態(tài)：人工神經(jīng)網(wǎng)絡(luò)解封了人工神經(jīng)網(wǎng)絡(luò)胸嘁，如果用非常簡短的語言來概括它，我更喜歡維基百科的詮釋：

人工神經(jīng)網(wǎng)絡(luò)是一種模仿生物神經(jīng)網(wǎng)絡(luò)(動物的中樞神經(jīng)系統(tǒng)凉逛，特別是大腦)的結(jié)構(gòu)和功能的數(shù)學(xué)模型或計算模型性宏，用于對函數(shù)進行估計或近似。神經(jīng)網(wǎng)絡(luò)由大量的人工神經(jīng)元聯(lián)結(jié)進行計算状飞。大多數(shù)情況下人工神經(jīng)網(wǎng)絡(luò)能在外界信息的基礎(chǔ)上改變內(nèi)部結(jié)構(gòu)毫胜，是一種自適應(yīng)系統(tǒng)。

就這樣诬辈，人類照著上帝創(chuàng)造生靈萬物的手法酵使，居然也徒手造出了“活物”，且讓它們附體在芯片之中焙糟，操縱世事口渔。它們中有龐然大物，有小巧玲瓏穿撮，不知疲倦缺脉，冰冷無情，是為“魔”混巧。（是我看西游·降魔太多遍了-_-!）

然而要驅(qū)動那一堆首尾相連的神經(jīng)元枪向，讓其“活”起來勤揩，還有最后一個步驟咧党，就像圣經(jīng)中神造人時吹的那口生氣，即本篇要說的反向傳播大法（Back Propagation）陨亡。

Backpropagation

神經(jīng)網(wǎng)絡(luò)有多少參數(shù)傍衡？

與線性回歸的算法框架如出一轍，基于神經(jīng)網(wǎng)絡(luò)的機器學(xué)習(xí)负蠕，是基于數(shù)據(jù)的蛙埂、運用梯度下降算法來優(yōu)化網(wǎng)絡(luò)（減小損失）的過程。

在套用這個算法框架之前遮糖，要先搞清楚神經(jīng)網(wǎng)絡(luò)的參數(shù)及其形式绣的。以經(jīng)典的3層感知器為例：

3層感知器

第一層是輸入層，其中的神經(jīng)元僅僅提供輸出值欲账，并不含有權(quán)重和偏置屡江。圖中輸入層有8個神經(jīng)元。

第二層是隱藏層赛不，有15個神經(jīng)元惩嘉，每個神經(jīng)元都會接收第一層的8個神經(jīng)元的輸出作為輸入，在其內(nèi)部踢故，加權(quán)求和之后還有一個偏置文黎。

第三層是輸出層惹苗，有10個神經(jīng)元，每個神經(jīng)元都會接受第二層的15個神經(jīng)元的輸出作為輸入耸峭，在其內(nèi)部桩蓉，加權(quán)求和之后也有一個偏置。

用w_jk^l來表示一個單獨的權(quán)重劳闹，它代表的是第l層的第j個神經(jīng)元触机、與上一層（l-1）第k個神經(jīng)元輸出相對應(yīng)的權(quán)重＄杌颍或許你對這種表示方法感到有些別扭儡首，但很快就會適應(yīng)的。以w₂₄³為例見下圖：

w₂₄³

用b_j^l來表示第l層上偏友，第j個神經(jīng)元中的偏置蔬胯，這個比較顯而易見。

基于上述的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)和對權(quán)重和偏置的符號的定義位他，當(dāng)前構(gòu)建的神經(jīng)網(wǎng)絡(luò)第二層氛濒、第三層參數(shù)的矩陣表示如下所示：

第2層神經(jīng)元的權(quán)重和偏置

第3層神經(jīng)元的權(quán)重和偏置

基于神經(jīng)網(wǎng)絡(luò)的機器學(xué)習(xí)

第二層神經(jīng)元的權(quán)重120=15x8個，偏置15個鹅髓，第三層神經(jīng)元的權(quán)重150=10x15個舞竿，偏置10個。整個神經(jīng)網(wǎng)絡(luò)的參數(shù)：295個窿冯。一個不算特別復(fù)雜的骗奖，由33個神經(jīng)元構(gòu)成的全連接神經(jīng)網(wǎng)絡(luò)，其參數(shù)已經(jīng)達到了295個之多醒串。

所謂的訓(xùn)練神經(jīng)網(wǎng)絡(luò)执桌，就是調(diào)整這295個參數(shù)，使其對于樣本數(shù)據(jù)芜赌，能夠讓“損失”達到最小仰挣。再次回顧二次損失函數(shù)的定義（其中n=295）：

B-O-F-2 損失函數(shù)

接著，套用隨機梯度下降算法缠沈，調(diào)整每個參數(shù)(以前兩個為例)：

B-O-F-6 參數(shù)的增量

至此膘壶，只要求取每個參數(shù)對損失函數(shù)的偏導(dǎo)數(shù)，代入上式即可對參數(shù)進行1次優(yōu)化洲愤⊥前牛可是我們已經(jīng)知道：神經(jīng)網(wǎng)絡(luò)可以近似任意的函數(shù)，但卻無法知道其代表的函數(shù)的確切形式是什么禽篱。也就是說畜伐，對已知函數(shù)求偏導(dǎo)的公式算法，根本用不上躺率。

反向傳播

從二十世紀(jì)40玛界、50年代人工神經(jīng)元被發(fā)明万矾，那一堆首尾相接的神經(jīng)元沉寂了長達三十年的漫漫長夜。直到1986年慎框，心理學(xué)家David Rumelhart良狈，在深度學(xué)習(xí)的守護者Geoffrey E. Hinton等人的協(xié)助下發(fā)現(xiàn)了“反向傳播”終極大法，它們就要“活”起來了笨枯。

貼出大法秘訣一飽眼福:

BP1

BP2

BP3

BP4

它由四個基本公式構(gòu)成薪丁，就像所有真理的數(shù)學(xué)描述一樣簡潔。仔細看最后兩個公式馅精，那不就是損失函數(shù)關(guān)于神經(jīng)網(wǎng)絡(luò)的參數(shù)（權(quán)值和偏置）的偏導(dǎo)數(shù)的表達式嗎严嗜？而這就是反向傳播的核心目的。

至此洲敢，6 解鎖梯度下降算法中的隨機梯度下降算法（Mini-batch SGD）所缺失的梯度值計算終于補上了漫玄。一次完整的參數(shù)更新步驟如下：

• 確定一個小批量樣本；
• 通過網(wǎng)絡(luò)獲得輸出并計算損失压彭；
• 反向傳播計算損失的梯度睦优；
• 利用梯度更新網(wǎng)絡(luò)中的參數(shù)；

就這樣循環(huán)上述步驟壮不，直至讓損失降到最低汗盘，我們的網(wǎng)絡(luò)就訓(xùn)練好了。

上一篇 8 萬能函數(shù)的形態(tài)：人工神經(jīng)網(wǎng)絡(luò)
下一篇 10 NN基本功：反傳的推導(dǎo)

共享協(xié)議：署名-非商業(yè)性使用-禁止演繹（CC BY-NC-ND 3.0 CN）
轉(zhuǎn)載請注明：作者黑猿大叔（簡書）