作者：降曉冉

轉(zhuǎn)載自https://zhuanlan.zhihu.com/p/26855333

【嵌牛導(dǎo)讀】神經(jīng)網(wǎng)絡(luò)從何而來莫辨？這里說的『從何而來』，并不僅僅是從技術(shù)上去介紹一個方法的創(chuàng)造或發(fā)展隔心，而更想探討方法背后所蘊含的思想基礎(chǔ)與演變之路。

【嵌牛鼻子】神經(jīng)網(wǎng)絡(luò)尚胞、深度學(xué)習(xí)

【嵌牛提問】神經(jīng)網(wǎng)絡(luò)的由來硬霍？

【嵌牛正文】深度學(xué)習(xí)與神經(jīng)網(wǎng)絡(luò)是近幾年來計算機與人工智能領(lǐng)域最炙手可熱的話題了。為了蹭這波熱度笼裳，博主也打算分享一些自己的經(jīng)驗與思考唯卖。第一篇文章想探討一個非沉涣幔基礎(chǔ)的問題：神經(jīng)網(wǎng)絡(luò)從何而來？這里說的『從何而來』拜轨，并不僅僅是從技術(shù)上去介紹一個方法的創(chuàng)造或發(fā)展抽减，而更想探討方法背后所蘊含的思想基礎(chǔ)與演變之路。

首先橄碾，需要為『神經(jīng)網(wǎng)絡(luò)』正一下名卵沉。在人工智能領(lǐng)域，我們通常所說的神經(jīng)網(wǎng)絡(luò)（Neural Networks）全稱是人工神經(jīng)網(wǎng)絡(luò)（Artificial Neural Network）法牲，與之對應(yīng)的是我們用肉長成的生物神經(jīng)網(wǎng)絡(luò)（Biology Neural Network）偎箫。眾所周知，人工神經(jīng)網(wǎng)絡(luò)受生物神經(jīng)網(wǎng)絡(luò)的啟發(fā)而產(chǎn)生皆串，并在幾十年間不斷進步演化淹办。可要論人類對人工智能的探索歷史恶复，卻遠(yuǎn)遠(yuǎn)長于這幾十年怜森。為了深刻了解神經(jīng)網(wǎng)絡(luò)出現(xiàn)的背景，我們有必要從更早的歷史開始說起谤牡。

簡單說副硅，人工智能想做的事情就是去總結(jié)和提煉人類思考的過程，使之能夠機械化翅萤、可重復(fù)恐疲。從各種神話、傳說來看套么，我們的祖先在幾千年前就對這件事兒充滿了好奇與遐想培己。到兩千多年前，一大批偉大的哲學(xué)家在希臘胚泌、中國和印度相繼誕生省咨，并將人類對這一問題的認(rèn)識推向了新的高度。為避免本文成為枯燥的哲學(xué)史玷室，這里不想舉太多的例子零蓉。偉大的希臘哲學(xué)家亞里士多德在他的《前分析篇》中提出了著名的三段論（sollygism），類似于：

所有希臘人是人

所有人終有一死

因此所有希臘人終有一死

雖然這是我們現(xiàn)在已經(jīng)無比熟悉的推理模式穷缤，但是要在2000年前從無到有系統(tǒng)總結(jié)出一系列這樣的命題與推理模式敌蜂，卻著實不易。有了『三段論』這種的武器津肛，人們對問題的認(rèn)識與決策就能從感性真正走向理性章喉，做到可以重復(fù)。此外，我們熟悉的歐式幾何也是當(dāng)時這種邏輯推理學(xué)派的代表囊陡。歐式幾何以一系列的公理為基礎(chǔ)芳绩，基于一套嚴(yán)密的邏輯推理體系，最終得到結(jié)論的證明撞反，現(xiàn)在仍然是每個學(xué)生需要反復(fù)訓(xùn)練的思維體操妥色。

隨著時間的演進，認(rèn)知哲學(xué)與邏輯學(xué)也在不斷的發(fā)展遏片。在17世紀(jì)時嘹害，以笛卡爾、萊布尼茨為代表的哲學(xué)家進一步提出通過數(shù)學(xué)的方式對邏輯推演進行標(biāo)準(zhǔn)化吮便，這也是對人腦推理與思考的再次抽象笔呀，為后續(xù)以后基于數(shù)字電路的人工智能打下了基礎(chǔ)。之后髓需，數(shù)理邏輯進一步發(fā)展许师，而到了20世紀(jì)中期，數(shù)理邏輯又一次取得了巨大的突破僚匆，哥德爾不完備理論微渠、圖靈機模型等的相繼提出，科學(xué)家們既認(rèn)識到了數(shù)理邏輯的局限性咧擂，也看到了將推理機械化的無限可能性逞盆，一種新的計算方式呼之欲出。

在圖靈機的思想指導(dǎo)下松申，第一臺電子計算機很快被設(shè)計出來云芦，為人工智能的真正實現(xiàn)提供了物質(zhì)上的基礎(chǔ)。其實回望人工智能歷史上的歷次重大飛躍贸桶，硬件技術(shù)的發(fā)展無不扮演者重要的作用舅逸。很多看似有效的算法都苦于沒有足夠強大的計算平臺支持無疾而終，而計算能力的提升也可以促進科學(xué)家們們擺脫束縛刨啸，在算法的研究道路上天馬行空堡赔。深度學(xué)習(xí)這些年的迅猛發(fā)展，很大程度就是得益于大規(guī)模集群和圖形處理器等技術(shù)的成熟设联，使得用復(fù)雜模型快速處理大規(guī)模數(shù)據(jù)成為可能。

1956年達(dá)特茅斯會議上灼捂，斯坦福大學(xué)科學(xué)家約翰·麥卡錫（John McCarthy）正式提出了『人工智能』這一概念离例， 標(biāo)志著一個學(xué)科的正式誕生，也標(biāo)志著人工智能的發(fā)展開始進入了快車道悉稠。如果說邏輯符號操作是對人類思維的本質(zhì)的抽象宫蛆，那么利用電子計算機技術(shù)來模擬人類的符號推理計算也是一個自然而然的想法。在艾倫·紐威爾（Alan Newell）和赫伯特·西蒙（Herbert A.Simon）等大師的推動下，以邏輯推演為核心符號主義（symbolicism）流派很快占據(jù)了人工智能領(lǐng)域的重要地位耀盗。符號主義在很多領(lǐng)域取得了成功想虎，比如在80年代風(fēng)靡一時的專家系統(tǒng)，通過知識庫和基于知識庫的推理系統(tǒng)模擬專家進行決策叛拷，得到了廣泛的應(yīng)用舌厨。而本世紀(jì)初熱炒的語義網(wǎng)絡(luò)以及當(dāng)下最流行的知識圖譜，也可以看做這一流派的延續(xù)與發(fā)展忿薇。

符號主義最大的特點是知識的表示直觀裙椭，推理的過程清晰，但是也存在著許多局限性署浩。除去在計算能力方面的困擾揉燃，一個很大的問題就在于雖然我們可以通過邏輯推理解決一些復(fù)雜的問題，但是對一些看似簡單的問題筋栋，比如人臉識別炊汤，卻無能為力。當(dāng)看到一張人臉的照片弊攘，我們可以毫不費力的識別出這個人是誰婿崭，可這個過程并不需要做什么復(fù)雜的推理，它在我們的大腦中瞬間完成肴颊，以至于我們對這個過程的細(xì)節(jié)卻一無所知氓栈。看起來想通過挖掘一系列嚴(yán)密的推理規(guī)則解決這類問題是相對困難的婿着，這也促使很多人去探索與人腦工作更加貼合的解決方案授瘦。實際上在符號主義出現(xiàn)的同時，人工智能的另一重要學(xué)派聯(lián)結(jié)主義（Connectionism）也開始蓬勃發(fā)展竟宋，本文的『主角』神經(jīng)網(wǎng)絡(luò)終于可以登場了提完。

在文章的一開始就提到，我們現(xiàn)在所說的人工神經(jīng)網(wǎng)絡(luò)是受生物神經(jīng)網(wǎng)絡(luò)啟發(fā)而設(shè)計出來的丘侠。在1890年徒欣，實驗心理學(xué)先驅(qū)William James在他的巨著《心理學(xué)原理》中第一次詳細(xì)論述人腦結(jié)構(gòu)及功能。其中提到神經(jīng)細(xì)胞受到刺激激活后可以把刺激傳播到另一個神經(jīng)細(xì)胞蜗字，并且神經(jīng)細(xì)胞激活是細(xì)胞所有輸入疊加的結(jié)果打肝。這一后來得到驗證的假說也成為了人工神經(jīng)網(wǎng)絡(luò)設(shè)計的生物學(xué)基礎(chǔ)∨膊叮基于這一假說粗梭，一系列模擬人腦神經(jīng)計算的模型被相繼提出，具有代表性的有Hebbian Learning Rule, Oja's Rule和MCP Neural Model等级零，他們與現(xiàn)在通用的神經(jīng)網(wǎng)絡(luò)模型已經(jīng)非常相似断医，例如在Hebbian Learning模型中，已經(jīng)可以支持神經(jīng)元之間權(quán)重的自動學(xué)習(xí)。而在1958年鉴嗤，Rosenblatt將這些模型付諸于實施斩启，利用電子設(shè)備構(gòu)建了真正意義上的第一個神經(jīng)網(wǎng)絡(luò)模型：感知機（Perceptron）。Rosenblatt現(xiàn)場演示了其學(xué)習(xí)識別簡單圖像的過程醉锅，在當(dāng)時的社會引起了轟動兔簇，并帶來了神經(jīng)網(wǎng)絡(luò)的第一次大繁榮。此后的幾十年里荣挨，神經(jīng)網(wǎng)絡(luò)又經(jīng)歷了數(shù)次起起伏伏男韧，既有春風(fēng)得意一統(tǒng)天下的歲月，也有被打入冷宮無人問津的日子默垄，當(dāng)然此虑，這些都是后話了。

本文更想討論這樣一個問題：神經(jīng)網(wǎng)絡(luò)產(chǎn)生的動機僅僅是對生物學(xué)中對神經(jīng)機制的模仿嗎口锭？在神經(jīng)網(wǎng)絡(luò)產(chǎn)生的背后朦前，還蘊含著一代代科學(xué)家怎么樣的思想與情懷呢？事實上鹃操，在神經(jīng)網(wǎng)絡(luò)為代表的一類方法在人工智能中又被稱為聯(lián)結(jié)主義（Connectionism）韭寸。關(guān)于聯(lián)結(jié)主義的歷史，一般的文獻(xiàn)介紹按照慣例會追溯到希臘時期哲學(xué)家們對關(guān)聯(lián)性的定義與研究荆隘，例如我們的老朋友亞里士多德等等恩伺。然而當(dāng)時哲學(xué)家研究的關(guān)聯(lián)其實并不特指神經(jīng)元之間的這種關(guān)聯(lián)，比如前文提到的符號推理本身也是一種形式關(guān)聯(lián)椰拒，在希臘哲學(xué)中并沒有對這兩者進行專門的區(qū)分晶渠。所以硬要把這些說成是連接主義的思想起源略微有一些牽強。

前文提到燃观，在數(shù)理邏輯發(fā)展過程中褒脯，17世紀(jì)的歐陸理性主義起到了重要的作用。以笛卡爾缆毁、萊布尼茨等為代表的哲學(xué)家番川，主張在理性中存在著天賦觀念，以此為原則并嚴(yán)格按照邏輯必然性進行推理就可以得到普遍必然的知識脊框。與此同時颁督，以洛克、休謨等哲學(xué)家為代表的英國經(jīng)驗主義缚陷，則強調(diào)人類的知識來自于對感知和經(jīng)驗歸納适篙。這一定程度上是對絕對的真理的一種否定，人類的認(rèn)識是存在主觀的箫爷，隨經(jīng)驗而變化的部分的。如果在這個思想的指導(dǎo)下，我們與其去尋找一套普世且完備的推理系統(tǒng)虎锚，不如去構(gòu)造一套雖不完美但能夠隨著經(jīng)驗積累不斷完善的學(xué)習(xí)系統(tǒng)硫痰。而休謨甚至提出了放棄揭示自然界的因果聯(lián)系和必然規(guī)律，而是依據(jù)“習(xí)慣性聯(lián)想”去描繪一連串的感覺印象窜护。這其實和神經(jīng)網(wǎng)絡(luò)設(shè)計的初衷是非常類似的：重視經(jīng)驗的獲得與歸納（通過樣本進行學(xué)習(xí)）效斑，但對模型本身的嚴(yán)謹(jǐn)性與可解釋行則沒有那么關(guān)注，正如有時候我們愿意把神經(jīng)網(wǎng)絡(luò)模型看做是一個『黑箱』柱徙。

然而單單一個『黑箱』是不能成為經(jīng)驗的學(xué)習(xí)與整理的系統(tǒng)的缓屠，我們還需要去尋找構(gòu)建『黑箱』的一種方法論。現(xiàn)代哲學(xué)發(fā)展到20世紀(jì)初期時护侮，在維特根斯坦和羅素等哲學(xué)家的倡導(dǎo)下敌完，產(chǎn)生了邏輯經(jīng)驗主義學(xué)派。依托當(dāng)時邏輯學(xué)的迅猛發(fā)展羊初，這一主義既強調(diào)經(jīng)驗的作用滨溉，也重視通過嚴(yán)密的邏輯推理來得到結(jié)論，而非簡單的歸納长赞。在數(shù)理邏輯領(lǐng)域頗有建樹的羅素有一位大名鼎鼎的學(xué)生諾伯特·維納晦攒，他創(chuàng)立的控制論與系統(tǒng)論、信息論一道得哆，為信息科學(xué)的發(fā)展提供了堅實的理論基礎(chǔ)脯颜。而神經(jīng)網(wǎng)絡(luò)模型的創(chuàng)立也深受這『三論』的影響。前文提到MCP神經(jīng)元模型的兩位創(chuàng)始人分別是羅素和維納的學(xué)生贩据。作為一個系統(tǒng)栋操，神經(jīng)網(wǎng)絡(luò)接受外部的輸入，得到輸出乐设，并根據(jù)環(huán)境進行反饋讼庇，對系統(tǒng)進行更新，直到達(dá)到穩(wěn)定狀態(tài)近尚。這個過程蠕啄，同樣也是神經(jīng)網(wǎng)絡(luò)對環(huán)境信息傳遞的接受和重新編碼的過程。如果如果把神經(jīng)網(wǎng)絡(luò)當(dāng)做一個『黑盒』戈锻，那么我們首先關(guān)心該是這個黑盒的輸入與輸出歼跟，以及如何根據(jù)環(huán)境給黑盒一個合理的反饋，使之能夠進行調(diào)整格遭。而黑盒內(nèi)部的結(jié)構(gòu)哈街，則更多的成為了形式的問題。我們借鑒生物神經(jīng)網(wǎng)絡(luò)構(gòu)造這個黑盒拒迅，恰好是一個好的解決方案骚秦，但這未必是唯一的解決方案或者說與人類大腦的神經(jīng)元結(jié)構(gòu)存在必然的聯(lián)系她倘。比如在統(tǒng)計學(xué)習(xí)領(lǐng)域中最著名的支持向量機（Support Vector Machines）作箍，最終是作為一種特殊的神經(jīng)網(wǎng)絡(luò)而提出的“茫可當(dāng)其羽翼豐滿之后荧止，則和神經(jīng)網(wǎng)絡(luò)逐漸脫離關(guān)系阶剑，開啟了機器學(xué)習(xí)的另一個門派。不同的模型形式之間可以互相轉(zhuǎn)化牧愁，但是重視經(jīng)驗（樣本），強調(diào)反饋的思想?yún)s一直保留下來递宅。

前面說了這些娘香，到底神經(jīng)網(wǎng)絡(luò)從何而來呢？總結(jié)下來就是三個方面吧：1.對理性邏輯的追求办龄，對樣本實證的重視烘绽，為神經(jīng)網(wǎng)絡(luò)的誕生提供了思想的基礎(chǔ)。2.生物學(xué)與神經(jīng)科學(xué)的發(fā)展為神經(jīng)網(wǎng)絡(luò)形式的出現(xiàn)提供了啟發(fā)俐填。3.計算機硬件的發(fā)展與計算能力的提升使神經(jīng)網(wǎng)絡(luò)從理想變成了現(xiàn)實安接。而這三方面的發(fā)展也催生著神經(jīng)網(wǎng)絡(luò)的進一步發(fā)展與深度學(xué)習(xí)的成熟：更大規(guī)模的數(shù)據(jù)，更完善的優(yōu)化算法使網(wǎng)絡(luò)能夠?qū)W習(xí)到更多更準(zhǔn)確的信息英融；對人腦的認(rèn)識的提升啟發(fā)設(shè)計出層次更深盏檐，結(jié)構(gòu)更高效的網(wǎng)絡(luò)結(jié)構(gòu)；硬件存儲與計算能力提升使海量數(shù)據(jù)的高效訓(xùn)練成為可能驶悟。而未來神經(jīng)網(wǎng)絡(luò)給我們帶來的更多驚喜胡野，也很大可能源自于這三個方面，讓我們不妨多一些期待吧痕鳍。