來源：Medium編譯：weakish
編者按：Google產(chǎn)品經(jīng)理Yariv Adan討論了困惑很多人的問題：人工神經(jīng)網(wǎng)絡(luò)和人類大腦中的神經(jīng)網(wǎng)絡(luò)到底有多像童本？
人工神經(jīng)網(wǎng)絡(luò)和機(jī)器學(xué)習(xí)已經(jīng)成為大眾媒體的熱門主題母市。智能機(jī)器這一想法勾起了很多人的想象躁锁，而且人們特別喜歡把它和人類放一起比較咽瓷。特別是有一個(gè)關(guān)于人工智能的底層機(jī)制的基礎(chǔ)問題經(jīng)常出現(xiàn)——這些人工神經(jīng)網(wǎng)絡(luò)的工作方式真的和我們大腦中的神經(jīng)元相似嗎召烂？
Tl;Dr
不串塑。盡管從高層概念上說沼琉，ANN（人工神經(jīng)網(wǎng)絡(luò)）受到了大腦中的神經(jīng)元和神經(jīng)網(wǎng)絡(luò)的啟發(fā)，但這些概念的ML實(shí)現(xiàn)和大腦的工作方式大有徑庭桩匪。不僅如此打瘪，隨著這些年來ML領(lǐng)域的進(jìn)展，新的復(fù)雜想法和技術(shù)的提出（RNN傻昙、GAN等）——這一聯(lián)系進(jìn)一步削弱了闺骚。
關(guān)鍵相似點(diǎn)
前饋全連接網(wǎng)絡(luò)的高層架構(gòu)和一般原則體現(xiàn)了人工神經(jīng)網(wǎng)絡(luò)和大腦中的神經(jīng)網(wǎng)絡(luò)的相似性。
從高層看妆档，大腦的神經(jīng)元由三部分組成：
樹突（輸入機(jī)制）—— 通過突觸接受輸入的樹狀結(jié)構(gòu)僻爽。輸入可能是來自感覺神經(jīng)細(xì)胞的感覺輸入，也可能是來自其他神經(jīng)細(xì)胞的“計(jì)算”輸入贾惦。單個(gè)細(xì)胞可以有多達(dá)10萬輸入（每個(gè)來自不同的細(xì)胞）胸梆。
胞體（計(jì)算機(jī)制）—— 細(xì)胞體收集所有樹突的輸入，并基于這些信號(hào)決定是否激活輸出（脈沖）纤虽。這是一個(gè)概括性的說法乳绕，因?yàn)橛行┯?jì)算在傳入胞體前就完成了（在樹突結(jié)構(gòu)中編碼）。
軸突（輸出機(jī)制）—— 一旦胞體決定是否激活輸出信號(hào)（也就是激活細(xì)胞）逼纸，軸突負(fù)責(zé)傳輸信號(hào)洋措，通過末端的樹狀結(jié)構(gòu)將信號(hào)以脈沖連接傳遞給下一層神經(jīng)元的樹突。
類似地杰刽，ANN中也有等價(jià)的結(jié)構(gòu)：
輸入連接 —— 每個(gè)神經(jīng)元接受一組輸入菠发，或者來自輸入層（等價(jià)于感覺輸入）王滤，或者來自網(wǎng)絡(luò)中前一層的神經(jīng)元。
線性計(jì)算和激活函數(shù) —— 這些“累加”輸入滓鸠，接著非線性地決定是否激活神經(jīng)元雁乡。
輸出連接 —— 這些傳遞激活信號(hào)至網(wǎng)絡(luò)中下一層的神經(jīng)元。
類似地糜俗，卷積神經(jīng)網(wǎng)絡(luò)借鑒了視覺通路踱稍。很酷的一件事情是，CNN原本主要借鑒的是架構(gòu)（對(duì)應(yīng)特定形狀或模式的較小的核/過濾器悠抹，每次應(yīng)用于較小的區(qū)域）珠月。然而，多年之后楔敌，當(dāng)ML研究人員開發(fā)了新的可視化CNN隱藏層的技術(shù)后啤挎，人們發(fā)現(xiàn)CNN表示圖像的方式和視皮層的層次表示十分類似——從表示簡單模式的第一層開始，較深的層復(fù)合出復(fù)雜形狀和對(duì)象卵凑。
可塑性 —— 大腦的獨(dú)特性質(zhì)之一庆聘，學(xué)習(xí)和記憶得以成立的關(guān)鍵特性。大腦基于經(jīng)歷創(chuàng)建新的脈沖連接勺卢，廢棄舊的脈沖連接伙判，加強(qiáng)或削弱現(xiàn)有的連接『诔溃可塑性甚至在單個(gè)神經(jīng)元中起作用——影響它的電磁行為澳腹，以及對(duì)特定輸入作出回應(yīng)觸發(fā)激活的趨向。
可塑性這一想法是訓(xùn)練ANN的關(guān)鍵原則——基于批次輸入迭代修改網(wǎng)絡(luò)參數(shù)（權(quán)重）杨何。最近，元學(xué)習(xí)領(lǐng)域的進(jìn)展將ANN中可塑性的應(yīng)用范圍從參數(shù)拓展到超參數(shù)乃至整個(gè)模型沥邻。
關(guān)鍵區(qū)別
大腦神經(jīng)元的復(fù)雜性和魯棒性要比人工神經(jīng)元復(fù)雜強(qiáng)大得多危虱。這不僅體現(xiàn)在神經(jīng)元的數(shù)量及每個(gè)神經(jīng)元的樹突數(shù)量上——比我們現(xiàn)在的ANN高出若干數(shù)量級(jí)，還體現(xiàn)在單個(gè)神經(jīng)元的內(nèi)部復(fù)雜性上：和人工神經(jīng)元相比唐全，神經(jīng)元的化學(xué)和電學(xué)機(jī)制精細(xì)得多埃跷，也強(qiáng)健得多。例如邮利，神經(jīng)元不是零電位差的——細(xì)胞的不同區(qū)域可能具有不同的電位弥雹，有不同的電流通過。這讓單個(gè)神經(jīng)元可以進(jìn)行非線性運(yùn)算延届，識(shí)別隨著時(shí)間發(fā)生的變動(dòng)（例如剪勿，移動(dòng)的目標(biāo)），或者將不同的區(qū)域并行映射至不同的樹突區(qū)域——這樣整個(gè)細(xì)胞就可以完成復(fù)雜的復(fù)合任務(wù)方庭。和非常簡單的人造神經(jīng)元相比厕吉，這些都是高級(jí)很多的結(jié)構(gòu)和能力酱固。
實(shí)現(xiàn) —— 大腦中的神經(jīng)元是以非常復(fù)雜和精細(xì)的機(jī)制實(shí)現(xiàn)的，可以進(jìn)行非常復(fù)雜的非線性計(jì)算：
信號(hào)在神經(jīng)元突觸間隙中的化學(xué)傳播头朱，是通過神經(jīng)遞質(zhì)和感受器完成的运悲，并由各種興奮和抑制元素放大。
基于復(fù)雜的時(shí)空電磁波推斷邏輯项钮，興奮/抑制性突觸后電位構(gòu)建了動(dòng)作電位班眯。
離子通道和微電位差控制脈沖的觸發(fā)，細(xì)胞體中的脈沖將沿著軸突傳播烁巫。
大量我們尚未理解的機(jī)制……
和這些相比署隘，ANN中使用的參數(shù)、權(quán)重程拭、線性函數(shù)定踱、激活函數(shù)十分簡單粗暴。
在此之上恃鞋，大腦中的神經(jīng)元的整體架構(gòu)要比大多數(shù)ANN復(fù)雜得多崖媚，特別是和常見的前饋網(wǎng)絡(luò)相比（前饋網(wǎng)絡(luò)的每一層只和前一層、后一層連接）恤浪。不過畅哑，即使是和多層RNN或者殘差網(wǎng)絡(luò)相比，大腦中的神經(jīng)元網(wǎng)絡(luò)也是不可思議地復(fù)雜水由，在許多方向上有著數(shù)萬跨“層”荠呐、跨區(qū)域的樹突。
另一方面砂客，大腦不太可能使用反向傳播這樣的方法——基于誤差函數(shù)的偏導(dǎo)數(shù)上的鏈?zhǔn)椒▌t泥张。
能源消耗 —— 大腦是一個(gè)極端高效的計(jì)算機(jī)，差不多十瓦左右鞠值，約為單個(gè)CPU能耗的三分之一媚创。
GAN、RL彤恶、RNN等新進(jìn)展 —— 在ML的理論和應(yīng)用上钞钙，都不斷涌現(xiàn)新的想法和創(chuàng)新。這些都不再基于大腦的工作機(jī)制声离。它們也許受到了大腦的啟發(fā)芒炼，或者人類行為的啟發(fā)，但在許多方面术徊，現(xiàn)在的ML方面的研究和工作過著屬于自己的生活——迎接自身的挑戰(zhàn)本刽，追尋自身的機(jī)遇。
大腦是持續(xù)的靈感來源
盡管有上面列出的這些不同，ML研究仍然不斷將大腦列為靈感來源盅安，因?yàn)榇竽X比我們現(xiàn)有的計(jì)算設(shè)備要強(qiáng)健和高效太多唤锉。認(rèn)識(shí)人工神經(jīng)網(wǎng)絡(luò)和大腦的差距，以及關(guān)于大腦機(jī)制的研究别瞭，激發(fā)了一些最激動(dòng)人心也最具挑戰(zhàn)性的ML近期研究窿祥。例如：
能效 —— 如前所述，大腦的神經(jīng)元和連接數(shù)量比我們創(chuàng)建的任何ANN都要大上若干數(shù)量級(jí)蝙寨，但它消耗的能量卻要少若干數(shù)量級(jí)晒衩。這是一個(gè)很活躍的研究領(lǐng)域，包括基于DNA和其他分子的生物網(wǎng)絡(luò)墙歪，以及試圖模仿神經(jīng)元和突觸的神經(jīng)形態(tài)（neuromorphic）電子開關(guān)听系。
從很小的訓(xùn)練樣本集學(xué)習(xí) —— 最有可能是通過一些內(nèi)置的模型，這些模型對(duì)物理法則虹菲、心理學(xué)靠胜、因果關(guān)系和其他決定地球上的決策和行動(dòng)的規(guī)則有一些“直覺上的”理解。和現(xiàn)有的通用白板神經(jīng)網(wǎng)絡(luò)相比毕源，這些加速了學(xué)習(xí)浪漠，并能指導(dǎo)預(yù)測/行動(dòng)。
釋放無監(jiān)督學(xué)習(xí)和強(qiáng)化學(xué)習(xí)的威力 —— 無監(jiān)督學(xué)習(xí)和強(qiáng)化學(xué)習(xí)是AI的“暗能量”霎褐。物理上址愿，暗能量占據(jù)了我們的宇宙的大部分，而我們對(duì)其知之甚少冻璃。與此類似响谓，很明顯我們的大腦主要通過無監(jiān)督學(xué)習(xí)和強(qiáng)化學(xué)習(xí)的方式進(jìn)行學(xué)習(xí)。而當(dāng)前的大部分ML應(yīng)用使用監(jiān)督學(xué)習(xí)省艳。解開這一謎題是構(gòu)建能像人類一樣學(xué)習(xí)的機(jī)器的關(guān)鍵娘纷。
新的方法和架構(gòu)。例如跋炕，嗅覺背后的神經(jīng)系統(tǒng)失驶，可以為新的ML方法提供靈感，處理現(xiàn)有方法無法很好應(yīng)對(duì)的一些問題枣购。
最后，這當(dāng)然不可能是一個(gè)全面的答案擦耀，明顯還有很多我沒提到的相似性和區(qū)別棉圈。例如，來自多倫多的Blake Richards做了一個(gè)很棒的簡短演講：https://youtu.be/vGFq6vQ_gR4 從一個(gè)新穎獨(dú)特的角度陳述了大腦和深度學(xué)習(xí)在原則上的相似性眷蜓。事實(shí)上分瘾，這一問題是我們的時(shí)代最激動(dòng)人心、最復(fù)雜吁系、進(jìn)展最快的兩個(gè)研究領(lǐng)域的交匯之處德召，所以你可以期望在未來我們會(huì)了解更多白魂。
原文地址：https://medium.com/swlh/do-neural-networks-really-work-like-neurons-667859dbfb4f
