01引言：計算機(jī)不等于人工智能
2019世界人工智能大會在開幕式上矮湘，“鋼鐵俠”馬斯克堅定地表示：“計算機(jī)已經(jīng)在很多方面比人更聰明了斟冕，人們和計算機(jī)下圍棋像你和宙斯斗爭一樣沒有希望的，我們差太遠(yuǎn)了”缅阳，“人類智力的追求在越來越少的方面比計算機(jī)好磕蛇，每個方面以后都會被計算機(jī)越來越多的超越，這是肯定的”十办。
對此秀撇，“太極拳七段”馬老師則以中國人特有的智慧，風(fēng)淡云輕地辯駁道：“和電腦比賽下棋是愚蠢的向族，只有愚蠢的人才會跟汽車比誰跑得快”呵燕，“人類發(fā)明了計算機(jī)，我從來沒有看到計算機(jī)發(fā)明一個人”件相，“根據(jù)科學(xué)再扭，人從來無法創(chuàng)造一個比自己更聰明的動物”。
當(dāng)然夜矗，馬斯克對馬云的觀點也“非常不同意”泛范。兩人孰對孰錯呢？
我們先不說將來AI會不會超越人類紊撕，只說兩位大佬都用到了同一個詞——“計算機(jī)”罢荡，看來兩位“大馬哥”都把AI等同于計算機(jī)了。如果按照嚴(yán)格的科學(xué)定義，把計算機(jī)視為一臺嚴(yán)格遵照機(jī)械程序執(zhí)行任務(wù)的圖靈機(jī)区赵，那么惭缰，計算機(jī)究竟能不能模仿人類的全部能力，這在理論上還是存在重大爭議的笼才。計算機(jī)≠人工智能从媚，這是AI界的主流看法，但人們往往把這兩個概念混為一談患整。
計算機(jī)跟人工智能的關(guān)系拜效，遠(yuǎn)比人們通常理解的更復(fù)雜。一部計算機(jī)發(fā)展史各谚，就是一部人工智能的逐夢史紧憾。但現(xiàn)實和夢想之間，卻隔著深不可測的海洋昌渤。
02圖靈機(jī)的創(chuàng)世紀(jì)
20世紀(jì)后半葉赴穗，計算機(jī)技術(shù)的廣泛應(yīng)用，個人計算機(jī)（PC）的全球普及膀息，這或許是人類歷史上意義最為深遠(yuǎn)的技術(shù)革命般眉，托夫勒稱之為“第三次浪潮”，人類社會繼農(nóng)業(yè)階段潜支、工業(yè)階段后甸赃，進(jìn)入到了信息化階段。通用計算機(jī)（圖靈機(jī)）的發(fā)明冗酿，就是這一偉大歷史轉(zhuǎn)折的關(guān)鍵點埠对。
說到計算機(jī)，其實人類很早就使用各種計算裝置了裁替。從中國古代的算盤项玛，古希臘安提凱希拉天文計算裝置，到17世紀(jì)帕斯卡和萊布尼茲設(shè)計的“加法機(jī)”弱判，19世紀(jì)巴貝奇設(shè)計的“差分機(jī)”襟沮，再到20世紀(jì)上半葉IBM早期推出的各種機(jī)械？電子數(shù)字計算機(jī)昌腰，這些計算裝置無一例外有一個共同特點开伏，即它們都是專用計算機(jī)而非通用計算機(jī)。也就是說剥哑，它設(shè)計用來做什么硅则，就只能做什么淹父，別的什么都不能做株婴，其程序和計算是分離的。
所以，如果要解決不同的計算任務(wù)困介，就得設(shè)計大审、制作不同的計算裝置，硬件座哩、軟件都得重新再做徒扶。但人類要解決的計算任務(wù)是源源不斷、無窮無盡的根穷，原則上就得做無窮多臺不同的計算機(jī)才行姜骡。所以，專用計算機(jī)是不能普及化的屿良，制作成本就會非常高圈澈，只能用于特殊的計算任務(wù)，或工業(yè)與軍事上的重要目標(biāo)尘惧。
而通用計算機(jī)的出現(xiàn)就改變了這種技術(shù)瓶頸康栈，使得計算機(jī)普及化成為可能。什么是通用計算機(jī)喷橙？簡單說啥么，就是一臺可以完成任何計算任務(wù)的機(jī)器。這樣一來贰逾，我們只要在機(jī)器內(nèi)部裝入不同的計算程序悬荣，它就可以執(zhí)行任何計算任務(wù)，即只需更換軟件疙剑，毋須更換硬件∮缥酰現(xiàn)在我們的個人電腦，既可以聽音樂核芽、玩游戲囚戚、看視頻，也可以做數(shù)據(jù)分析轧简、文字處理驰坊、美術(shù)設(shè)計，搜索哮独、網(wǎng)購拳芙、通訊、遠(yuǎn)程控制等等皮璧，它幾乎無處不在舟扎，無所不能，一臺電腦在悴务，天下任我行睹限。所以譬猫，從專用計算機(jī)到通用計算機(jī)，這是一個歷史性的跨越羡疗，人類從此進(jìn)入了計算機(jī)時代染服。
通用計算機(jī)的發(fā)明，主要?dú)w功于兩位天才數(shù)學(xué)家——圖靈和馮·諾依曼叨恨。圖靈被稱為“計算機(jī)科學(xué)之父”柳刮， 他做出了通用計算機(jī)的數(shù)學(xué)模型，這就是永垂青史的“圖靈機(jī)”痒钝；馮·諾依曼被稱為“現(xiàn)代計算機(jī)之父”秉颗，在圖靈機(jī)的基礎(chǔ)上，他進(jìn)一步做出了通用計算機(jī)的工程構(gòu)架送矩，這就是大名鼎鼎的“馮·諾依曼體系”站宗。
直到今天，所有計算機(jī)都還嚴(yán)格遵循著圖靈和馮·諾依曼的理論設(shè)計益愈。通用計算機(jī)比專用計算機(jī)究竟好在哪呢梢灭？我們說一個經(jīng)典的故事。世界上第一臺電子計算機(jī)是由莫希利蒸其、懊羰停克特在1946年設(shè)計的ENIAC（譯成中文是“電子數(shù)字積分和計算機(jī)”），由于它缺乏通用性摸袁、可變性與存儲程序的機(jī)制钥顽，因此耗電多、費(fèi)用高就成為其不可承受之重靠汁，而程序與計算分離是其致命的缺陷蜂大。據(jù)說，當(dāng)年只要ENIAC一開動蝶怔，整個費(fèi)城的燈光都會黯然失色奶浦。后來，馮·諾依曼受軍方委托踢星，對ENIAC方案進(jìn)行改進(jìn)澳叉，他根據(jù)圖靈機(jī)的構(gòu)思，提出了一種新的計算機(jī)設(shè)計方案EDVAC（譯成中文是“離散變量自動電子計算機(jī)”）沐悦，完美地解決了ENIAC的所有難題成洗。這就是著名的“諾依曼機(jī)”，也是世界上第一臺通用電子計算機(jī)藏否。
諾依曼機(jī)最大的特點就是“程序內(nèi)存”瓶殃，也就是說，它的程序被處理成數(shù)據(jù)裝進(jìn)了計算機(jī)內(nèi)部副签，所以計算機(jī)就能自動依次執(zhí)行這些指令遥椿，不需要從外部接線來執(zhí)行指令了基矮。譬如像ENIAC，其程序和計算是分離的修壕，每次更換新的指令時愈捅，需要把數(shù)百條線路重新接到機(jī)器上去遏考，一群接線員要手忙腳亂地忙活幾天慈鸠，才能進(jìn)行幾分鐘的運(yùn)算，這樣一來灌具，效率就太低了青团，能耗非常高。根據(jù)諾依曼機(jī)的設(shè)計方案咖楣，只要程序能夠內(nèi)存督笆，它就可以做成芯片裝進(jìn)計算機(jī)里了，軟件工業(yè)由此而興诱贿，這是現(xiàn)代計算機(jī)的核心娃肿。目前，從就業(yè)人數(shù)上看珠十，全球硬件工程師人數(shù)只有100萬左右料扰，但軟件工程師人數(shù)卻過億，差距非常大焙蹭。
從專用計算機(jī)到通用計算機(jī)晒杈，不僅是科學(xué)的一次飛躍，也是科技的一次革命孔厉。如果說蒸汽機(jī)是18世紀(jì)的通用技術(shù)拯钻，電力是19世紀(jì)的通用技術(shù)，那么計算機(jī)就是20世紀(jì)的通用技術(shù)撰豺，它不僅改變了人類的社會組織行為粪般，也改變了人類的日常生活方式。
03機(jī)器學(xué)習(xí)的艱難崛起
那么污桦，計算機(jī)又是怎么跟人工智能掛上鉤的刊驴？如果一臺通用計算機(jī)的功能非常強(qiáng)大，可以用它來模擬人類的所有行為寡润，這個研究方向就是人工智能捆憎。按照“人工智能之父”約翰·麥卡錫的解釋就是：“（我們的目標(biāo)）是遠(yuǎn)離對人類行為的研究，將計算機(jī)作為解決某種難題的工具梭纹。這樣一來躲惰，人工智能就會成為計算機(jī)而非心理學(xué)的分支學(xué)科”涑椋”
計算機(jī)和人工智能的思想先驅(qū)都是圖靈础拨，他最早提出了用計算機(jī)來模擬人類思維的設(shè)想氮块。1936年，24歲的圖靈就寫出了他的成名作《論可計算數(shù)及其在可判定性問題上的應(yīng)用》诡宗，給出了“機(jī)械計算”的嚴(yán)格定義滔蝉，這就是“圖靈機(jī)”的概念。1950年塔沃，圖靈發(fā)表了AI史上的經(jīng)典論文《計算機(jī)器與智能》蝠引，開篇就提出“機(jī)器能夠思維嗎？”這一直指本質(zhì)的問題蛀柴，文中他特意說明螃概，機(jī)器就是指“數(shù)字計算機(jī)”，并設(shè)計了一個模仿游戲來驗證機(jī)器是否具有思維能力鸽疾，這就是著名的“圖靈測試”吊洼。機(jī)器能否具備真正的思維能力，這就是圖靈給我們留下的思想謎題制肮。
整個人類科學(xué)史冒窍，差不多就是一部天才們的獨(dú)創(chuàng)思想史，在浩瀚的宇宙中豺鼻，其思想光芒猶如璀璨星辰综液，指引著人類探索的方向。圖靈的天才思想激發(fā)了后來數(shù)學(xué)家們對設(shè)計“智能機(jī)器”的強(qiáng)烈愿望拘领，這就是人工智能的源起意乓，就像麥卡錫定義的那樣：“人工智能是研制智能機(jī)器的一門科學(xué)與技術(shù)”。
二戰(zhàn)后约素，在學(xué)術(shù)界和工業(yè)界的共同推動下届良，AI技術(shù)迅速崛起，形成了第一波AI熱圣猎。1956年士葫，由麥卡錫和馬文·明斯基兩人發(fā)起，舉辦了意義深遠(yuǎn)的達(dá)特茅斯會議送悔，與會者全是當(dāng)時計算機(jī)科學(xué)慢显、認(rèn)知科學(xué)和信息科學(xué)的頂尖高手，信息論創(chuàng)始人香農(nóng)也參加了欠啤，IBM贊助了本次會議荚藻。麥卡錫在會上首次提出了“人工智能”這一術(shù)語，標(biāo)志著這一門學(xué)科的正式誕生洁段。
剛開始应狱，大家對AI技術(shù)抱有很大的期望和信心，認(rèn)為很快就能設(shè)計出智能機(jī)器祠丝。1967年疾呻，在接受記者采訪時除嘹，明斯基還信誓旦旦地表示：“再過3∽8年的時間台颠，我們將創(chuàng)造一臺能夠達(dá)到普通人類總體智力水平的機(jī)器迹卢。我指的是一臺能夠閱讀莎士比亞著作，給車上潤滑油毕匀，會耍手腕璃岳，能講笑話年缎，而且還會跟人打上一架的機(jī)器。那時矾睦，機(jī)器能以令人驚奇的速度自學(xué)晦款。幾個月后以后炎功，它將達(dá)到天才水平枚冗，而再過上幾個月，它的能力將不可估量蛇损×尬拢”當(dāng)時這番話幾乎是天方夜譚，即使現(xiàn)在也還是遙不可及的目標(biāo)淤齐。
AI領(lǐng)域最先取得重大進(jìn)展的是機(jī)器證明（ATP）股囊。1959年，美籍華裔數(shù)學(xué)家王浩用計算機(jī)證明了羅素《數(shù)學(xué)原理》中的350條定理更啄，只用了9分鐘稚疹，但羅素和懷特海合寫這部書卻花了整整10年的時間。在棋類游戲上祭务，機(jī)器也表現(xiàn)出了很高的“智能”内狗，1997年，IBM超級電腦“深藍(lán)”戰(zhàn)勝國際象棋世界冠軍卡斯帕羅夫义锥，這也是AI史上的一個標(biāo)志性事件柳沙。但除了專家系統(tǒng)，早期AI技術(shù)做得都不成功拌倍，尤其是在機(jī)器翻譯赂鲤、圖像識別、語音識別等這些具有商業(yè)價值的項目上柱恤，當(dāng)時AI技術(shù)根本無法處理数初，這就導(dǎo)致從20世紀(jì)70年代到2005年這長達(dá)30多年的“AI寒冬”。
為什么會這樣梗顺？就是大家的研究方向出了偏差泡孩。當(dāng)時AI的研究方法，主要有“符號主義”和“聯(lián)結(jié)主義”這兩種觀點荚守。符號主義主張珍德，如果我們把計算機(jī)的編程做得非常全面练般、強(qiáng)大，那么用純粹邏輯程序的方法锈候，機(jī)器就能模擬人類的全部行為薄料，參加達(dá)特茅斯會議的科學(xué)家?guī)缀醵际欠栔髁x的擁躉者。聯(lián)結(jié)主義走的卻是另外一條技術(shù)路線泵琳，它主張模擬人類的神經(jīng)網(wǎng)絡(luò)摄职，通過機(jī)器學(xué)習(xí)的方法來實現(xiàn)AI的全部目標(biāo)。
有意思的是获列，在漫長的“AI寒冬”里谷市，符號主義曾是絕對的主流，但后來卻逐漸銷聲匿跡了击孩，而聯(lián)結(jié)主義是少數(shù)派迫悠，只有它熬過了嚴(yán)寒，最終迎來了燦爛盛放的春天巩梢。
為什么會這樣创泄？現(xiàn)在回過頭再去看這段歷史，就比較清楚了：符號主義是希望把人類行為的所有問題都設(shè)計好括蝠，編程好鞠抑，這是一種確定性的機(jī)器認(rèn)識過程，由一臺功能強(qiáng)大的通用計算機(jī)就能實現(xiàn)忌警；而聯(lián)結(jié)主義并不是事先就把所有問題都設(shè)計好搁拙，編程好，而是通過模仿神經(jīng)元聯(lián)結(jié)方式法绵，去模擬人類學(xué)習(xí)過程箕速，這就是一種不確定性的機(jī)器認(rèn)識過程，但它也暗示了礼烈，神經(jīng)網(wǎng)絡(luò)可能根本就不是圖靈機(jī)弧满。簡單講，就是學(xué)習(xí)機(jī)可以自動編程此熬，而計算機(jī)只能人工編程庭呜，兩者是不同的概念。
符號主義和聯(lián)結(jié)主義的根本分歧點在于：我們根本不可能事先就把所有問題都設(shè)計好犀忱，編程好募谎，“萬能算法”是不存在的，電腦只能像人腦那樣阴汇，通過模擬復(fù)雜的神經(jīng)網(wǎng)絡(luò)聯(lián)結(jié)方式数冬，激發(fā)出某種“超計算”的自組織行為，它才可能具備真正的思維能力。
其實拐纱，在圖靈《計算機(jī)器與智能》這篇開創(chuàng)性的論文中铜异，就注意到了這個問題，在結(jié)尾處還專門寫了一章來討論“學(xué)習(xí)機(jī)”秸架，他指出學(xué)習(xí)機(jī)和數(shù)字計算機(jī)是有重大區(qū)別的：數(shù)字計算機(jī)的程序是固定的揍庄，運(yùn)算過程也是確定的，而學(xué)習(xí)機(jī)是隨機(jī)的东抹，運(yùn)算規(guī)則也可以改變蚂子。所以，當(dāng)我們說“基于神經(jīng)網(wǎng)絡(luò)的機(jī)器學(xué)習(xí)不是純粹的圖靈機(jī)”時缭黔，希望大家千萬不要大驚小怪食茎，因為圖靈自己早就預(yù)示過這種結(jié)果。
我們再來說基于神經(jīng)網(wǎng)絡(luò)的機(jī)器學(xué)習(xí)馏谨，其靈魂人物是W.H.匹茨和G.欣頓兩人别渔，就像圖靈和馮·諾依曼是計算機(jī)的靈魂人物一樣。匹茨發(fā)明了神經(jīng)網(wǎng)絡(luò)田巴，欣頓進(jìn)一步完善了它钠糊，并在“AI寒冬”中堅持這個研究方向30多年挟秤，最終取得歷史性的成功壹哺。
匹茨是一位拉馬努金式的天才。1943年艘刚，匹茨和W.S.麥卡洛克首次提出了“神經(jīng)網(wǎng)絡(luò)”的概念管宵，這是一個優(yōu)美的數(shù)學(xué)理論，他們采用了鏈?zhǔn)江h(huán)狀的卡爾納普語言網(wǎng)絡(luò)系統(tǒng)攀甚，來描述神經(jīng)元各種聯(lián)結(jié)方式箩朴，這是一項開創(chuàng)性的工作，具有非凡的想象力秋度。當(dāng)時麥卡洛克是芝加哥大學(xué)神經(jīng)生理學(xué)教授炸庞，而匹茨只是一個在芝加哥大學(xué)旁聽的流浪少年，還不到20歲荚斯，但他通過自學(xué)已精通了模數(shù)學(xué)埠居。在匹茨-麥卡洛克模型的基礎(chǔ)上，1957年事期，羅森布拉特提出了“感知機(jī)”模型滥壕，這是一個具備初級學(xué)習(xí)能力的單層神經(jīng)網(wǎng)絡(luò)，它可以根據(jù)信號匯總強(qiáng)度和閾值之間的誤差兽泣，來重新調(diào)整各項加權(quán)绎橘，從而達(dá)到理想的輸出效果。走出第一步看似簡單唠倦，但這卻是“開天辟地”的關(guān)鍵一步称鳞，在科學(xué)探索上涮较，提出問題比解決問題更重要，開辟新方向比形成體系化更重要冈止。
但遺憾的是法希，這種單層神經(jīng)網(wǎng)絡(luò)，連最簡單的XOR問題——即判定一個兩位的二進(jìn)位制數(shù)是否僅包含0或1——都不能解決靶瘸，所以它基本上沒有實際用途苫亦。直到1974年，欣頓提出多層神經(jīng)網(wǎng)絡(luò)模型后怨咪，才很好地解決了XOR問題屋剑。這一年，還是哈佛大學(xué)博士生的沃博斯首次提出了反向傳播算法（即BP算法）诗眨，1986年唉匾，欣頓又重新發(fā)現(xiàn)這一方法，并首先利用廣義反向傳播算法來訓(xùn)練多層神經(jīng)網(wǎng)絡(luò)匠楚，至此巍膘，基于多層神經(jīng)網(wǎng)絡(luò)的深度學(xué)習(xí)方法，終于登上了AI的歷史舞臺芋簿。但當(dāng)時正值“AI寒冬”峡懈，這一方法也被“雪藏”了近30年。如果不是欣頓等少數(shù)人的堅持与斤，深度學(xué)習(xí)早就被“凍死”了肪康，哪里還會迎來春暖花開呢？
有趣的是撩穿，欣頓是布爾代數(shù)創(chuàng)始人G.布爾的玄孫磷支，布爾代數(shù)是計算機(jī)開關(guān)電路設(shè)計的數(shù)學(xué)基礎(chǔ)，神經(jīng)網(wǎng)絡(luò)看來又成為了學(xué)習(xí)機(jī)開關(guān)電路設(shè)計的數(shù)學(xué)基礎(chǔ)食寡，欣頓艱難的理論堅持雾狈，或許就來源于靈魂深處對“布爾家族”的那份榮譽(yù)感。
欣頓后來回憶說抵皱，1970年代善榛，他剛提出分層神經(jīng)網(wǎng)絡(luò)的想法時，大家都不認(rèn)可叨叙，“傳統(tǒng)的思路無疑更受關(guān)注和信任”锭弊，導(dǎo)師對他也很不看好，這是最艱難的時候擂错∥吨停“每周我和導(dǎo)師都會發(fā)生激烈爭辯，我一直堅持自己的想法，對導(dǎo)師說剑鞍，‘好吧昨凡，再給我六個月，我會證明給你看的’蚁署。然后六個月過去了便脊，我會說‘快了快了，再給我半年時間吧’光戈。之后哪痰，我索性說‘再給我五年吧’，人們都說久妆，你已經(jīng)做了五年晌杰，但它并不管用】晗遥”但欣頓始終堅持自己的思想肋演，熬過了將近30年的漫漫寒冬，這一理論才獲得舉世公認(rèn)烂琴。
2005年是AI史上的關(guān)鍵一年爹殊，欣頓提出了深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)的整體構(gòu)架，這一成就堪比馮·諾依曼體系奸绷。隨著互聯(lián)網(wǎng)和大數(shù)據(jù)的興起梗夸，深度學(xué)習(xí)也很快獲得了富有成效的商業(yè)應(yīng)用，像傳統(tǒng)AI技術(shù)不能處理的機(jī)器翻譯健盒、圖像識別和語音識別等難題绒瘦，也取得了突破性的進(jìn)展。因為扣癣，訓(xùn)練神經(jīng)網(wǎng)絡(luò)需要海量的數(shù)據(jù)憨降，這個條件在前互聯(lián)網(wǎng)時代是不存在的父虑。
現(xiàn)在娇澎，谷歌神經(jīng)機(jī)器翻譯（GNMT）已經(jīng)接近人工翻譯的水平笨蚁，IBM 開發(fā)的超級計算機(jī)“沃森”也以絕對優(yōu)勢贏得了人機(jī)辯論賽。特別是，AlphaGo讓深度學(xué)習(xí)一戰(zhàn)成名括细，舉世震驚伪很，也讓大家看到了神經(jīng)網(wǎng)絡(luò)技術(shù)的無限潛力。欣頓也被人們譽(yù)為“深度學(xué)習(xí)教父”奋单，成為AI界的神級存在锉试，他后來加入了谷歌公司，現(xiàn)在是谷歌副總裁览濒，2017年他被彭博社評為改變?nèi)蛏虡I(yè)格局的50人之一呆盖。深度學(xué)習(xí)已儼然成為當(dāng)前AI研究的絕對主流，廣泛應(yīng)用到自動駕駛贷笛、物聯(lián)網(wǎng)構(gòu)架絮短、醫(yī)療診斷、自然語言理解昨忆、科研數(shù)據(jù)分析丁频、仿生機(jī)器人等多個商業(yè)領(lǐng)域，推動了全球性的AI熱潮邑贴。很多人相信席里，21世紀(jì)將是AI時代。
就像深度學(xué)習(xí)另一位先驅(qū)者Y.本希奧總結(jié)的：“在經(jīng)歷了人工智能的寒冬之后拢驾，深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)的強(qiáng)勢回歸不僅僅代表著技術(shù)上的勝利奖磁，也給整個科學(xué)領(lǐng)域上了一課》卑蹋回顧人工智能的歷史咖为，我們必須意識到，哪怕一些好的想法受到當(dāng)時的技術(shù)狀態(tài)限制而看似前景渺茫稠腊，我們也不應(yīng)放棄躁染。鼓勵多樣化的科研課題與方向，或許有一天就會讓一時處于低谷的領(lǐng)域迎來復(fù)興架忌⊥掏”看上去很美，智能機(jī)器似乎即將美夢成真叹放，但人們的懷疑卻從未停止過饰恕。
04深度學(xué)習(xí)的理論極限
神經(jīng)網(wǎng)絡(luò)究竟是什么？它是計算機(jī)井仰，還是學(xué)習(xí)機(jī)埋嵌？深度學(xué)習(xí)的工作原理是什么？這些都還是未知之謎俱恶。AlphaGo的發(fā)明者戴密斯·哈薩比斯博士在烏鎮(zhèn)接受記者采訪時說過雹嗦，他并不知道AlphaGo是如何決定下一步棋的范舀。德州農(nóng)工大學(xué)數(shù)學(xué)家、FAIR 的訪問科學(xué)家 Boris Hanin 說得更直接：“最接近事實的情況是俐银，我們對神經(jīng)網(wǎng)絡(luò)的實際運(yùn)作方式幾乎一無所知尿背，也不知道什么才是真正有洞察力的理論〈废В”欣頓在谷歌 I/O 2019 大會上也表示過田藐，沒有人知道神經(jīng)網(wǎng)絡(luò)究竟是如何工作的。
盡管深度學(xué)習(xí)現(xiàn)在看起來紅紅火火吱七，風(fēng)光無限汽久，但最近人們對它的反思和質(zhì)疑也日漸增多起來，大家聚焦點都在一個地方：它本質(zhì)上只是一種統(tǒng)計方法踊餐，并未形成真正的理解能力景醇，因此它還不具備像人類那樣學(xué)習(xí)與認(rèn)識能力。
欣頓本人其實對深度學(xué)習(xí)做過許多反思吝岭，對反向傳播這一核心算法三痰，他表示“深感懷疑”，建議“把它全部拋掉窜管，從頭再來”散劫，指出要讓神經(jīng)網(wǎng)絡(luò)變得更聰明，就必須更好地發(fā)展“無監(jiān)督學(xué)習(xí)”幕帆。
楊立昆（Yann LeCun）是Facebook 首席 AI 科學(xué)家获搏，他發(fā)明了著名的卷積視覺神經(jīng)網(wǎng)絡(luò)，并和欣頓失乾、本希奧共獲2018年度圖靈獎常熙，這是深度學(xué)習(xí)的三位先驅(qū)者。他非常明確地指出過深度學(xué)習(xí)的局限性碱茁，譬如裸卫，需要太多的訓(xùn)練數(shù)據(jù)，不能推理早芭，也不具備常識彼城，“這些深度學(xué)習(xí)系統(tǒng)不知道如何整合抽象知識”。
他進(jìn)一步解釋說退个，“如果你思考一下動物和嬰兒是如何學(xué)習(xí)的，在生命的最初幾分鐘调炬、幾小時语盈、幾天里，學(xué)很多東西都學(xué)得很快缰泡，以至于看起來像是天生的刀荒，但事實上代嗤，他們不需要硬編碼，因為它們可以很快學(xué)會一些東西缠借「梢悖” 他承認(rèn)，目前還不清楚哪些途徑可以幫助深度學(xué)習(xí)走出低谷泼返。
清華大學(xué)人工智能研究院院長張鈸院士也認(rèn)為硝逢，目前基于深度學(xué)習(xí)的AI技術(shù)已觸及天花板，它做得效果最好的是棋類游戲绅喉、圖像識別和語音識別這三個領(lǐng)域渠鸽，但在其他領(lǐng)域很難再出現(xiàn)像AlphaGo這樣的奇跡了。他進(jìn)一步分析說柴罐，深度學(xué)習(xí)要發(fā)揮出潛力徽缚，必須具備五個條件，即“充分的數(shù)據(jù)”革屠，“確定性”凿试，“完全的信息”，“靜態(tài)環(huán)境”似芝，“特定領(lǐng)域”那婉，實際上，只要符合這些條件国觉，機(jī)器還是在“照章辦事”吧恃，并不具有“靈活性和創(chuàng)造性”。因此他斷言：“現(xiàn)在的深度學(xué)習(xí)本質(zhì)上是基于概率統(tǒng)計”麻诀，“這個方法本身通常無法找到‘有意義’的規(guī)律痕寓，它只能找到重復(fù)出現(xiàn)的模式，也就是說蝇闭，你光靠數(shù)據(jù)呻率，是無法達(dá)到真正的智能∩胍”
大佬們講了這么多深度學(xué)習(xí)的缺點和缺陷礼仗，歸根結(jié)底，其實就是一條：深度學(xué)習(xí)只是專用學(xué)習(xí)機(jī)逻悠，而不是通用學(xué)習(xí)機(jī)元践。譬如，你做了一個下圍棋的多層神經(jīng)網(wǎng)絡(luò)童谒，就不能拿來下象棋单旁；做了一個寫詩的深度學(xué)習(xí)算法，就不能拿來譜曲饥伊。也就是說象浑，有多少項學(xué)習(xí)任務(wù)蔫饰，原則上就得做多少臺學(xué)習(xí)機(jī)。這樣一來愉豺，我們又陷入到圖靈之前專用計算機(jī)的那種困境中了篓吁，因為人類面臨的學(xué)習(xí)任務(wù)也是源源不斷、無窮無盡的蚪拦，不可能去做無窮多臺不同的學(xué)習(xí)機(jī)杖剪。
大道至簡，只有專用計算機(jī)而沒有通用計算機(jī)外盯，就做不出來真正的計算機(jī)摘盆；只有專用學(xué)習(xí)機(jī)而沒有通用學(xué)習(xí)機(jī)，也做不出來真正的人工智能饱苟。我們還缺乏一種通用學(xué)習(xí)機(jī)的基礎(chǔ)理論孩擂，這是當(dāng)前AI研究面臨的最大“瓶頸∠浒荆”
05從通用學(xué)習(xí)機(jī)走向通用人工智能
但是类垦，現(xiàn)在人們講得最多的是“通用人工智能”（AGI）這個概念，而不是“通用學(xué)習(xí)機(jī) ”這個概念城须。哈薩比斯博士在劍橋大學(xué)演講時就說過蚤认，其團(tuán)隊的最終目標(biāo)就是要讓AlphaGo實現(xiàn)AGI，即使用一套單獨(dú)的糕伐、靈活的且具有變通能力的算法砰琢，就能夠真正像人腦系統(tǒng)那樣，僅通過原始數(shù)據(jù)就能從零開始學(xué)習(xí)如何掌握任意一項任務(wù)良瞧。
?人們對AGI的一般定義是：一種可以模仿人類所有行為的AI陪汽，也就是說，機(jī)器可以執(zhí)行人類所有能夠完成的任務(wù)褥蚯。這是一種強(qiáng)AI的定義挚冤。一般認(rèn)為，AGI不可能由通用計算機(jī)來實現(xiàn)赞庶，但它可以由通用學(xué)習(xí)機(jī)來實現(xiàn)训挡。因為，電腦和人腦都一樣歧强，絕不可能把所有任務(wù)的程序都事先設(shè)計好澜薄，編程好，必須從數(shù)據(jù)和經(jīng)驗中去不斷學(xué)習(xí)摊册，不斷糾偏糾錯表悬、歸納概括，最終自己編程來掌握某項任務(wù)丧靡。
最早提出“通用學(xué)習(xí)機(jī)”這個概念的蟆沫，是美國俄亥俄州立大學(xué)數(shù)學(xué)博士熊楚瑜，目前AI界大概只有20幾個人在做這件事情温治，屬于極少數(shù)派饭庞。但如果跟“通用計算機(jī)”遙相呼應(yīng)，“通用學(xué)習(xí)機(jī)”倒是相得映彰的一個新概念熬荆，也相當(dāng)簡潔優(yōu)美舟山。什么是通用學(xué)習(xí)機(jī)？簡單說卤恳，就是從歸零狀態(tài)開始累盗，通過數(shù)據(jù)輸入，能夠?qū)θ魏螌W(xué)習(xí)任務(wù)進(jìn)行自動編程的機(jī)器突琳。
所以若债，我們把機(jī)器分成兩類，一類是計算機(jī)拆融，是人工編程的蠢琳，其程序是固定好的，一類是學(xué)習(xí)機(jī)镜豹，是自動編程的傲须，其程序是可以改變的。深度學(xué)習(xí)也是從歸零狀態(tài)開始趟脂，不斷輸入數(shù)據(jù)泰讽，不斷調(diào)整權(quán)重參數(shù)，通過逐層梯度下降的反向傳播昔期，最終收斂到一個最佳匹配的概率分配函數(shù)上已卸。所以，深度學(xué)習(xí)的程序是在不斷修改镇眷、不斷完善的咬最，它不再是一臺計算機(jī)，而是一臺學(xué)習(xí)機(jī)欠动。
無論多么復(fù)雜的機(jī)器行為永乌，均有其基本的數(shù)學(xué)原理。下面具伍，我們就用一個最簡單的數(shù)學(xué)模型來說明計算機(jī)和學(xué)習(xí)機(jī)的區(qū)別翅雏。
無論計算機(jī)還是學(xué)習(xí)機(jī)，都是一臺信息處理器M人芽，當(dāng)對M輸入一個數(shù)據(jù)x望几，經(jīng)內(nèi)部處理后，M就會輸出一個數(shù)據(jù)y萤厅。所謂編程橄抹，一般是分兩步走：首先靴迫，我們要建立起輸入x和輸出y之間的一種函數(shù)關(guān)系y=f(x)，這一步就叫“數(shù)學(xué)建穆ナ模”玉锌；然后，就是來求解這個函數(shù)f疟羹，即用一個圖靈機(jī)來解這個方程f主守，如果f有解，那么在有限步驟內(nèi)榄融，圖靈機(jī)肯定就會獲得確定的結(jié)果参淫，我們把這些有限步驟寫成代碼，這一步就叫“編程”愧杯，機(jī)器就會按照固定程序來機(jī)械地進(jìn)行運(yùn)算了涎才。
但是，機(jī)器行為的復(fù)雜性在于：并非所有的任務(wù)都可以數(shù)學(xué)建模民效，即建立起輸入和輸出之間一種確定的函數(shù)關(guān)系憔维；也并非所有的函數(shù)都可求解，即有些任務(wù)可以數(shù)學(xué)建模 畏邢，但卻無法求解业扒，寫成代碼形式。
所謂計算機(jī)舒萎，就是其模函數(shù)f和代碼都是人工設(shè)計好的程储，機(jī)器按照固定程序進(jìn)行運(yùn)算就行。而所謂學(xué)習(xí)機(jī)臂寝，其模函數(shù)f并不是確定的章鲤，而是要根據(jù)輸入和輸出的匹配關(guān)系來逐步調(diào)整，當(dāng)最終調(diào)整到位時咆贬，機(jī)器就會確定一個模函數(shù)并寫成代碼败徊，這就是機(jī)器的自動編程。專用學(xué)習(xí)機(jī)只能建立掏缎、求解某一特殊類型的模函數(shù)皱蹦，而通用學(xué)習(xí)機(jī)可以建立、求解任何類型的模函數(shù)眷蜈。
如果我們能把人工編程這一套機(jī)制裝進(jìn)機(jī)器內(nèi)部沪哺，讓機(jī)器通過自我學(xué)習(xí)，形成自動編程的能力酌儒，我們認(rèn)為機(jī)器就具備了真正的思維能力辜妓，這是人工智能的本質(zhì)。從專用計算機(jī)到通用計算機(jī)，從通用計算機(jī)再到專用學(xué)習(xí)機(jī)籍滴，從專用學(xué)習(xí)機(jī)再飛躍到通用學(xué)習(xí)機(jī)酪夷，這就是近百年計算機(jī)和人工智能發(fā)展走過的崎嶇道路。
歷史總是驚人地相似异逐，我們已超越了圖靈時代捶索，正處在一個巨大的歷史轉(zhuǎn)折點上。就像圖靈提出通用計算機(jī)的數(shù)學(xué)模型灰瞻，開辟了20世紀(jì)人類的計算機(jī)時代，我們只有提出通用學(xué)習(xí)機(jī)的數(shù)學(xué)模型辅甥，給出AGI工程構(gòu)架體系酝润，21世紀(jì)人類才能真正邁進(jìn)人工智能時代。通用學(xué)習(xí)機(jī)就是AGI的“圖靈機(jī)”璃弄。
附錄：一張圖讀懂AI簡史（1308年 → 2016年 ?）
