作者：Sam Altman，YC新掌門(mén)人
時(shí)間：2015年2月26日
原文：Machine intelligence
翻譯：曾樑，校驗(yàn)：梅晨斐
本篇文章將分為兩個(gè)部分：第一部分說(shuō)為什么說(shuō)機(jī)器智能是一種我們要去防范的新技術(shù)？第二部分講我們?cè)撊绾螒?yīng)對(duì)。如果你已對(duì)機(jī)器智能產(chǎn)生了畏懼，你可以跳過(guò)第一部分然后等明天去看第二部分。我原本只計(jì)劃寫(xiě)第二部分碑诉，可是當(dāng)我問(wèn)了一些看過(guò)我初稿的人之后，我堅(jiān)定地認(rèn)為需要補(bǔ)充這一部分侥锦。
- 為什么我們應(yīng)該對(duì)機(jī)器智能產(chǎn)生畏懼进栽？
超級(jí)機(jī)器智能(SMI)[1]的發(fā)展，很可能是未來(lái)人類能否繼續(xù)生存的一大威脅恭垦。世界上已有很多我認(rèn)為必將會(huì)帶來(lái)毀滅的威脅快毛。例如有著長(zhǎng)潛伏期和高致死率的變異病毒。不過(guò)這都不大可能像SMI一樣有能力干掉所有人類番挺。另外唠帝，這些威脅大部分已經(jīng)被人類認(rèn)識(shí)到。
具體多久以后會(huì)爆發(fā)說(shuō)實(shí)在的我很難預(yù)測(cè)（越往后越難）玄柏，一些在相關(guān)領(lǐng)域研究的人感覺(jué)這是很多年以后才需要考慮的襟衰。但同時(shí)很難讓人相信這事是不會(huì)發(fā)生。
SMI未必像科幻小說(shuō)里邪惡的化身那樣消滅人類粪摘。一個(gè)更有可能的版本是它們壓根不關(guān)心我們的存在瀑晒，但會(huì)為了達(dá)到某種目的(比如，如果將眼光放遠(yuǎn)徘意，它們有可能想利用某些我們?nèi)祟惸壳霸诶玫馁Y源)而抹殺我們苔悦。還有可能出于自我防衛(wèi)，發(fā)現(xiàn)沒(méi)有人類的存在會(huì)更好椎咧。就像我們洗手并不是主觀的為了洗去細(xì)菌和病毒玖详，而是不希望它們給我們帶來(lái)隱患。
（順便說(shuō)一下勤讽，Nick Bostrom 有本很贊的書(shū)叫《Superintelligence》,是我認(rèn)為在這個(gè)話題上分析得最透徹的蟋座，值得去看一下。）
大部分的機(jī)器智能在開(kāi)發(fā)中都需要一個(gè)“適應(yīng)性函數(shù)”——一種能夠自我優(yōu)化的程序脚牍。在開(kāi)發(fā)的某種時(shí)候向臀，有人可能會(huì)嘗試給系統(tǒng)的適應(yīng)性函數(shù)加入“生存和復(fù)制”功能∧＃或者這時(shí)不加入飒硅，這也會(huì)是很多其他適應(yīng)性函數(shù)的一個(gè)重要的子目標(biāo)。因?yàn)檫@是對(duì)于做一個(gè)類生物的“生命”是很有價(jià)值的作谚。不幸的是三娩，在我就讀于斯坦福大學(xué)時(shí)，在AI 實(shí)驗(yàn)室中認(rèn)識(shí)到“適應(yīng)性函數(shù)”運(yùn)行調(diào)用很多時(shí)候是不可預(yù)測(cè)的妹懒。
生物將不斷進(jìn)化雀监，如果人類不再是最能夠適應(yīng)的物種，我們可能會(huì)就此被淘汰眨唬。某些人認(rèn)為這是設(shè)計(jì)出的系統(tǒng)会前，在正常運(yùn)作而已。但為了人類的生存和繁衍匾竿，我認(rèn)為我們就該抵制它瓦宜。
我們將如何在SMI的不斷發(fā)展下幸免于難？這幾乎是不可能的岭妖。我最認(rèn)可的四種解釋Fermi駁論（對(duì)地外文明存在性的過(guò)高估計(jì)和缺少相關(guān)證據(jù)之間的矛盾）的一種是临庇，生物智能最終都將會(huì)被做成機(jī)器智能，它們會(huì)將生命排除在外昵慌，隨后因?yàn)橐恍┰蚴蛊洳槐粰z測(cè)到假夺。
人工智能到底要多久超越人類的智慧就目前來(lái)看還很難預(yù)測(cè)。人工智能的發(fā)展速度呈雙指數(shù)級(jí)發(fā)展斋攀；人類編寫(xiě)程序和計(jì)算能力以指數(shù)級(jí)增長(zhǎng)已卷，自優(yōu)化軟件的自我改善能力也將以指數(shù)級(jí)增長(zhǎng)。開(kāi)發(fā)的進(jìn)展可能看起來(lái)相對(duì)有些緩慢淳蔼，然后突然高速爆發(fā)——快到超出了我們的控制（也有可能是循序漸進(jìn)的侧蘸，而我們幾乎沒(méi)有察覺(jué)到。
正如我之前所說(shuō)的肖方，這可能仍然離我們很遙遠(yuǎn)闺魏，尤其是它的能力可以制造出可以讓人類手無(wú)縛雞之力般被干掉的殺手機(jī)器人更猶如天方夜譚「┗可是遞歸自優(yōu)化是一種很強(qiáng)大的力量析桥，所以到機(jī)器智能開(kāi)發(fā)出來(lái)后的十年或者百年將擁有這強(qiáng)大的能力。
我們還有個(gè)不良習(xí)慣是當(dāng)一個(gè)程序進(jìn)展很順利的時(shí)候聲稱這在初期實(shí)驗(yàn)（國(guó)際象棋艰垂，Jeopardy節(jié)目泡仗，自動(dòng)駕駛等）并不是很難。這將會(huì)使它看起來(lái)并沒(méi)有任何進(jìn)展猜憎。誠(chéng)然娩怎，狹義的機(jī)器智能和一般的機(jī)器智能不同，但我仍然認(rèn)為這是一個(gè)潛在的盲區(qū)胰柑。
對(duì)于最近40年的發(fā)展截亦，在當(dāng)時(shí)來(lái)看現(xiàn)在的我們已經(jīng)是一種瘋狂爬泥。40年前我們有Pong(1975年世界第一款可以四人對(duì)戰(zhàn)的游戲)。今天我們有先進(jìn)到讓人難以分清的現(xiàn)實(shí)與虛擬世界的VR設(shè)備崩瓤，電腦能夠在很多游戲項(xiàng)目中打敗真人袍啡。
盡管客觀的說(shuō)，在最近40年我們?cè)谌斯ぶ悄茴I(lǐng)域只取得很小的進(jìn)展却桶，看起來(lái)舉步維艱境输，還要不斷學(xué)習(xí)，不斷創(chuàng)新颖系，還有很多事要做嗅剖。很多具有基礎(chǔ)搜索能力得計(jì)算機(jī)運(yùn)行的超過(guò)預(yù)期。
另一個(gè)原因是嘁扼，直覺(jué)上我們會(huì)覺(jué)得SMI領(lǐng)域的進(jìn)展是很難被量化信粮，因?yàn)樾屡d行為對(duì)原有直覺(jué)來(lái)說(shuō)是一種挑戰(zhàn)。目前普遍關(guān)于人工智能的評(píng)批判——沒(méi)有制作出任何接近人類創(chuàng)造性以及任何形式與真實(shí)的心智有密不可分關(guān)系的內(nèi)容—趁啸，使得很多專家認(rèn)為SMI一定還離我們很遠(yuǎn)蒋院。
但是很有可能創(chuàng)造性和我們所認(rèn)為的人類智慧這個(gè)新興產(chǎn)物僅僅是計(jì)算機(jī)運(yùn)行算法能力的一小部分（事實(shí)上，很多著名的大腦皮層方面的研究者相信存在一種對(duì)智力有效的算法莲绰。我清晰的記得我本科的導(dǎo)師說(shuō)他對(duì)與機(jī)器智能感興趣的地方在人類大腦的探索中發(fā)現(xiàn)有可能有一種算法可以解釋智慧的是怎么樣的欺旧。）
因?yàn)楝F(xiàn)在我們不得而知在各種有意思的領(lǐng)域，人類的大腦是如何工作的蛤签，很難斬釘截鐵的說(shuō)出到底有多難多遠(yuǎn)辞友。我們可能完全偏離了方向，又或者只要找到這樣一個(gè)算法就能仿真震肮。
人類的大腦不是完全與黑猩猩的大腦不同称龙，但是不知何故卻產(chǎn)生很不同的能力。我們公開(kāi)譴責(zé)當(dāng)前的人工智能就是一種簡(jiǎn)單的把戲戳晌，但也許我們自己的智慧也只不過(guò)是一些簡(jiǎn)單的把戲組合而成鲫尊。
很多人模糊的認(rèn)為SMI如果被開(kāi)發(fā)出來(lái)是很危險(xiǎn)的，同時(shí)認(rèn)為這是不可能的或者確實(shí)還離我們遠(yuǎn)著呢沦偎。這是一種輕敵的危險(xiǎn)的認(rèn)知疫向。
[1]為什么我喜歡叫它“機(jī)器智能”而不是“人工智能”是因?yàn)槿斯ひ馕吨皇钦娴闹悄芑蛘哒f(shuō)還不夠好，隨著該領(lǐng)域的發(fā)展到一定程度豪嚎，不會(huì)再有人工這么一說(shuō)搔驼。
