關于人工智能盈包，一個廣為流傳的說法是：“弱人工智能并不可怕压恒，強人工智能才是可怕的。而至少目前看來強人工智能是遙遙無期的括改，所以現(xiàn)在就擔心人工智能的危害還為時尚早腻豌。”之前我也有類似的想法嘱能，雖然我并不認為弱人工智能就完全沒有危害吝梅，但基本處于可控的范圍內，至少不比核武器或者病毒之類更危險些惹骂。
這兩天我閑來無事苏携，仔細想了想相關問題，又看了一些資料对粪，突然發(fā)現(xiàn)事情和我之前想的有很大出入右冻。不夸張地說险绘，弱人工智能比強人工智能更可怕一些污抬。我想很多人已經(jīng)意識到了這一點训堆，才對人工智能如臨大敵的箩言。
這里就不提“弱人工智能”和“強人工智能”的定義了逻杖，簡單說蓝纲，弱人工智能會“忠實”地完成（人類給它的）任務绘搞，而不會有任何其他的“反彻晃”行為鄙币。而強人工智能的行為有更多的自主性肃叶，具有更大的不可控性。
我的核心觀點是十嘿，當你命令一個比你聰明的機器完成某個確定的任務時因惭，你是無法預料到它會使用怎樣的方式來實現(xiàn)的，而某種實現(xiàn)方式很可能在你還沒有反應過來時就產(chǎn)生了無法挽回的副作用绩衷。
這讓我想起了雅各布斯的《猴爪》蹦魔，或者我可以編這樣一個比較俗套故事：
A某天意味獲得了一個魔鏡，魔鏡告訴他可以以許下任何愿望唇聘，它都可以將其實現(xiàn)版姑。A大喜，然后許愿希望自己可以得到足夠他后半生使用的錢財迟郎。剛許完愿剥险，一則新聞從電視機傳出，某航班飛機失事宪肖，所有乘客無一生還表制，而A的妻子正是其中之一健爬。妻子所在的公司為出差的妻子投了數(shù)額可觀的商業(yè)保險，保險賠償足夠A后半生使用了么介。A和妻子相親相愛娜遵，之后A懊悔不已，從此一蹶不振壤短，同時對魔鏡恨之入骨设拟，打算將其扔掉而不再許任何愿望了。
鄰居B聽說此事久脯，立即找A要走了這個魔鏡纳胧。他當然聽說了A的故事，但仔細考慮后發(fā)現(xiàn)并非無利可圖帘撰。于是他許下了這樣的愿望：我想要得到足夠后半生使用的錢財跑慕，同時自己和所有的親人朋友身體健康長命百歲。想必這回不會有任何差錯了摧找。第二天B在自己的院子了發(fā)現(xiàn)了一個藏有大量現(xiàn)金的包裹核行，大喜過望。正當他數(shù)錢時蹬耘，幾個警察破門而入芝雪。原來他們正在查一個涉案數(shù)額龐大的盜竊案，得到線索后立即趕來婆赠，逮捕了B绵脯。因為種種原因，B被認作小偷的同伙被監(jiān)禁了十幾年休里。等被釋放出來時，B已經(jīng)心灰意冷赃承，整日在街頭流浪妙黍，然而身體卻很健康從不生病，直到百歲時壽終正寢瞧剖。
在B被逮捕后拭嫁，B的朋友C就盯上了那個魔鏡……
那么，如果有一天你得到了這個魔鏡抓于，你是否能許下一個無懈可擊的愿望呢做粤？
當人類給比自己聰明的機器下命令時，面臨著相同的問題捉撮，雖然我還沒想好一個比較切實的例子怕品。我試舉一例：
將來的某年，人類發(fā)現(xiàn)大氣層中的臭氧越來越少巾遭，照射到地面的紫外線已經(jīng)對人類的健康產(chǎn)生了很大的威脅肉康。于是派一些機器去大氣層闯估，用人類已知的方法填補臭氧層，但效果甚微吼和。因為機器是有智能的涨薪，于是人類給它提供了大量的信息，供機器產(chǎn)出更好的方法炫乓，同時可以實地驗證效果以加快進度刚夺。謹慎起見，科學家們每時每刻檢測著機器傳回的數(shù)據(jù)以及大氣層的各項指標末捣，同時時刻準備在發(fā)生任何異常時給機器發(fā)送終止指令侠姑。
幾天時間內，機器做了數(shù)百萬次的實驗塔粒，依然沒有發(fā)現(xiàn)任何有效的方法结借，科學家們也有些松懈了。直到某一天突然大氣層中某種化合物的含量急劇升高卒茬，這種化合物人類前所未見船老，它吸收紅外線的效果異常顯著，并且在吸收紅外線過程中會引發(fā)連鎖反應圃酵，制造出大量相同化合物柳畔。科學家們連忙終止機器的工作郭赐，并獲取到該化合物樣本薪韩，尋求解決方案。但在方案產(chǎn)生和成功實施之前捌锭，該化合物已經(jīng)布滿了地球上空俘陷，地表溫度慢慢降低到零下幾十攝氏度，人類文明就此結束观谦。
這似乎是科幻小說中才有的情節(jié)拉盾，也許不可能在現(xiàn)實中發(fā)生，但難保某個相似版本在未來發(fā)生豁状，而且是不遠的未來捉偏。
也許某些人認為弱人工智能不會比人類聰明。其實發(fā)生這樣的事情泻红，無需機器的智力全方面超越人類夭禽，只需要它在解決某個特定領域問題的能力超過人類就行，而現(xiàn)在電腦在某種程度上就可以做到這一點∫曷罚現(xiàn)在類似這樣的事情不大可能發(fā)生讹躯，很大程度在于人類還沒有委任智能機器這樣的重任，機器也不可能在任何情況下產(chǎn)生不可挽回的后果。但隨著人工智能的發(fā)現(xiàn)蜀撑，智能機器所承擔的角色和所做的事情毫無意外地會越來越重要挤巡。
可以說，如果弱人工智能出了問題酷麦，只能是人類自身的“失誤”導致的矿卑。但仔細想來，這種“失誤”的含義遠比字面上的深刻沃饶。人類如何能做到不允許這樣的“失誤”產(chǎn)生母廷。
當我們以人工智能發(fā)展的角度看，人工智能可能剛剛起步糊肤，以后還有很長的路要走琴昆。但如果從人類文明的角度看，有可能終點就在不遠處馆揉。
將來會發(fā)生什么业舍，只能拭目以待。
