問題的關鍵，在于給人工智能賦予一個正確的目標网严。
我們目前能賦予人工智能的目標识樱，都是階段性的小目標，但目標越小越細，就越容易導致人類不想要的結(jié)果怜庸。
比如当犯，如果給人工智能定一個“生產(chǎn)盡可能多的回形針”的目標，那么人工智能會瞄準宇宙和人體中所有的金屬元素制造回形針割疾，最后毀滅宇宙嚎卫。
要讓人工智能始終為人類所用，就需要為它設計出一個“終極的大目標”宏榕，保證它無論做什么拓诸，始終要對人類友好。
但要設計這樣一個終極目標難倒了當今的人工智能專家麻昼。
因為要非常清楚地定義什么是“對人類友好”簡直太難了奠支，由于文化的多樣性，這個問題連人類自己都沒有共識抚芦。
而且倍谜，即便給人工智能定的目標足夠大、足夠終極叉抡，比如設定一個目標叫“保護人類”尔崔，它也有可能背叛這個目標。
因為當人工智能發(fā)展到一定程度卜壕，它就可能會覺得人類給它定的目標十分迂腐您旁。
這就好比一群螞蟻要求人類為它建造更大的蟻穴一樣烙常。
人工智能也有可能覺得保護人類這種目標就像修建蟻穴一樣愚不可及轴捎，從而將它推翻。
對于設立目標這個問題蚕脏，人們必須從現(xiàn)在就思考解決方案侦副，而且留給我們的時間越來越少。
因為人工智能每天都在變得更聰明驼鞭，一旦它聰明到讓人類無法得手秦驯，那么人類就再也無法植入對我們有利的目標了。
