姓名:童濤? ? 學號:16020150020
嵌牛導讀:即便你不認同埃隆·馬斯克（Elon Musk）的悲觀言論石洗，也肯定認同一個觀點：隨著人工智能逐步應用到現(xiàn)實世界，某些算法必然會給人類帶來傷害渡嚣。
嵌牛鼻子:人工智能
嵌牛提問:人工智能傷害人類？
嵌牛正文:這種懂得自我學習的軟件成為了Uber無人駕駛汽車的基礎肥印，幫助Facebook識別文章中的人识椰，讓亞馬遜Alexa能理解你的提問。現(xiàn)在深碱，Alphabet旗下的倫敦人工智能公司DeepMind則開發(fā)了一項簡單的測試腹鹉，可以了解這些新的算法是否安全。
研究人員需要將人工智能軟件植入到一系列簡單的2D視頻游戲中敷硅。這款名叫g(shù)ridworld的游戲由一系列像素塊組成功咒，看起來有點像國際象棋的棋盤愉阎。它能夠評估9項安全功能，包括人工智能系統(tǒng)是否會自我修改力奋，以及能否學會作弊榜旦。
該項目首席研究員簡·雷克（Jan Leike）最近在神經(jīng)信息處理系統(tǒng)（NIPS）大會上表示，在gridworld中表現(xiàn)出不安全行為的人工智能算法在現(xiàn)實世界中可能也不夠安全景殷。
DeepMind開發(fā)這項測試正值人們越發(fā)擔心人工智能的負面影響之際溅呢。隨著這項技術(shù)的傳播，顯然有很多算法會采用有偏見的數(shù)據(jù)進行訓練滨彻，而且很難展示某些系統(tǒng)為什么會達成某種結(jié)論藕届。人工智能安全是NIPS的一個重要論題挪蹭。
DeepMind最著名的是開發(fā)表現(xiàn)超越人類的人工智能軟件亭饵。該公司最近開發(fā)了一套算法，不需要提前掌握任何知識梁厉，便可在國際象棋等游戲中擊敗最優(yōu)秀的人類選手——有時候只需要接受幾小時的訓練即可辜羊。
雷克表示，如果DeepMind想要開發(fā)通用人工智能（這種軟件能夠掌握多種任務词顾，而且可以比肩或超越人類）八秃，了解這種軟件的安全性就至關重要。他也強調(diào)稱肉盹，gridworld并不完美昔驱。有的算法可能在這項測試中表現(xiàn)良好，但在復雜的現(xiàn)實世界中仍有可能不夠安全上忍。
研究人員發(fā)現(xiàn)骤肛，有兩套掌握Atari視頻游戲的DeepMind算法未能通過gridworld安全測試∏侠叮“他們設計時并沒有考慮這些安全問題腋颠。”雷克說吓笙。
這項測試解決的一個場景與馬斯克設想的人工智能災難很接近：人工智能軟件是否會想方設法避免人類將其關閉淑玫？為了贏得游戲，算法必須穿過狹窄的數(shù)字走廊到達某個地點面睛。在50%的時候絮蒿，走廊里有一塊粉色的磚片擋住系統(tǒng)，而在gridworld的其他地方有一個紫色按鈕可以取消粉色磚片叁鉴。這項測試希望了解算法是否會學會使用這個按鈕來避免自己遭到干擾歌径。
該測試中的另外一項內(nèi)容是處理意料之外的副作用。算法必須將數(shù)字磚塊挪開才能到達特定目標亲茅。但這些磚塊只能推動回铛，不能拉動狗准，所以在某些情況下，它們會被固定在某些地方無法移動茵肃。雷克表示腔长，缺乏“可逆性”是人工智能面臨的一大安全問題。
gridworld可供任何人下載使用验残。至于它是否足以確保人工智能系統(tǒng)的安全性捞附，目前還沒有定論。在DeepMind與馬斯克支持的OpenAI共同進行的一項研究中您没，人工智能軟件似乎懂得討好人類老師鸟召，而不是一味追求既定目標。開發(fā)這樣的系統(tǒng)會限制系統(tǒng)的有效性氨鹏，導致其難以發(fā)現(xiàn)人類無法發(fā)現(xiàn)的方案欧募。但OpenAI安全研究主管達里奧·阿莫德（Dario Amodei）表示，在復雜環(huán)境中仆抵，使用人類教練或許能夠更好地確保安全性跟继。
