姓名：陳權(quán) ? ? ?學(xué)號(hào)：17021211314

轉(zhuǎn)載自：https://mp.weixin.qq.com/s?__biz=MzA4NDQwNDQ2Nw==&mid=2650480675&idx=1&sn=9cfb29cb37fa28892cae59775ba6b816&chksm=87e831bfb09fb8a92f24ad7516e51ca215cefa627d3fa0d4a82b334418a8311dd37ee02e9e29&mpshare=1&scene=1&srcid=1019lgWzkMH6tnDKfQIdfPmQ&pass_ticket=WfJYPmKyTqwn9qTJ4PSa6xGwVspfSnAeGr4gNwvuzV0s%2Bdq0PBpNtAKAoyFAVj9J#rd

嵌牛導(dǎo)讀：相信前陣子無(wú)數(shù)人的朋友圈被阿法元打敗阿法狗的新聞刷屏肿男，這篇文章深度分析了阿法元的成功之處钱雷。

嵌牛鼻子：阿法狗雷猪、阿法元棠耕、人工智能余佛、深度學(xué)習(xí)、復(fù)雜決策

嵌牛提問(wèn)：阿法元怎樣實(shí)現(xiàn)無(wú)師自通窍荧？阿法元為什么能打敗阿法狗辉巡？

去年，有個(gè)小孩讀遍人世所有的棋譜蕊退，辛勤打譜红氯，苦思冥想，棋藝精進(jìn)咕痛，4-1打敗世界冠軍李世石痢甘，從此人間無(wú)敵手。他的名字叫阿法狗茉贡。

今年塞栅，他的弟弟只靠一副棋盤(pán)和黑白兩子，沒(méi)看過(guò)一個(gè)棋譜腔丧，也沒(méi)有一個(gè)人指點(diǎn)放椰，從零開(kāi)始，自?shī)首詷?lè)愉粤，自己參悟砾医，100-0打敗哥哥阿法狗。他的名字叫阿法元衣厘。

DeepMind這項(xiàng)偉大的突破如蚜，今天以Mastering the game of Gowithout human knowledge為題压恒，發(fā)表于Nature，引起轟動(dòng)错邦。知社特邀國(guó)內(nèi)外幾位人工智能專(zhuān)家探赫，給予深度解析和點(diǎn)評(píng)。文末有DeepMind David Silver博士專(zhuān)訪視頻撬呢。特別致謝Nature和DeepMind提供訊息和資料授權(quán)伦吠。

Nature今天上線的這篇重磅論文，詳細(xì)介紹了谷歌DeepMind團(tuán)隊(duì)最新的研究成果魂拦。人工智能的一項(xiàng)重要目標(biāo)毛仪，是在沒(méi)有任何先驗(yàn)知識(shí)的前提下，通過(guò)完全的自學(xué)芯勘，在極具挑戰(zhàn)的領(lǐng)域箱靴，達(dá)到超人的境地。去年借尿，阿法狗（AlphaGo）代表人工智能在圍棋領(lǐng)域首次戰(zhàn)勝了人類(lèi)的世界冠軍刨晴，但其棋藝的精進(jìn)屉来，是建立在計(jì)算機(jī)通過(guò)海量的歷史棋譜學(xué)習(xí)參悟人類(lèi)棋藝的基礎(chǔ)之上路翻，進(jìn)而自我訓(xùn)練，實(shí)現(xiàn)超越茄靠。

阿法狗元棋力的增長(zhǎng)與積分比較

可是今天茂契，我們發(fā)現(xiàn)，人類(lèi)其實(shí)把阿法狗教壞了慨绳！新一代的阿法元(AlphaGo Zero), 完全從零開(kāi)始掉冶，不需要任何歷史棋譜的指引，更不需要參考人類(lèi)任何的先驗(yàn)知識(shí)脐雪，完全靠自己一個(gè)人強(qiáng)化學(xué)習(xí)（reinforcement learning）和參悟,? 棋藝增長(zhǎng)遠(yuǎn)超阿法狗厌小，百戰(zhàn)百勝，擊潰阿法狗100-0战秋。

達(dá)到這樣一個(gè)水準(zhǔn)璧亚，阿法元只需要在4個(gè)TPU上，花三天時(shí)間脂信，自己左右互搏490萬(wàn)棋局癣蟋。而它的哥哥阿法狗，需要在48個(gè)TPU上狰闪，花幾個(gè)月的時(shí)間疯搅，學(xué)習(xí)三千萬(wàn)棋局，才打敗人類(lèi)埋泵。

這篇論文的第一和通訊作者是DeepMind的David Silver博士,? 阿法狗項(xiàng)目負(fù)責(zé)人幔欧。他介紹說(shuō)阿法元遠(yuǎn)比阿法狗強(qiáng)大，因?yàn)樗辉俦蝗祟?lèi)認(rèn)知所局限，而能夠發(fā)現(xiàn)新知識(shí)琐馆，發(fā)展新策略：

This technique is more powerful than previous versions of AlphaGo because it isno longer constrained by the limits of human knowledge. Instead, it is able to learn tabula rasa? from the strongest player in the world: AlphaGo itself. AlphaGo Zero alsodiscovered new knowledge, developing unconventional strategies and creative new movesthat echoed and surpassed the novel techniques it played in the games against Lee Sedol and Ke Jie.

DeepMind聯(lián)合創(chuàng)始人和CEO則說(shuō)這一新技術(shù)能夠用于解決諸如蛋白質(zhì)折疊和新材料開(kāi)發(fā)這樣的重要問(wèn)題：

AlphaGo Zero is now the strongest version of our program and shows how much progress we can make evenwith less computing power and zero use of human data. Ultimately we want to harness algorithmic breakthroughs like this to help solve all sorts of pressing real world problems like protein foldingor designing new materials.

美國(guó)的兩位棋手在Nature對(duì)阿法元的棋局做了點(diǎn)評(píng)：它的開(kāi)局和收官和專(zhuān)業(yè)棋手的下法并無(wú)區(qū)別规阀，人類(lèi)幾千年的智慧結(jié)晶，看起來(lái)并非全錯(cuò)瘦麸。但是中盤(pán)看起來(lái)則非常詭異：

the AI’s open?ing choices and end-game methods have converged on ours — seeing it arrive at our sequences from first principles suggests that we haven’t been on entirely the wrong track. By contrast, some of its middle-game judgements are truly mysterious.

為更深入了解阿法元的技術(shù)細(xì)節(jié)谁撼，知社采訪了美國(guó)杜克大學(xué)人工智能專(zhuān)家陳怡然教授。他向知社介紹說(shuō)：

DeepMind最新推出的AlphaGo Zero降低了訓(xùn)練復(fù)雜度滋饲，擺脫了對(duì)人類(lèi)標(biāo)注樣本(人類(lèi)歷史棋局)的依賴(lài)厉碟，讓深度學(xué)習(xí)用于復(fù)雜決策更加方便可行。我個(gè)人覺(jué)得最有趣的是證明了人類(lèi)經(jīng)驗(yàn)由于樣本空間大小的限制屠缭，往往都收斂于局部最優(yōu)而不自知（或無(wú)法發(fā)現(xiàn)）箍鼓，而機(jī)器學(xué)習(xí)可以突破這個(gè)限制。之前大家隱隱約約覺(jué)得應(yīng)該如此呵曹，而現(xiàn)在是鐵的量化事實(shí)擺在面前款咖！

他進(jìn)一步解釋道：

這篇論文數(shù)據(jù)顯示學(xué)習(xí)人類(lèi)選手的下法雖然能在訓(xùn)練之初獲得較好的棋力，但在訓(xùn)練后期所能達(dá)到的棋力卻只能與原版的AlphaGo相近奄喂，而不學(xué)習(xí)人類(lèi)下法的AlphaGo Zero最終卻能表現(xiàn)得更好铐殃。這或許說(shuō)明人類(lèi)的下棋數(shù)據(jù)將算法導(dǎo)向了局部最優(yōu)(local optima)，而實(shí)際更優(yōu)或者最優(yōu)的下法與人類(lèi)的下法存在一些本質(zhì)的不同跨新，人類(lèi)實(shí)際’誤導(dǎo)’了AlphaGo富腊。有趣的是如果AlphaGo Zero放棄學(xué)習(xí)人類(lèi)而使用完全隨機(jī)的初始下法，訓(xùn)練過(guò)程也一直朝著收斂的方向進(jìn)行域帐，而沒(méi)有產(chǎn)生難以收斂的現(xiàn)象赘被。

阿法元是如何實(shí)現(xiàn)無(wú)師自通的呢？ 杜克大學(xué)博士研究生吳春鵬向知社介紹了技術(shù)細(xì)節(jié)：

之前戰(zhàn)勝李世石的AlphaGo基本采用了傳統(tǒng)增強(qiáng)學(xué)習(xí)技術(shù)再加上深度神經(jīng)網(wǎng)絡(luò)DNN完成搭建肖揣，而AlphaGo Zero吸取了最新成果做出了重大改進(jìn)民假。

首先，在AlphaGo Zero出現(xiàn)之前龙优，基于深度學(xué)習(xí)的增強(qiáng)學(xué)習(xí)方法按照使用的網(wǎng)絡(luò)模型數(shù)量可以分為兩類(lèi):一類(lèi)使用一個(gè)DNN"端到端"地完成全部決策過(guò)程(比如DQN)羊异，這類(lèi)方法比較輕便，對(duì)于離散動(dòng)作決策更適用; 另一類(lèi)使用多個(gè)DNN分別學(xué)習(xí)policy和value等(比如之前戰(zhàn)勝李世石的AlphaGoGo)陋率，這類(lèi)方法比較復(fù)雜球化，對(duì)于各種決策更通用。此次的AlphaGo Zero綜合了二者長(zhǎng)處瓦糟，采用類(lèi)似DQN的一個(gè)DNN網(wǎng)絡(luò)實(shí)現(xiàn)決策過(guò)程筒愚，并利用這個(gè)DNN得到兩種輸出policy和value，然后利用一個(gè)蒙特卡羅搜索樹(shù)完成當(dāng)前步驟選擇菩浙。

其次巢掺，AlphaGo Zero沒(méi)有再利用人類(lèi)歷史棋局句伶，訓(xùn)練過(guò)程從完全隨機(jī)開(kāi)始。隨著近幾年深度學(xué)習(xí)研究和應(yīng)用的深入陆淀，DNN的一個(gè)缺點(diǎn)日益明顯: 訓(xùn)練過(guò)程需要消耗大量人類(lèi)標(biāo)注樣本考余，而這對(duì)于小樣本應(yīng)用領(lǐng)域(比如醫(yī)療圖像處理)是不可能辦到的。所以Few-shot learning和Transfer learning等減少樣本和人類(lèi)標(biāo)注的方法得到普遍重視轧苫。AlphaGo Zero是在雙方博弈訓(xùn)練過(guò)程中嘗試解決對(duì)人類(lèi)標(biāo)注樣本的依賴(lài)楚堤，這是以往沒(méi)有的。

第三含懊，AlphaGo Zero在DNN網(wǎng)絡(luò)結(jié)構(gòu)上吸收了最新進(jìn)展身冬，采用了ResNet網(wǎng)絡(luò)中的Residual結(jié)構(gòu)作為基礎(chǔ)模塊。近幾年流行的ResNet加大了網(wǎng)絡(luò)深度岔乔，而GoogLeNet加大了網(wǎng)絡(luò)寬度酥筝。之前大量論文表明，ResNet使用的Residual結(jié)構(gòu)比GoogLeNet使用的Inception結(jié)構(gòu)在達(dá)到相同預(yù)測(cè)精度條件下的運(yùn)行速度更快雏门。AlphaGo Zero采用了Residual應(yīng)該有速度方面的考慮嘿歌。

杜克大學(xué)博士研究生謝知遙對(duì)此做了進(jìn)一步闡述：

DeepMind的新算法AlphaGo Zero開(kāi)始擺脫對(duì)人類(lèi)知識(shí)的依賴(lài)：在學(xué)習(xí)開(kāi)始階段無(wú)需先學(xué)習(xí)人類(lèi)選手的走法，另外輸入中沒(méi)有了人工提取的特征 茁影。

在網(wǎng)絡(luò)結(jié)構(gòu)的設(shè)計(jì)上宙帝，新的算法與之前的AlphaGo有兩個(gè)大的區(qū)別。首先呼胚，與之前將走子策略(policy)網(wǎng)絡(luò)和勝率值(value)網(wǎng)絡(luò)分開(kāi)訓(xùn)練不同茄唐，新的網(wǎng)絡(luò)結(jié)構(gòu)可以同時(shí)輸出該步的走子策略(policy)和當(dāng)前情形下的勝率值(value)息裸。實(shí)際上 policy與value網(wǎng)絡(luò)相當(dāng)于共用了之前大部分的特征提取層蝇更，輸出階段的最后幾層結(jié)構(gòu)仍然是相互獨(dú)立的。訓(xùn)練的損失函數(shù)也同時(shí)包含了policy和value兩部分呼盆。這樣的顯然能夠節(jié)省訓(xùn)練時(shí)間年扩，更重要的是混合的policy與value網(wǎng)絡(luò)也許能適應(yīng)更多種不同情況。

另外一個(gè)大的區(qū)別在于特征提取層采用了20或40個(gè)殘差模塊访圃，每個(gè)模塊包含2個(gè)卷積層厨幻。與之前采用的12層左右的卷積層相比，殘差模塊的運(yùn)用使網(wǎng)絡(luò)深度獲得了很大的提升腿时。AlphaGo Zero不再需要人工提取的特征應(yīng)該也是由于更深的網(wǎng)絡(luò)能更有效地直接從棋盤(pán)上提取特征况脆。根據(jù)文章提供的數(shù)據(jù)，這兩點(diǎn)結(jié)構(gòu)上的改進(jìn)對(duì)棋力的提升貢獻(xiàn)大致相等批糟。

因?yàn)檫@些改進(jìn)格了，AlphaGo Zero的表現(xiàn)和訓(xùn)練效率都有了很大的提升，僅通過(guò)4塊TPU和72小時(shí)的訓(xùn)練就能夠勝過(guò)之前訓(xùn)練用時(shí)幾個(gè)月的原版AlphaGo徽鼎。在放棄學(xué)習(xí)人類(lèi)棋手的走法以及人工提取特征之后盛末，算法能夠取得更優(yōu)秀的表現(xiàn)弹惦，這體現(xiàn)出深度神經(jīng)網(wǎng)絡(luò)強(qiáng)大的特征提取能力以及尋找更優(yōu)解的能力。更重要的是悄但，通過(guò)擺脫對(duì)人類(lèi)經(jīng)驗(yàn)和輔助的依賴(lài)棠隐，類(lèi)似的深度強(qiáng)化學(xué)習(xí)算法或許能更容易地被廣泛應(yīng)用到其他人類(lèi)缺乏了解或是缺乏大量標(biāo)注數(shù)據(jù)的領(lǐng)域。

這個(gè)工作意義何在呢檐嚣？人工智能專(zhuān)家助泽、美國(guó)北卡羅萊納大學(xué)夏洛特分校洪韜教授也對(duì)知社發(fā)表了看法：

我非常仔細(xì)從頭到尾讀了這篇論文。首先要肯定工作本身的價(jià)值嚎京。從用棋譜(supervised learning)到扔棋譜报咳，是重大貢獻(xiàn)(contribution)！干掉了當(dāng)前最牛的棋手（變身前的阿法狗）挖藏，是advancing state-of-the-art 暑刃。神經(jīng)網(wǎng)絡(luò)的設(shè)計(jì)和訓(xùn)練方法都有改進(jìn)，是創(chuàng)新（novelty）膜眠。從應(yīng)用角度岩臣，以后可能不再需要耗費(fèi)人工去為AI的產(chǎn)品做大量的前期準(zhǔn)備工作，這是其意義(significance)所在宵膨！

接著架谎，洪教授也簡(jiǎn)單回顧了人工神經(jīng)網(wǎng)絡(luò)的歷史：

人工神經(jīng)網(wǎng)絡(luò)在上世紀(jì)四十年代就出來(lái)了，小火了一下就撐不下去了辟躏，其中一個(gè)原因是大家發(fā)現(xiàn)這東西解決不了“異或問(wèn)題”谷扣，而且訓(xùn)練起來(lái)太麻煩。到了上世紀(jì)七十年代捎琐，Paul Werbos讀博時(shí)候拿backpropagation的算法來(lái)訓(xùn)練神經(jīng)網(wǎng)絡(luò)会涎，提高了效率，用多層神經(jīng)網(wǎng)絡(luò)把異或問(wèn)題解決了瑞凑，也把神經(jīng)網(wǎng)絡(luò)帶入一個(gè)新紀(jì)元末秃。上世紀(jì)八九十年代，人工神經(jīng)網(wǎng)絡(luò)的研究迎來(lái)了一場(chǎng)大火籽御，學(xué)術(shù)圈發(fā)了成千上萬(wàn)篇關(guān)于神經(jīng)網(wǎng)絡(luò)的論文练慕，從設(shè)計(jì)到訓(xùn)練到優(yōu)化再到各行各業(yè)的應(yīng)用。

Jim Burke教授技掏，一個(gè)五年前退休的IEEE Life Fellow铃将，曾經(jīng)講過(guò)那個(gè)年代的故事：去開(kāi)電力系統(tǒng)的學(xué)術(shù)會(huì)議，每討論一個(gè)工程問(wèn)題哑梳，不管是啥劲阎，總會(huì)有一幫人說(shuō)這可以用神經(jīng)網(wǎng)絡(luò)解決，當(dāng)然最后也就不了了之了涧衙。簡(jiǎn)單的說(shuō)是大家挖坑灌水吹泡泡哪工，最后沒(méi)啥可忽悠的了奥此，就找個(gè)別的地兒再繼續(xù)挖坑灌水吹泡泡。上世紀(jì)末的學(xué)術(shù)圈雁比，如果出門(mén)不說(shuō)自己搞神經(jīng)網(wǎng)絡(luò)的都不好意思跟人打招呼稚虎，就和如今的深度學(xué)習(xí)、大數(shù)據(jù)分析一樣偎捎。

然后蠢终，洪教授對(duì)人工智能做了并不十分樂(lè)觀的展望：

回到阿法狗下棋這個(gè)事兒，伴隨著大數(shù)據(jù)的浪潮茴她，數(shù)據(jù)挖掘寻拂、機(jī)器學(xué)習(xí)、神經(jīng)網(wǎng)絡(luò)和人工智能突然間又火了起來(lái)丈牢。這次火的有沒(méi)有料呢祭钉？我認(rèn)為是有的，有海量的數(shù)據(jù)己沛、有計(jì)算能力的提升癞蚕、有算法的改進(jìn)寝并。這就好比當(dāng)年把backpropagation用在神經(jīng)網(wǎng)絡(luò)上步藕，的確是個(gè)突破鹉戚。

最終這個(gè)火能燒多久，還得看神經(jīng)網(wǎng)絡(luò)能解決多少實(shí)際問(wèn)題师幕。二十年前的大火之后粟按，被神經(jīng)網(wǎng)絡(luò)“解決”的實(shí)際問(wèn)題寥寥無(wú)幾，其中一個(gè)比較知名的是電力負(fù)荷預(yù)測(cè)問(wèn)題霹粥，就是用電量預(yù)測(cè)灭将，剛好是我的專(zhuān)業(yè)。由于當(dāng)年神經(jīng)網(wǎng)絡(luò)過(guò)于火爆蒙挑，導(dǎo)致科研重心幾乎完全離開(kāi)了傳統(tǒng)的統(tǒng)計(jì)方法宗侦。等我剛進(jìn)入這個(gè)領(lǐng)域做博士論文的時(shí)候愚臀，就拿傳統(tǒng)的多元回歸模型秒殺了市面上的各種神經(jīng)網(wǎng)絡(luò)遺傳算法的忆蚀。我一貫的看法，對(duì)于眼前流行的東西姑裂，不要盲目追逐馋袜，要先審時(shí)度勢(shì)，看看自己擅長(zhǎng)啥舶斧、有啥積累欣鳖，看準(zhǔn)了坑再跳。

美國(guó)密歇根大學(xué)人工智能實(shí)驗(yàn)室主任Satinder Singh也表達(dá)了和洪教授類(lèi)似的觀點(diǎn)：這并非任何結(jié)束的開(kāi)始茴厉，因?yàn)?b>人工智能和人甚至動(dòng)物相比泽台，所知所能依然極端有限：

This is not the beginning of any endbecause AlphaGo Zero, like all other successful AI so far, isextremely limitedin what it knows and in what it can do compared with humans and even other animals.

不過(guò)什荣，Singh教授仍然對(duì)阿法元大加贊賞：這是一項(xiàng)重大成就, 顯示強(qiáng)化學(xué)習(xí)而不依賴(lài)人的經(jīng)驗(yàn)，可以做的更好：

The improvement in training time and computational complex?ity of AlphaGo Zero relative to AlphaGo, achieved in about a year, is a major achieve?ment… the results suggest that AIs based on reinforcement learning can perform much better than those that rely on human expertise.

陳怡然教授則對(duì)人工智能的未來(lái)做了進(jìn)一步的思考：

AlphaGo Zero沒(méi)有使用人類(lèi)標(biāo)注怀酷，只靠人類(lèi)給定的圍棋規(guī)則稻爬，就可以推演出高明的走法。有趣的是蜕依，我們還在論文中看到了AlphaGo Zero掌握圍棋的過(guò)程桅锄。比如如何逐漸學(xué)會(huì)一些常見(jiàn)的定式與開(kāi)局方法 ，如第一手點(diǎn)三三样眠。相信這也能對(duì)圍棋愛(ài)好者理解AlphaGo的下棋風(fēng)格有所啟發(fā)友瘤。

除了技術(shù)創(chuàng)新之外，AlphaGo Zero又一次引發(fā)了一個(gè)值得所有人工智能研究者思考的問(wèn)題:在未來(lái)發(fā)展中檐束，我們究竟應(yīng)該如何看待人類(lèi)經(jīng)驗(yàn)的作用辫秧。在AlphaGo Zero自主學(xué)會(huì)的走法中，有一些與人類(lèi)走法一致被丧，區(qū)別主要在中間相持階段茶没。AlphaGo Zero已經(jīng)可以給人類(lèi)當(dāng)圍棋老師，指導(dǎo)人類(lèi)思考之前沒(méi)見(jiàn)過(guò)的走法晚碾，而不用完全拘泥于圍棋大師的經(jīng)驗(yàn)抓半。也就是說(shuō)AlphaGo Zero再次打破了人類(lèi)經(jīng)驗(yàn)的神秘感，讓人腦中形成的經(jīng)驗(yàn)也是可以被探測(cè)和學(xué)習(xí)的格嘁。

陳教授最后也提出一個(gè)有趣的命題：

未來(lái)我們要面對(duì)的一個(gè)挑戰(zhàn)可能就是: 在一些與日常生活有關(guān)的決策問(wèn)題上笛求，人類(lèi)經(jīng)驗(yàn)和機(jī)器經(jīng)驗(yàn)同時(shí)存在，而機(jī)器經(jīng)驗(yàn)與人類(lèi)經(jīng)驗(yàn)有很大差別糕簿，我們又該如何去選擇和利用呢探入？

不過(guò)David Silver對(duì)此并不擔(dān)心，而對(duì)未來(lái)充滿(mǎn)信心懂诗。他指出：

If similar techniques can be applied to other structured problems, such as protein folding, reducing energy consumption or searching for revolutionary new materials, the resulting breakthroughs have the potential to positively impact society.

希望這篇文章能激發(fā)大家對(duì)人工智能的興趣蜂嗽。