深度學(xué)習(xí)中的怪圈
大數(shù)據(jù)文摘?20小時(shí)前?技能GET
最終拌牲，我們將自我覺(jué)知、自我創(chuàng)造歌粥，陷入自我參照的小小奇跡幻影中塌忽。而這種自我參照的機(jī)制，如同描述思想獨(dú)有的屬性失驶。
首發(fā)于大數(shù)據(jù)文摘公眾號(hào)（ID：BigDataDigest）土居，轉(zhuǎn)載請(qǐng)注明來(lái)源，作者：Carlos E. Perez ?編譯：saint嬉探，一針擦耀。
牛津大學(xué)的機(jī)器學(xué)習(xí)先驅(qū)Nando de Freitas剛剛在自己的最新推文中推薦了這篇關(guān)于“深度學(xué)習(xí)怪圈”的文章。本文作者將人類自我認(rèn)知的怪圈與深度學(xué)習(xí)的算法怪圈相聯(lián)系甲馋，“自我創(chuàng)造”這一似乎是“人類思想”獨(dú)有的屬性埂奈，似乎正在成就一些難以置信的深度學(xué)習(xí)成果。
最終定躏，我們將自我覺(jué)知账磺、自我創(chuàng)造，陷入自我參照的小小奇跡幻影中痊远。而這種自我參照的機(jī)制垮抗，如同描述思想獨(dú)有的屬性”檀希— Douglas Hofstadter
怪圈是一種循環(huán)系統(tǒng)冒版，橫貫不同等級(jí)的各個(gè)層次。通過(guò)這種循環(huán)逞姿，一個(gè)人可以追溯他的本源辞嗡。
無(wú)獨(dú)有偶捆等，被Yann LeCun稱為“機(jī)器學(xué)習(xí)在過(guò)去的二十年間最酷的想法”背后，最根本的實(shí)際上正是這種“怪圈”续室。
循環(huán)在機(jī)器學(xué)習(xí)系統(tǒng)中并不典型栋烤，按照慣例，這些系統(tǒng)由不同計(jì)算層的無(wú)環(huán)圖構(gòu)成挺狰。然而明郭，我們現(xiàn)在開(kāi)始發(fā)現(xiàn)，采用”反饋循環(huán)”能衍生出一種令人難以置信的丰泊、新的自動(dòng)操作薯定。
這可不是夸張，這是今天正在發(fā)生的事實(shí)瞳购。研究者們正在訓(xùn)練“精確的”的智能系統(tǒng)话侄，以期創(chuàng)造出在同領(lǐng)域內(nèi)能力遠(yuǎn)超于人類的專業(yè)自動(dòng)化。
我第一次知道深度學(xué)習(xí)系統(tǒng)中使用反饋回路是有效的苛败，是在“梯形網(wǎng)絡(luò)”里满葛。梯形網(wǎng)絡(luò)在很早之前就被采用了径簿，可以追溯到 2015年7月０涨（查看鏈接）下圖為其結(jié)構(gòu)示意。
梯形網(wǎng)絡(luò)是上下穿梭計(jì)算層的單循環(huán)回路篇亭，后邊跟了一個(gè)終極單向通道缠捌。這套系統(tǒng)從回路部分搜集信息，它被采用之后展示了非常不錯(cuò)的收斂數(shù)译蒂。這在2016年中的一篇論文中有原始研究人員的進(jìn)一步討論：
標(biāo)記：無(wú)監(jiān)督深度學(xué)習(xí)感知分組
如果你將好幾個(gè)梯形網(wǎng)絡(luò)串在一起就能形成一個(gè)大的網(wǎng)絡(luò)曼月，它能夠?qū)D像中的物件分組。
對(duì)抗生成網(wǎng)絡(luò)（GAN）也有它自己的循環(huán)回路柔昼，但是在結(jié)構(gòu)中看不出來(lái)哑芹，而是隱藏在它的訓(xùn)練當(dāng)中。GAN的訓(xùn)練過(guò)程中包含了對(duì)合作和對(duì)抗網(wǎng)絡(luò)的訓(xùn)練捕透，這涉及了一個(gè)生成網(wǎng)絡(luò)和一個(gè)辨別網(wǎng)絡(luò)聪姿。辨別網(wǎng)絡(luò)想方設(shè)法將生成網(wǎng)絡(luò)生成的數(shù)據(jù)進(jìn)行分級(jí)；生成網(wǎng)絡(luò)則是想方設(shè)法尋找欺騙辨別網(wǎng)絡(luò)的數(shù)據(jù)乙嘀，最終生成器和辨別器的魯棒性都得到了提升末购。GAN可以說(shuō)在某種程度上達(dá)到了圖靈測(cè)試的要求，是當(dāng)前最好的圖片生成模型虎谢。
我們基本可以肯定有一種反饋機(jī)制盟榴，以生成器利用神經(jīng)網(wǎng)絡(luò)（辨別器）生成更智能的結(jié)果（例如，更真實(shí)的圖形）這一形式而存在婴噩。有很多GANs生成真實(shí)圖形的案例擎场。無(wú)論如何羽德，由于梯形網(wǎng)絡(luò)，現(xiàn)在有更新的結(jié)構(gòu)在促使GANs改變迅办。
這些利用了循環(huán)的系統(tǒng)也與關(guān)于“增量學(xué)習(xí)”的新研究有關(guān)玩般。深度學(xué)習(xí)系統(tǒng)的缺點(diǎn)之一就是在微調(diào)網(wǎng)絡(luò)時(shí)，用新數(shù)據(jù)來(lái)訓(xùn)練會(huì)摧毀之前它掌握的技能礼饱。就是說(shuō)坏为，網(wǎng)絡(luò)會(huì)“忘記”過(guò)去的學(xué)習(xí)。由斯坦福開(kāi)發(fā)的一個(gè)稱為“反饋網(wǎng)絡(luò)”模型結(jié)構(gòu)里镊绪，研究人員開(kāi)發(fā)了一種特殊的網(wǎng)絡(luò)匀伏，可以自我反饋，還能內(nèi)部迭代顯示蝴韭。
在一篇更近的發(fā)表研究成果（2017年3月）中够颠，加州伯克利大學(xué)通過(guò)GANs和一種新的正則化方法創(chuàng)造出了圖形之間的轉(zhuǎn)換，效果驚人榄鉴。他們把這個(gè)系統(tǒng)叫做循環(huán)對(duì)抗生成網(wǎng)絡(luò)（CycleGAN）履磨，并且有了一些了不起的成果：
CycleGAN 能夠?qū)崿F(xiàn)優(yōu)異的圖形轉(zhuǎn)換。如上圖所示庆尘，向它輸入繪畫(huà)作品可以生成真實(shí)的照片剃诅。它還可以實(shí)現(xiàn)類似語(yǔ)義轉(zhuǎn)換的功能，如將馬變成斑馬驶忌、或?qū)⒛硞€(gè)季節(jié)的圖片變成另外一種季節(jié)的樣子矛辕。
這種方法的關(guān)鍵在于，利用“循環(huán)一致的損失”付魔。這種損失確保了這種網(wǎng)絡(luò)能夠?qū)崿F(xiàn)一種單向轉(zhuǎn)換聊品，之后又能夠通過(guò)最小損失實(shí)現(xiàn)相反的轉(zhuǎn)換。也就是說(shuō)几苍，網(wǎng)絡(luò)不僅僅必須學(xué)會(huì)轉(zhuǎn)換原始圖片翻屈，還得學(xué)會(huì)反向轉(zhuǎn)換。
訓(xùn)練深度學(xué)習(xí)系統(tǒng)最大的難題在于缺乏標(biāo)記數(shù)據(jù)妻坝。標(biāo)記數(shù)據(jù)是控制深度學(xué)習(xí)模型精確性的源頭伸眶。不過(guò)，這些開(kāi)始采用循環(huán)回路的新型系統(tǒng)正在解決缺乏監(jiān)督的問(wèn)題惠勒。這就像有一個(gè)永動(dòng)機(jī)在自動(dòng)憑空造出一些新的標(biāo)記數(shù)據(jù)變量赚抡，最后反過(guò)來(lái)用更多數(shù)據(jù)來(lái)訓(xùn)練自己。這種自動(dòng)化機(jī)制讓他們自己和自己進(jìn)行模擬游戲纠屋，“玩”得多了涂臣，就能成為這方面的專家。
這就類似于阿爾法狗(AlphaGo)，它也能夠通過(guò)自我訓(xùn)練發(fā)展出新的策略赁遗。當(dāng)自動(dòng)化嵌入了反饋回路署辉，而且能夠模擬（一些人稱之為“想象”）很多不同的情景，還能自測(cè)這些情景下的正確性岩四，那么我們就進(jìn)入了超級(jí)科技爆發(fā)的臨界點(diǎn)哭尝。
而這種井噴式的快速發(fā)展所將帶來(lái)的科技能量，我們?nèi)祟愇拿鬟h(yuǎn)未做好掌握它的準(zhǔn)備剖煌。所以下次如果你看見(jiàn)一些難以置信的深度學(xué)習(xí)成果材鹦，可以嘗試尋找嵌在算法里的怪圈。
沒(méi)有任何準(zhǔn)備的人們耕姊，祝你好運(yùn)桶唐。
