Neil Zhu布疼，簡(jiǎn)書ID Not_GOD哨查，University AI 創(chuàng)始人 & Chief Scientist日裙，致力于推進(jìn)世界人工智能化進(jìn)程逛腿。制定并實(shí)施 UAI 中長(zhǎng)期增長(zhǎng)戰(zhàn)略和目標(biāo)，帶領(lǐng)團(tuán)隊(duì)快速成長(zhǎng)為人工智能領(lǐng)域最專業(yè)的力量蝴蜓。
作為行業(yè)領(lǐng)導(dǎo)者碟绑，他和UAI一起在2014年創(chuàng)建了TASA（中國(guó)最早的人工智能社團(tuán)）, DL Center（深度學(xué)習(xí)知識(shí)中心全球價(jià)值網(wǎng)絡(luò)），AI growth（行業(yè)智庫(kù)培訓(xùn)）等茎匠，為中國(guó)的人工智能人才建設(shè)輸送了大量的血液和養(yǎng)分格仲。此外，他還參與或者舉辦過(guò)各類國(guó)際性的人工智能峰會(huì)和活動(dòng)诵冒，產(chǎn)生了巨大的影響力凯肋，書寫了60萬(wàn)字的人工智能精品技術(shù)內(nèi)容，生產(chǎn)翻譯了全球第一本深度學(xué)習(xí)入門書《神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)》汽馋，生產(chǎn)的內(nèi)容被大量的專業(yè)垂直公眾號(hào)和媒體轉(zhuǎn)載與連載侮东。曾經(jīng)受邀為國(guó)內(nèi)頂尖大學(xué)制定人工智能學(xué)習(xí)規(guī)劃和教授人工智能前沿課程，均受學(xué)生和老師好評(píng)惭蟋。
第四章 可視化證明神經(jīng)網(wǎng)絡(luò)可以計(jì)算任何函數(shù)
神經(jīng)網(wǎng)絡(luò)的一個(gè)最引人注目的特點(diǎn)就是它實(shí)際上可以計(jì)算任何的函數(shù)苗桂。也就是說(shuō)，假設(shè)某個(gè)人給你某種復(fù)雜而奇特的函數(shù)告组，$$f(x)$$：
不管這個(gè)函數(shù)是什么樣的煤伟，總會(huì)有一個(gè)神經(jīng)網(wǎng)絡(luò)能夠?qū)θ魏慰赡艿妮斎?$$x$$，網(wǎng)絡(luò)可以得到對(duì)應(yīng)的值 $$f(x)$$（或者某個(gè)足夠準(zhǔn)確的近似）木缝，如圖：
即使函數(shù)有很多輸入或者多個(gè)輸出便锨，這個(gè)結(jié)果都是成立的，$$f=f(x_1,...,x_m)$$ 我碟。例如放案，這里有一個(gè)輸入為 $$m=3$$ 和輸出為 $$n=2$$ 的網(wǎng)絡(luò)：
結(jié)果表明神經(jīng)網(wǎng)絡(luò)擁有一種普遍性（universality）。不管拿過(guò)來(lái)什么函數(shù)矫俺，我們都確信存在一個(gè)神經(jīng)網(wǎng)絡(luò)可以計(jì)算它吱殉。
而且，這個(gè)普遍性定理甚至在我們限制了神經(jīng)網(wǎng)絡(luò)只在輸入層和輸出層存在一個(gè)中間層的情況下成立厘托。所以即使是很簡(jiǎn)單的網(wǎng)絡(luò)架構(gòu)都極其強(qiáng)大友雳。
這個(gè)定理在使用神經(jīng)網(wǎng)絡(luò)的人群中非常著名。但是它為何正確卻不被廣泛地理解∏ζィ現(xiàn)有的大多數(shù)的解釋都具有很強(qiáng)的技術(shù)性押赊。例如，最原始的論文使用了 Hahn-Banach 定理包斑、Riesz 表示定理和一些傅里葉分析證明了這個(gè)結(jié)果流礁。如果你是數(shù)學(xué)家涕俗，這個(gè)證明應(yīng)該不大難理解，但對(duì)于大多數(shù)人還是很困難的神帅。這不得不算是一種遺憾再姑，因?yàn)檫@個(gè)普遍性背后的原理其實(shí)是簡(jiǎn)單而美妙的。
在本章找御，我會(huì)給一個(gè)有關(guān)普遍性的簡(jiǎn)單且基本上可視化的解釋询刹。我們會(huì)一步步深入背后的思想。你會(huì)理解為何神經(jīng)網(wǎng)絡(luò)可以計(jì)算任何的函數(shù)萎坷。你會(huì)理解到一些關(guān)于結(jié)論的一些極限。并且你還會(huì)理解這些結(jié)論如何和深度神經(jīng)網(wǎng)絡(luò)關(guān)聯(lián)的沐兰。
要跟隨本章的內(nèi)容哆档，你不需要讀過(guò)本書前面的章節(jié)。相反住闯，本章其實(shí)可以當(dāng)成字包含的文章閱讀瓜浸。如果已經(jīng)對(duì)神經(jīng)網(wǎng)絡(luò)有了一定的熟悉，你應(yīng)該能夠弄清楚這些解釋比原。然而插佛，我偶爾也會(huì)給出一些聯(lián)系到前面的章節(jié)的鏈接，幫助你填補(bǔ)一些知識(shí)結(jié)構(gòu)的空白量窘。
普遍性定理在計(jì)算機(jī)科學(xué)領(lǐng)域中常常會(huì)有雇寇，太多了以至于我們都忘了這些定理的特別之處。但值得提醒自己的是：計(jì)算任意函數(shù)的能力真是是太贊了蚌铜。幾乎你可以想象的任何過(guò)程都可以看做是函數(shù)的計(jì)算锨侯。考慮給一段音樂(lè)用短的音樂(lè)片段進(jìn)行命名這個(gè)問(wèn)題冬殃。這其實(shí)也能夠看做是計(jì)算一個(gè)函數(shù)囚痴。或者考慮將中文文本翻譯成英文审葬。同樣深滚，這又可以看成是計(jì)算一個(gè)函數(shù)。{實(shí)際上可以看成是計(jì)算很多的函數(shù)涣觉，因?yàn)閷?duì)于一個(gè)文本來(lái)說(shuō)有很多種翻譯痴荐。}又或者根據(jù)一個(gè) mp4 視頻文件生成視頻的畫面的描述和對(duì)表演質(zhì)量的討論。同樣旨枯，這些也都可以看成是一種類型的函數(shù)計(jì)算蹬昌。普遍性是指，在原理上攀隔，神經(jīng)網(wǎng)絡(luò)可以做所有這些事情皂贩，或者更多栖榨。
當(dāng)然，僅僅因?yàn)槲覀冎来嬖谝粋€(gè)可以將中文翻譯成英文的神經(jīng)網(wǎng)絡(luò)明刷，這并不意味著我們有了一種構(gòu)造或者識(shí)別出這樣的網(wǎng)絡(luò)的很好的技術(shù)婴栽。這個(gè)極限同樣可以應(yīng)用在布爾電路上的傳統(tǒng)的普遍性定理上。但是辈末，如同我們?cè)诒緯懊婵吹降哪菢佑拚窠?jīng)網(wǎng)絡(luò)擁有強(qiáng)大的算法來(lái)學(xué)習(xí)函數(shù)。學(xué)習(xí)算法和普遍性的結(jié)合是一種有趣的混合挤聘。直到現(xiàn)在轰枝，本書一直是著重談學(xué)習(xí)算法。到了本章组去，我們來(lái)看看普遍性鞍陨，看看它究竟意味著什么。
兩個(gè)提醒
在解釋為何普遍性定理成立前从隆，我想要說(shuō)說(shuō)關(guān)于不大形式化的表述“神經(jīng)網(wǎng)絡(luò)可以計(jì)算任何函數(shù)”的兩個(gè)提醒诚撵。
第一點(diǎn)，這句話不是說(shuō)一個(gè)網(wǎng)絡(luò)可以被用來(lái)準(zhǔn)確地計(jì)算任何函數(shù)键闺。而是說(shuō)寿烟，我們可以獲得盡可能好的一個(gè)近似。通過(guò)增加隱藏元的數(shù)量辛燥，我們可以提升近似的精度筛武。例如，早先我使用了三個(gè)隱藏元的網(wǎng)絡(luò)來(lái)計(jì)算 $$f(x)$$购桑。使用三個(gè)隱藏元僅僅能得到一個(gè)低質(zhì)量的大多數(shù)函數(shù)近似畅铭。通過(guò)增加隱藏元的數(shù)量（比如說(shuō)，設(shè)置為五個(gè)）勃蜘，我們能夠明顯地得到更好的近似：
并且我們可以繼續(xù)增加隱藏元的數(shù)目硕噩。
為了讓這個(gè)表述更加準(zhǔn)確，假設(shè)我們給定一個(gè)需要按照目標(biāo)精度 $$\epsilon > 0$$ 的函數(shù) $$f(x)$$缭贡。通過(guò)使用足夠多的隱藏神經(jīng)元使得神經(jīng)網(wǎng)絡(luò)的輸出 $$g(x)$$ 對(duì)所有的 $$x$$炉擅，滿足 $$|g(x)-f(x)|<\epsilon$$ 從而實(shí)現(xiàn)近似計(jì)算。換言之阳惹，近似對(duì)每個(gè)可能的輸入都是限制在目標(biāo)準(zhǔn)確度范圍內(nèi)的谍失。
第二點(diǎn)，就是可以按照上面的方式近似的函數(shù)類其實(shí)是連續(xù)函數(shù)莹汤。如果函數(shù)不是連續(xù)的快鱼，也就是會(huì)有突然、極陡的跳躍，那么一般來(lái)說(shuō)無(wú)法使用一個(gè)神經(jīng)網(wǎng)絡(luò)進(jìn)行近似抹竹。這并不意外线罕，因?yàn)樯窠?jīng)網(wǎng)絡(luò)計(jì)算的就是輸入的連續(xù)函數(shù)。然而窃判，即使那些我們真的想要計(jì)算的函數(shù)是不連續(xù)的钞楼，一般來(lái)說(shuō)連續(xù)的近似其實(shí)也足夠的好了。如果這樣的話袄琳，我們就可以用神經(jīng)網(wǎng)絡(luò)來(lái)近似了询件。實(shí)踐中，這通常不是一個(gè)嚴(yán)重的限制唆樊。
總結(jié)一下宛琅，更加準(zhǔn)確的關(guān)于普遍性定理的表述是包含一個(gè)隱藏層的神經(jīng)網(wǎng)絡(luò)可以被用來(lái)按照任意給定的精度來(lái)近似任何連續(xù)函數(shù)。本章逗旁，我們會(huì)使用了兩個(gè)隱藏層的網(wǎng)絡(luò)來(lái)證明這個(gè)結(jié)果的弱化的版本夯秃。在問(wèn)題中我將簡(jiǎn)要介紹如何通過(guò)一些修改把解釋轉(zhuǎn)化成只使用一個(gè)隱藏層的網(wǎng)絡(luò)的證明。
一個(gè)輸入和一個(gè)輸出的普遍性
為了理解為何普遍性定理成立痢艺，我們先從理解如何構(gòu)造一個(gè)神經(jīng)網(wǎng)絡(luò)能偶近似一個(gè)只有一個(gè)輸入和一個(gè)輸出的函數(shù)：
結(jié)果表明，這其實(shí)是普遍性問(wèn)題的核心介陶。一旦我們理解了這個(gè)特例堤舒，那么實(shí)際上就會(huì)很容易擴(kuò)展到那些有多個(gè)輸入輸出的函數(shù)上。
為了構(gòu)建關(guān)于如何構(gòu)造一個(gè)計(jì)算 $$f$$ 的網(wǎng)絡(luò)的洞察哺呜，讓我們從一個(gè)只包含一個(gè)隱藏層的網(wǎng)絡(luò)開(kāi)始舌缤，隱藏元兩個(gè)，還有一個(gè)只有一個(gè)輸出神經(jīng)元的輸出層：
為了感受一下網(wǎng)絡(luò)的組成部分工作的機(jī)制某残，我們聚焦在最頂上的那個(gè)隱藏神經(jīng)元国撵。在下圖例子中，點(diǎn)擊權(quán)重玻墅，$$w$$介牙，將鼠標(biāo)從左往右拉動(dòng)可以進(jìn)行權(quán)重的增加。你可以立即看到最上面的隱藏元計(jì)算的函數(shù)變化的情況：
就在本書前面澳厢，我們也講過(guò)隱藏元所計(jì)算的函數(shù)其實(shí)是 $$\sigma(wx+b)$$环础，其中 $$\sigma(z)\equiv 1/(1+e^{_z})$$ 是 sigmoid 函數(shù)。到現(xiàn)在為止剩拢，我們已經(jīng)用過(guò)這個(gè)代數(shù)形式若干次了线得。但是為了證明普遍性，我們會(huì)完全忽略代數(shù)而通過(guò)操作觀察圖中的形狀來(lái)獲得有關(guān)這個(gè)函數(shù)的認(rèn)知徐伐。這不僅僅能夠給我們一種關(guān)于發(fā)生了什么的更好的感受贯钩，同樣還會(huì)給出可以用在其他激活函數(shù)上普遍性的證明。
在開(kāi)始證明前，試著點(diǎn)擊圖中上方的偏差角雷，$$b$$祸穷，向右拉拽來(lái)增加這個(gè)值。你會(huì)看到在偏差增加時(shí)谓罗，圖向左側(cè)移動(dòng)了粱哼，不過(guò)它的形狀沒(méi)有改變。
下一步檩咱，點(diǎn)擊并向左拉拽來(lái)降低偏差揭措。這時(shí)可以看到在偏差下降的時(shí)候，這個(gè)圖向右移動(dòng)了刻蚯，但是它的形狀仍然沒(méi)有發(fā)生變化绊含。
下面，降低權(quán)重到 $$2$$ 或者 $$3$$ 附近炊汹。你可以看到在降低權(quán)重的時(shí)候躬充，這個(gè)曲線變得寬平了。你可能需要同時(shí)改變偏差讨便，這樣可以保證曲線在展示的范圍內(nèi)充甚。
最后，增加權(quán)重 $$w=100$$霸褒。在進(jìn)行的時(shí)候伴找，曲線變得很陡，最后看起來(lái)想一個(gè)階梯函數(shù)废菱。試著調(diào)整偏差使得階梯出現(xiàn)在 $$x=0.3$$ 處技矮。下面的短視頻可以展示你的結(jié)果應(yīng)該長(zhǎng)什么樣。點(diǎn)擊下面的進(jìn)行播放：
【這里是視頻】
我們可以簡(jiǎn)化分析通過(guò)增加權(quán)重使得輸出是一個(gè)階梯函數(shù)的比較好的近似殊轴。下面我已經(jīng)畫出了在權(quán)重 $$w=999$$ 時(shí)頂部的隱藏神經(jīng)元的輸出衰倦。注意這個(gè)圖示靜態(tài)的，你不能夠改變參數(shù)旁理。
實(shí)際上樊零，借助于階梯函數(shù)會(huì)比通常的 sigmoid 函數(shù)更加方便講述。原因就是在輸出層我們加入了來(lái)自所有隱藏層神經(jīng)元的貢獻(xiàn)孽文。相比較分析在相加在一起的一堆 sigmoid 函數(shù)淹接，分析一堆階梯函數(shù)的和比較容易。所以叛溢，假設(shè)我們的隱藏層神經(jīng)元都是階梯函數(shù)會(huì)讓事情變得簡(jiǎn)化塑悼。更加具體地說(shuō)，我們通過(guò)將權(quán)重 $$w$$ 固定在一些非常大的值上楷掉，然后通過(guò)修改偏差來(lái)設(shè)置階梯函數(shù)的位置厢蒜。當(dāng)然霞势，將輸出看做是階梯函數(shù)是一種近似，不過(guò)這其實(shí)是非常好的一個(gè)近似斑鸦，所以目前我將其看做是準(zhǔn)確的愕贡。后面我們還會(huì)回過(guò)頭討論這個(gè)近似所產(chǎn)生的影響。
$$x$$ 在什么地方讓階梯出現(xiàn)巷屿？換言之固以，階梯的位置如何依賴于權(quán)重和偏差？
為了回答這個(gè)問(wèn)題嘱巾，試著在圖中修改權(quán)重和偏差（到 這里 去嘗試）憨琳。你能不能試著找出這個(gè)階梯出現(xiàn)的位置和權(quán)重 $$w$$ 及偏差 $$b$$ 的關(guān)系。通過(guò)一些嘗試旬昭，你應(yīng)該能讓自己相信篙螟，階梯出現(xiàn)的位置是和 $$b$$ 成正比例的，而和 $$w$$ 成反比例问拘。
實(shí)際上遍略，階梯出現(xiàn)在 $$s=-b/w$$，你可以在下面的圖中看出來(lái)：
現(xiàn)在使用單個(gè)參數(shù) $$s$$ 表示階梯位置绪杏，$$s=-b/w$$。這會(huì)簡(jiǎn)化我們描述隱藏層神經(jīng)元纽绍。試著下圖中修改 $$s$$ 值寞忿，體驗(yàn)新參數(shù)的效果：
需要注意的是顶岸，我們隱式地設(shè)置了權(quán)重 $$w$$ 為一個(gè)較大的值——大到可以讓階梯函數(shù)成為好的近似。我們可以輕易轉(zhuǎn)換神經(jīng)元的參數(shù)到正常模式叫编，通過(guò)選擇偏差為 $$b=-ws$$辖佣。
到現(xiàn)在位置，我們一直聚焦在頂部的隱藏神經(jīng)元〈暧猓現(xiàn)在來(lái)看看整個(gè)網(wǎng)絡(luò)卷谈。特別地，我們假設(shè)隱藏神經(jīng)元的計(jì)算是按照階梯點(diǎn) $$s_1$$（頂部）和 $$s_2$$（底部）進(jìn)行的霞篡。然后相應(yīng)的輸出權(quán)重 $$w_1$$ 和 $$w_2$$世蔗。下圖是現(xiàn)在的網(wǎng)絡(luò)：
右邊展示的其實(shí)是隱藏層的帶權(quán)輸出 $$w_1 a_1 + w_2 a_2$$朗兵。這里污淋，$$a_1$$ 和 $$a_2$$ 分別是頂部和底部的隱藏神經(jīng)元的輸出。這些輸出使用 $$a$$ 來(lái)表示因?yàn)橥ǔ１环Q作是神經(jīng)元的激活值（activation）余掖。
注意寸爆，實(shí)際上整個(gè)網(wǎng)絡(luò)的輸出應(yīng)該是 $$\sigma(w_1a_1+w_2a_2+b)$$, 其中 $$b$$ 是輸出神經(jīng)元的偏差。顯然，這和隱藏層的帶權(quán)輸出還是不同的赁豆，不過(guò)這里我們并沒(méi)有畫出來(lái)仅醇。我們現(xiàn)在聚焦在帶權(quán)輸出上，后面會(huì)考慮整個(gè)網(wǎng)絡(luò)的情況魔种。
試著增加和降低頂部隱藏神經(jīng)元的 $$s_1$$析二。感受一下這種變化給帶權(quán)輸出帶來(lái)的影響。這里理解
