1.1 深度學(xué)習(xí)概論
整理：飛龍
什么是神經(jīng)網(wǎng)絡(luò)？
“深度學(xué)習(xí)”指的是訓(xùn)練神經(jīng)網(wǎng)絡(luò)铭段，有時(shí)候規(guī)模很大骤宣，那么神經(jīng)網(wǎng)絡(luò)究竟是什么呢？在這個(gè)視頻中序愚，我會(huì)講些直觀的基礎(chǔ)知識(shí)憔披。
我們從一個(gè)房價(jià)預(yù)測的例子開始。假設(shè)有一個(gè)六間房屋的數(shù)據(jù)集爸吮，已知房屋的面積芬膝，單位是平方英尺或平方米，以及房屋價(jià)格形娇。你想要找到一個(gè)函數(shù)锰霜，根據(jù)房屋面積來預(yù)測房價(jià)。
如果你懂線性回歸桐早，你可能會(huì)說癣缅，好吧，用這些數(shù)據(jù)來擬合一條直線哄酝。于是友存，你可能會(huì)得到這樣一條直線。但奇怪的是陶衅，你可能也知道屡立，價(jià)格永遠(yuǎn)不會(huì)為負(fù)，因此直線不大合適搀军，它最后會(huì)讓價(jià)格為負(fù)膨俐。我們在這里彎曲一點(diǎn)，讓它結(jié)束于 0罩句。這條粗的藍(lán)線焚刺，就是你要的函數(shù)，根據(jù)房屋面積預(yù)測價(jià)格的止。
這里的直線擬合得很好檩坚。你可以把這個(gè)函數(shù)看成一個(gè)非常簡單的神經(jīng)網(wǎng)絡(luò)，你剛剛用它來擬合房屋價(jià)格。這幾乎是最簡單的神經(jīng)網(wǎng)絡(luò)了匾委。
讓我畫在這里拖叙，我們把房屋的面積，作為神經(jīng)網(wǎng)絡(luò)的輸入赂乐，稱之為x薯鳍。通過這個(gè)節(jié)點(diǎn)，這個(gè)小圈圈挨措，最后輸出了價(jià)格挖滤，用y表示。這個(gè)小圓圈就是一個(gè)獨(dú)立的神經(jīng)元浅役，你的網(wǎng)絡(luò)實(shí)現(xiàn)了左邊這個(gè)函數(shù)的功能斩松。這個(gè)神經(jīng)元所做的，就是輸入面積觉既，完成線性運(yùn)算惧盹，取不小于 0 的值，最后輸出預(yù)測價(jià)格瞪讼。
神經(jīng)網(wǎng)絡(luò)的文獻(xiàn)中钧椰，經(jīng)常看得到這個(gè)函數(shù)符欠。這個(gè)函數(shù)一開始是 0嫡霞，然后就是一條直線。這個(gè)函數(shù)被稱作 ReLU 函數(shù)希柿，全稱是“修正線性單元”诊沪。“修正”指的是取不小于 0 的值狡汉，這就是這個(gè)函數(shù)長這樣的原因娄徊。不理解 ReLU 函數(shù)的話不用擔(dān)心闽颇，這門課的后面你還會(huì)看到它盾戴。
這是一個(gè)單神經(jīng)元網(wǎng)絡(luò)，規(guī)模很小的神經(jīng)網(wǎng)絡(luò)兵多。大一點(diǎn)的神經(jīng)網(wǎng)絡(luò)是把這些單個(gè)神經(jīng)元堆疊起來形成的尖啡。你可以把這些神經(jīng)元想象成單獨(dú)的樂高積木，你通過搭積木來構(gòu)建一個(gè)更大的神經(jīng)網(wǎng)絡(luò)剩膘。
來看一個(gè)例子衅斩，我們不僅僅用房屋的面積來預(yù)測價(jià)格，現(xiàn)在你還有一些房屋的其它特征怠褐，知道了一些別的信息畏梆，比如臥室的數(shù)量。你可能想到，有一個(gè)很重要的因素會(huì)影響房屋價(jià)格奠涌，就是“家庭人數(shù)”宪巨。這個(gè)房屋能住下一個(gè)三口之家，四口之家或者五口之家溜畅，這個(gè)性質(zhì)和面積大小相關(guān)捏卓。還有臥室的數(shù)量，能否滿足住戶的家庭人數(shù)需求慈格。
你可能知道郵編怠晴，在一些國家也被叫作郵政編碼。郵編或許能作為一個(gè)特征浴捆，說明了步行化程度蒜田，這附近是不是高度步行化的？你是否能步行去雜貨店选泻，或者是學(xué)校物邑？是否需要開車？有些人喜歡高度步行化的地方滔金。另外還有富裕程度色解，在美國是這樣的，其它國家也可能一樣餐茵。郵編體現(xiàn)了附近學(xué)校的質(zhì)量科阎。
我畫的每一個(gè)小圈圈，都可能是一個(gè) ReLU忿族，即“修正線性單元”锣笨，或者其它的不那么線性的函數(shù)〉琅基于房屋面積和臥室數(shù)量错英，你可以估算家庭人口÷”基于郵編椭岩，可以評(píng)估步行化程度，也可以評(píng)估學(xué)校質(zhì)量璃赡。最后你可能會(huì)認(rèn)為判哥，人們愿意在房屋上花費(fèi)多少錢，和他們關(guān)注什么息息相關(guān)碉考。在這個(gè)例子中塌计，家庭人口、步行化程度以及學(xué)校質(zhì)量侯谁，都能幫助你預(yù)測房屋的價(jià)格锌仅。
在這個(gè)例子中x是所有的這四個(gè)輸入章钾，y是預(yù)測的價(jià)格。通過把這些獨(dú)立的神經(jīng)元疊加起來热芹，或者上一張幻燈片里面的簡單的預(yù)測器（神經(jīng)元）伍玖，現(xiàn)在有了一個(gè)稍微大一點(diǎn)的神經(jīng)網(wǎng)絡(luò)。神經(jīng)網(wǎng)絡(luò)的部分神奇之處在于剿吻，當(dāng)你實(shí)現(xiàn)它之后窍箍，你要做的只是輸入x，就能得到輸出y丽旅。不管訓(xùn)練集有多大椰棘，所有的中間過程它都會(huì)自己完成。
那么你實(shí)際上做的就是這樣榄笙，這里有四個(gè)輸入的神經(jīng)網(wǎng)絡(luò)邪狞，輸入的特征可能是臥室的數(shù)量，郵政編碼和周邊的富裕程度茅撞。已知這些輸入的特征帆卓，神經(jīng)網(wǎng)絡(luò)的工作就是預(yù)測對(duì)應(yīng)的價(jià)格。
同時(shí)請(qǐng)注意到米丘，這些圈圈剑令，在一個(gè)神經(jīng)網(wǎng)絡(luò)中，它們被叫做“隱藏單元”拄查。每個(gè)的輸入都同時(shí)來自四個(gè)特征吁津，比如說，我們不會(huì)具體說堕扶，第一個(gè)節(jié)點(diǎn)表示家庭人口碍脏，或者說家庭人口僅取決于特征x1和x2。我們會(huì)這么說稍算，對(duì)于神經(jīng)網(wǎng)絡(luò)典尾，你自己決定這個(gè)節(jié)點(diǎn)是什么。我們只給你四個(gè)輸入特征糊探，隨便你怎么計(jì)算钾埂。因此我們說這一層，輸入層侧到，以及在中間的這一層勃教，在神經(jīng)網(wǎng)絡(luò)中連接數(shù)是很高的淤击。因?yàn)檩斎氲拿恳粋€(gè)特征匠抗，都連接到了中間的每個(gè)圈圈。
值得注意的是污抬，對(duì)于神經(jīng)網(wǎng)絡(luò)汞贸，只有你喂給它足夠多的關(guān)于x和y的數(shù)據(jù)绳军，得到足夠的x、y訓(xùn)練樣本矢腻，就非常擅長于計(jì)算從x到y的精準(zhǔn)映射函數(shù)门驾。這就是一個(gè)基本的神經(jīng)網(wǎng)絡(luò)，你可能發(fā)現(xiàn)多柑，自己的神經(jīng)網(wǎng)絡(luò)在監(jiān)督學(xué)習(xí)的環(huán)境下是如此有效和強(qiáng)大奶是。也就是說，你只要嘗試輸入一個(gè)x竣灌，即可把它映射成y聂沙，像我們在剛才房價(jià)預(yù)測的例子中看到的。
在下一個(gè)視頻中初嘹，你會(huì)看到更多監(jiān)督學(xué)習(xí)的例子及汉。有些例子會(huì)讓你覺得，你的神經(jīng)網(wǎng)絡(luò)對(duì)你的應(yīng)用場合非常有幫助屯烦。
用神經(jīng)網(wǎng)絡(luò)進(jìn)行監(jiān)督學(xué)習(xí)
神經(jīng)網(wǎng)絡(luò)有時(shí)被媒體炒作得很厲害坷随，考慮到它們的使用效果，有些說法還是靠譜的驻龟。事實(shí)上到目前為止温眉，幾乎所有由神經(jīng)網(wǎng)絡(luò)創(chuàng)造的經(jīng)濟(jì)價(jià)值，都基于其中一種機(jī)器學(xué)習(xí)翁狐，我們稱之“監(jiān)督學(xué)習(xí)”芍殖。那是什么意思呢？我們來看一些例子谴蔑。
在監(jiān)督學(xué)習(xí)中豌骏，輸入x會(huì)習(xí)得一個(gè)函數(shù)，它映射到輸出y隐锭。比如我們之前看到的景埃，應(yīng)用于房價(jià)預(yù)測的例子。輸入房屋的一些特征聂抢，就能輸出或者預(yù)測價(jià)格y膀估。下面是一些其它例子，這些例子中神經(jīng)網(wǎng)絡(luò)效果拔群荞怒。
很可能洒琢，今天通過深度學(xué)習(xí)獲利最大的，就是在線廣告褐桌。這也許不是最鼓舞人心的衰抑，但真的很賺錢。給網(wǎng)站輸入廣告信息荧嵌，網(wǎng)站會(huì)考慮是否給你看這個(gè)廣告呛踊，有時(shí)還需要輸入一些用戶信息砾淌。神經(jīng)網(wǎng)絡(luò)在預(yù)測，你是否會(huì)點(diǎn)擊這個(gè)廣告谭网，這方面已經(jīng)表現(xiàn)得很好了汪厨。通過向你展示，以及向用戶展示最有可能點(diǎn)開的廣告愉择，這就是神經(jīng)網(wǎng)絡(luò)在很多家公司劫乱，賺取無法想象的高額利潤的應(yīng)用方式。因?yàn)橛辛诉@種能力锥涕，向你展示最有可能點(diǎn)擊開的廣告要拂，直接影響到了不少大型線上廣告公司的收入。
過去的幾年里站楚，計(jì)算機(jī)視覺也有很大進(jìn)展脱惰，這要感謝深度學(xué)習(xí)。你輸入一個(gè)圖像窿春，然后打算輸出一個(gè)下標(biāo)拉一，可以是從 1 到 1000，來表明這張照片旧乞，是 1000 個(gè)不同的圖像中的某一個(gè)蔚润。它可以用來給照片打標(biāo)簽。
深度學(xué)習(xí)最近在語音識(shí)別方面的進(jìn)展也是非常令人興奮的尺栖。你可以將音頻片段輸入神經(jīng)網(wǎng)絡(luò)嫡纠，它可以輸出文本。機(jī)器翻譯也進(jìn)步很大延赌，這得感謝深度學(xué)習(xí)除盏，讓你有一個(gè)神經(jīng)網(wǎng)絡(luò)，能實(shí)現(xiàn)輸入英語句子挫以，它直接輸出一個(gè)中文句子者蠕。
在無人駕駛技術(shù)中，你輸入一幅圖像掐松，比如汽車前方的一個(gè)快照踱侣，還有一些雷達(dá)信息〈蠡牵基于這個(gè)抡句，訓(xùn)練過的神經(jīng)網(wǎng)絡(luò)，能告訴你路上其他汽車的位置杠愧。這是無人駕駛系統(tǒng)的關(guān)鍵組件待榔。
神經(jīng)網(wǎng)絡(luò)創(chuàng)造這么多價(jià)值的案例中，你要機(jī)智地選擇x和y殴蹄，才能解決特定問題究抓。然后把這個(gè)監(jiān)督學(xué)習(xí)過的組件猾担，嵌入到更大型的系統(tǒng)中袭灯，比如無人駕駛刺下。可以看出稽荧，稍微不同的神經(jīng)網(wǎng)絡(luò)橘茉，也可應(yīng)用到不同的地方。比如說姨丈，應(yīng)用到房地產(chǎn)上畅卓。我們上節(jié)課看到，我們用了通用標(biāo)準(zhǔn)的神經(jīng)網(wǎng)絡(luò)架構(gòu)蟋恬，是吧翁潘？對(duì)于房地產(chǎn)和在線廣告，用的都是相對(duì)標(biāo)準(zhǔn)的神經(jīng)網(wǎng)絡(luò)歼争，正如我們之前見到的拜马。
圖像領(lǐng)域里，我們經(jīng)常應(yīng)用的是卷積神經(jīng)網(wǎng)絡(luò)沐绒，通沉┟В縮寫為 CNN。對(duì)于序列數(shù)據(jù)乔遮，例如音頻中含有時(shí)間成分扮超，對(duì)吧？音頻是隨著時(shí)間播放的蹋肮，所以音頻很自然地被表示為一維時(shí)間序列出刷。對(duì)于序列數(shù)據(jù)，你經(jīng)常使用 RNN坯辩，循環(huán)神經(jīng)網(wǎng)絡(luò)巷蚪。
對(duì)于語言，英語和漢語濒翻，字母或單詞屁柏，都是逐個(gè)出現(xiàn)的。所以有送，語言最自然的表示方式也是序列數(shù)據(jù)淌喻。更復(fù)雜的 RNN 經(jīng)常會(huì)用于這些應(yīng)用。對(duì)于更復(fù)雜的應(yīng)用雀摘，比如無人駕駛裸删，你有一張圖片，可能需要 CNN “卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)” 架構(gòu)去處理阵赠。雷達(dá)信息會(huì)更不一樣涯塔，你需要一些更復(fù)雜的肌稻，混合的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)。
所以匕荸，為了更具體地說明爹谭，標(biāo)準(zhǔn)的 CNN 和 RNN 結(jié)構(gòu)是什么。在文獻(xiàn)中榛搔，你可能見過這樣的圖片诺凡，這是一個(gè)標(biāo)準(zhǔn)的神經(jīng)網(wǎng)絡(luò)。你可能見過這樣的圖片践惑，這是一個(gè)卷積神經(jīng)網(wǎng)絡(luò)腹泌。在后續(xù)的課程，我們會(huì)去了解這幅圖的含義和如何實(shí)現(xiàn)它尔觉。卷積網(wǎng)絡(luò)通常用于圖像數(shù)據(jù)凉袱。你可能也會(huì)看到這樣的圖片，后續(xù)的課程也會(huì)去實(shí)現(xiàn)它侦铜。循環(huán)神經(jīng)網(wǎng)絡(luò)非常適合處理一維序列數(shù)據(jù)专甩，其中包含時(shí)間成分。
你可能也聽說過泵额，機(jī)器學(xué)習(xí)被應(yīng)用于結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)配深，下面是這些術(shù)語的含義。結(jié)構(gòu)化數(shù)據(jù)嫁盲，是數(shù)據(jù)的數(shù)據(jù)庫篓叶，例如在房價(jià)預(yù)測中，你可能有一個(gè)數(shù)據(jù)庫或者數(shù)據(jù)列羞秤，告訴你房間的大小和臥室數(shù)量缸托，這就是結(jié)構(gòu)化數(shù)據(jù)。在預(yù)測用戶是否會(huì)點(diǎn)擊廣告的例子中瘾蛋，你可能會(huì)有用戶信息比如年齡俐镐，還有廣告信息，還有你要預(yù)測的標(biāo)簽y哺哼，這就是結(jié)構(gòu)化數(shù)據(jù)佩抹，意味著每個(gè)特征，比如說房屋大小取董、臥房數(shù)量棍苹、用戶的年齡，都有著清晰的定義茵汰。
相反枢里，非結(jié)構(gòu)化數(shù)據(jù)指的是，比如音頻、原始音頻栏豺、圖像彬碱，你想要識(shí)別圖像或文本中的內(nèi)容。這里的特征可能是圖像中的像素值奥洼，或者是文本中的單個(gè)單詞巷疼。從歷史角度看，與結(jié)構(gòu)化數(shù)據(jù)比較溉卓，非結(jié)構(gòu)化數(shù)據(jù)讓計(jì)算機(jī)理解起來更難皮迟。但人類進(jìn)化到現(xiàn)在搬泥，很擅長理解音頻信號(hào)和圖像桑寨。文本是一個(gè)更近代的發(fā)明，但人們真的很擅長解讀非結(jié)構(gòu)化數(shù)據(jù)忿檩。
神經(jīng)網(wǎng)絡(luò)的興起過程中尉尾，最令人興奮的事情之一就是，多虧了深度學(xué)習(xí)燥透，多虧了神經(jīng)網(wǎng)絡(luò)沙咏，計(jì)算機(jī)現(xiàn)在能更好地解釋非結(jié)構(gòu)化數(shù)據(jù)。和幾年前對(duì)比的話班套，這給我們創(chuàng)造了很多令人興奮的應(yīng)用機(jī)會(huì)肢藐。語音識(shí)別、圖像識(shí)別吱韭、自然語言文字處理∵罕現(xiàn)在能做的事情，比兩三年前要豐富多了理盆，我認(rèn)為痘煤，因?yàn)槿藗兩鷣砭陀心芰Γ瑏砝斫夥墙Y(jié)構(gòu)化數(shù)據(jù)猿规。
你可能知道衷快，神經(jīng)網(wǎng)絡(luò)在非結(jié)構(gòu)化數(shù)據(jù)上的成功，尤其是媒體姨俩。當(dāng)神經(jīng)網(wǎng)絡(luò)識(shí)別了一只貓時(shí)蘸拔，那真的很酷。我們都知道环葵，那意味著什么调窍。神經(jīng)網(wǎng)絡(luò)在很多短期經(jīng)濟(jì)價(jià)值的創(chuàng)造，是基于結(jié)構(gòu)化數(shù)據(jù)的积担，比如更好的廣告系統(tǒng)陨晶，更好的獲利建議，有更好的能力去處理很多公司擁有的海量數(shù)據(jù)庫，并用這些數(shù)據(jù)準(zhǔn)確預(yù)測未來趨勢先誉。
在這門課中湿刽，我們會(huì)學(xué)到很多技巧，可以應(yīng)用到結(jié)構(gòu)化數(shù)據(jù)褐耳，也可以應(yīng)用到非結(jié)構(gòu)化數(shù)據(jù)诈闺。為了更清楚地解釋算法原理，我們會(huì)多用非結(jié)構(gòu)化數(shù)據(jù)的例子铃芦。但當(dāng)你自己的團(tuán)隊(duì)評(píng)估了各種神經(jīng)網(wǎng)絡(luò)的應(yīng)用之后雅镊，希望你的算法能夠同時(shí)學(xué)習(xí)結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)。神經(jīng)網(wǎng)絡(luò)徹底改變了監(jiān)督學(xué)習(xí)刃滓，正創(chuàng)造著巨大的經(jīng)濟(jì)價(jià)值仁烹。
其實(shí)呢，基本的神經(jīng)網(wǎng)絡(luò)背后的技術(shù)理念咧虎，大部分都不是新概念卓缰，有些甚至有幾十年歷史了。那么砰诵，為什么它們現(xiàn)在才流行征唬，才行之有效呢？下一集視頻中我們將討論茁彭，為什么是最近神經(jīng)網(wǎng)絡(luò)才成為你可以使用的強(qiáng)大工具总寒。
為什么深度學(xué)習(xí)會(huì)興起？
如果深度學(xué)習(xí)和神經(jīng)網(wǎng)絡(luò)背后的基本技術(shù)理念理肺，已經(jīng)有好幾十年了摄闸，為什么現(xiàn)在才突然流行起來呢？在這個(gè)視頻中哲嘲，讓我們看一些讓深度學(xué)習(xí)流行起來的主要因素贪薪。這將會(huì)幫助你在自己的組織中，發(fā)現(xiàn)好機(jī)會(huì)來應(yīng)用這些東西眠副。
在過去的幾年里很多人問我画切，為什么深度學(xué)習(xí)突然這么厲害了？我回答的時(shí)候通常給他們畫個(gè)圖囱怕。橫上代表完成任務(wù)的數(shù)據(jù)數(shù)量霍弹，縱軸代表機(jī)器學(xué)習(xí)算法的性能，比如垃圾郵件過濾的準(zhǔn)確率娃弓，廣告點(diǎn)擊預(yù)測的準(zhǔn)確率典格，用于無人駕駛中判斷其他車輛位置的神經(jīng)網(wǎng)絡(luò)的準(zhǔn)確率。
根據(jù)圖像可以發(fā)現(xiàn)台丛，把傳統(tǒng)機(jī)器學(xué)習(xí)算法的表現(xiàn)耍缴，比如說支持向量機(jī)砾肺，或logistic回歸作為數(shù)據(jù)量的一個(gè)函數(shù)，你可能得到這樣的曲線防嗡。它的性能一開始增加數(shù)據(jù)時(shí)會(huì)上升变汪，但是一段時(shí)間之后它的性能進(jìn)入平臺(tái)期。假設(shè)水平軸拉的很長很長蚁趁，那是因?yàn)檫@些模型無法處理海量數(shù)據(jù)裙盾。而過去20年在我們的社會(huì)中，我們遇到的很多問題他嫡，早期只有相對(duì)較少的數(shù)據(jù)量番官，多虧了數(shù)字化社會(huì)，現(xiàn)在收集海量數(shù)據(jù)輕而易舉钢属。
我們?nèi)祟惢撕芏鄷r(shí)間在數(shù)字王國中徘熔，在電腦上，在網(wǎng)站上署咽，在手機(jī)軟件上近顷，數(shù)字設(shè)備上的活動(dòng)都能創(chuàng)造數(shù)據(jù)生音，同時(shí)也歸功于便宜的相機(jī)宁否，被內(nèi)置到移動(dòng)電話，還有加速儀缀遍，以及物聯(lián)網(wǎng)中的各種傳感器慕匠。我們收集到了越來越多的數(shù)據(jù)，過去20年域醇，很多應(yīng)用中我們收集到了大量的數(shù)據(jù)台谊，遠(yuǎn)超過傳統(tǒng)學(xué)習(xí)算法能發(fā)揮作用的規(guī)模。
神經(jīng)網(wǎng)絡(luò)模型的話譬挚，我們發(fā)現(xiàn)锅铅，如果你訓(xùn)練一個(gè)小型的神經(jīng)網(wǎng)絡(luò)，那么性能可能會(huì)像這樣减宣。如果你訓(xùn)練一個(gè)稍微大一點(diǎn)的神經(jīng)網(wǎng)絡(luò)盐须，一個(gè)中等規(guī)模的神經(jīng)網(wǎng)絡(luò)，性能表現(xiàn)也會(huì)更好一些漆腌。你訓(xùn)練一個(gè)非常大的神經(jīng)網(wǎng)絡(luò)贼邓，性能就會(huì)是這樣，還會(huì)越來越好闷尿。
注意到兩點(diǎn)塑径，一點(diǎn)是如果你想達(dá)到這么高的性能水平，有兩個(gè)條件填具。第一個(gè)是需要訓(xùn)練一個(gè)規(guī)模足夠大的神經(jīng)網(wǎng)絡(luò)统舀，以發(fā)揮數(shù)據(jù)規(guī)模量巨大的優(yōu)點(diǎn)。另外，要到x軸的這個(gè)位置需要很多的數(shù)據(jù)誉简。因此我們經(jīng)常說绰筛，規(guī)模一直在推動(dòng)深度學(xué)習(xí)的進(jìn)步。
說到“規(guī)拿枞冢”铝噩，我指的不僅是神經(jīng)網(wǎng)絡(luò)的規(guī)模，我們需要一個(gè)有許多隱藏單元的神經(jīng)網(wǎng)絡(luò)窿克，有許多的參數(shù)骏庸，許多的連接，而且還有數(shù)據(jù)“規(guī)哪甓＃”具被。事實(shí)上，要在神經(jīng)網(wǎng)絡(luò)上獲得更好的表現(xiàn)只损，在今天最可靠的手段一姿，往往就是要么訓(xùn)練一個(gè)更大的神經(jīng)網(wǎng)絡(luò)，要么投入更多的數(shù)據(jù)跃惫。這只能在一定程度上起作用叮叹，因?yàn)樽罱K你耗盡了數(shù)據(jù)，或者最終你的網(wǎng)絡(luò)規(guī)模太大爆存，需要的訓(xùn)練時(shí)間太久蛉顽。但提升規(guī)模已經(jīng)讓我們在深度學(xué)習(xí)的世界中獲得了大量進(jìn)展。
為了使這個(gè)圖從技術(shù)上更準(zhǔn)確一點(diǎn)先较，我還要加點(diǎn)說明携冤。我在x軸下面已經(jīng)寫明了的數(shù)據(jù)量，技術(shù)點(diǎn)說闲勺，這是“帶標(biāo)簽的數(shù)據(jù)”量曾棕。在訓(xùn)練樣本時(shí)，我們有輸入x和標(biāo)簽y菜循。我介紹一點(diǎn)符號(hào)約定翘地，這在后面的課程中都會(huì)用到。我們使用小寫的字母m债朵，表示訓(xùn)練集的規(guī)模子眶，或者說訓(xùn)練樣本的數(shù)量。這個(gè)小寫字母m這就是水平軸序芦。
圖像還有其他細(xì)節(jié)臭杰，訓(xùn)練集不大的這一塊來說，各種算法的性能相對(duì)排名并不是很確定谚中。訓(xùn)練集不大的時(shí)候渴杆，效果會(huì)取決于你手工設(shè)計(jì)的組件寥枝，會(huì)決定最終的表現(xiàn)。因此很有可能磁奖，假設(shè)有些人訓(xùn)練出了一個(gè)SVM囊拜，可能是因?yàn)槭止ぴO(shè)計(jì)組件很厲害，有些人訓(xùn)練的規(guī)模會(huì)大一些比搭，可能訓(xùn)練集不大的時(shí)候冠跷，SVM表現(xiàn)更好。在這個(gè)圖形區(qū)域的左邊身诺，各種算法之間優(yōu)劣并不是定義得很明確蜜托，最終的性能更多取決于手工設(shè)計(jì)組件的技能，以及算法處理方面的一些細(xì)節(jié)霉赡。只有在大數(shù)據(jù)領(lǐng)域橄务，非常龐大的訓(xùn)練集，也就是在右邊m非常大時(shí)穴亏，我們才能見到蜂挪，神經(jīng)網(wǎng)絡(luò)穩(wěn)定地領(lǐng)先其它算法。
如果某個(gè)朋友問你嗓化，為什么神經(jīng)網(wǎng)絡(luò)這么流行棠涮？我鼓勵(lì)你也給他們畫這樣一個(gè)圖像，可以這么說蟆湖，在深度學(xué)習(xí)崛起的初期故爵，是數(shù)據(jù)和計(jì)算能力規(guī)模的進(jìn)展。訓(xùn)練一個(gè)特別大的神經(jīng)網(wǎng)絡(luò)的能力隅津，無論是在CPU還是GPU上，是這些發(fā)展才讓我們?nèi)〉昧司薮蟮倪M(jìn)步劲室。
但是漸漸地伦仍，尤其是在最近這幾年，我們也見證了算法方面的極大創(chuàng)新很洋。我也不想忽略算法方面的巨大貢獻(xiàn)充蓝。有趣的是，許多算法方面的創(chuàng)新喉磁，都為了讓神經(jīng)網(wǎng)絡(luò)運(yùn)行得更快谓苟。舉一個(gè)具體的例子，神經(jīng)網(wǎng)絡(luò)方面的一個(gè)巨大突破是协怒，從sigmoid函數(shù)轉(zhuǎn)換到這樣的ReLU函數(shù)涝焙。這個(gè)函數(shù)我們在之前的視頻里提到過，形狀就像這樣孕暇。如果你無法理解仑撞，剛才我說的某個(gè)細(xì)節(jié)赤兴，也不需要擔(dān)心。但使用sigmoid函數(shù)隧哮，機(jī)器學(xué)習(xí)問題是桶良，對(duì)于這個(gè)區(qū)域 sigmoid函數(shù)的斜率，梯度會(huì)接近0沮翔，所以學(xué)習(xí)會(huì)變得非常緩慢陨帆，因?yàn)橛锰荻认陆捣〞r(shí)，梯度接近0時(shí)采蚀，參數(shù)會(huì)變化得很慢歧譬，學(xué)習(xí)也會(huì)變得很慢。而通過改變激活函數(shù)搏存，神經(jīng)網(wǎng)絡(luò)用這個(gè)函數(shù)瑰步，修正線性單元ReLU，它的梯度對(duì)于所有為正值的輸入輸出都是1璧眠，因此梯度不會(huì)逐漸趨向0缩焦。而這里的梯度，這條線的斜率责静，在這左邊是0袁滥。我們發(fā)現(xiàn)，只需將sigmod函數(shù)轉(zhuǎn)換成ReLU函數(shù)灾螃，便能夠使得“梯度下降法”運(yùn)行得更快题翻。
這就是一個(gè)例子，有點(diǎn)簡單的算法創(chuàng)新的例子腰鬼，但是最終算法創(chuàng)新所帶來的影響嵌赠，是增加計(jì)算速度。有很多像這樣的例子熄赡，我們通過改變算法姜挺，使得代碼運(yùn)行得更快。這也使得我們彼硫，能夠訓(xùn)練規(guī)模更大的神經(jīng)網(wǎng)絡(luò)炊豪，或者在合理的時(shí)間內(nèi)完成計(jì)算。即使在數(shù)據(jù)量很大拧篮，網(wǎng)絡(luò)也很大的場合词渤，快速計(jì)算很重要的另一個(gè)原因是，訓(xùn)練神經(jīng)網(wǎng)絡(luò)的過程串绩，很多時(shí)候是憑直覺的缺虐。你有了關(guān)于神經(jīng)網(wǎng)絡(luò)架構(gòu)的想法，然后你寫代碼實(shí)現(xiàn)你的想法赏参。然后跑一下實(shí)驗(yàn)志笼，可以告訴你沿盅，你的神經(jīng)網(wǎng)絡(luò)效果有多好，知道結(jié)果之后再回去纫溃，改你的神經(jīng)網(wǎng)絡(luò)中的一些細(xì)節(jié)腰涧。然后你不斷重復(fù)這個(gè)循環(huán)。當(dāng)你的神經(jīng)網(wǎng)絡(luò)需要很長時(shí)間去訓(xùn)練紊浩，需要很長時(shí)間才能走一圈循環(huán)的話窖铡，在實(shí)現(xiàn)神經(jīng)網(wǎng)絡(luò)時(shí)，迭代速度對(duì)你的效率影響巨大坊谁。
如果你有一個(gè)想法费彼，直接去試，10分鐘后就能看到結(jié)果口芍，或者最多花上一天箍铲。如果你訓(xùn)練你的神經(jīng)網(wǎng)絡(luò)，用了一個(gè)月的時(shí)間鬓椭，有時(shí)候確實(shí)需要那么久颠猴。如果你能很快得到結(jié)果，比如10分鐘或者一天內(nèi)小染，你就可以嘗試更多的想法翘瓮。那你就很可能發(fā)現(xiàn)，適合你的應(yīng)用的神經(jīng)網(wǎng)絡(luò)裤翩。所以計(jì)算速度的提升资盅，真的有幫助提高迭代速度，讓你更快地得到實(shí)驗(yàn)結(jié)果踊赠。這也同時(shí)幫助了神經(jīng)網(wǎng)絡(luò)的從業(yè)人員呵扛，和有關(guān)項(xiàng)目的研究人員，在深度學(xué)習(xí)的工作中迭代得更快臼疫，也能夠更快地改進(jìn)你的想法择份。所有這些都極大推動(dòng)了，整個(gè)深度學(xué)習(xí)社區(qū)的研究烫堤，快到令人難以置信。
人們一直在發(fā)明新的算法凤价，持續(xù)不斷地進(jìn)步鸽斟，是這些力量支持了深度學(xué)習(xí)的崛起。但好消息是利诺，這些力量還在不斷發(fā)揮作用富蓄，讓深度學(xué)習(xí)更進(jìn)一步。我們看數(shù)據(jù)慢逾，我們的社會(huì)還在產(chǎn)生更多的數(shù)字化數(shù)據(jù)立倍。我們看計(jì)算灭红，GPU這類專用硬件還在繼續(xù)發(fā)展，網(wǎng)絡(luò)速度更快口注，各種硬件更快变擒。我很有信心，我們實(shí)現(xiàn)超級(jí)大規(guī)模神經(jīng)網(wǎng)絡(luò)的能力寝志，或者從計(jì)算能力這個(gè)角度看娇斑，也在繼續(xù)進(jìn)展。我們看算法材部，我希望深度學(xué)習(xí)研究社區(qū)毫缆，能在算法上持續(xù)創(chuàng)新±值迹基于這些苦丁，我們可以樂觀地回答，深度學(xué)習(xí)還會(huì)繼續(xù)進(jìn)步很多年物臂。
讓我們繼續(xù)旺拉，最后一個(gè)課程視頻中，我們會(huì)談到通過這門課鹦聪，你能學(xué)到什么账阻。
關(guān)于這門課
學(xué)習(xí)進(jìn)度來到了這個(gè)“微專業(yè)”第一門課第一周的最后≡蟊荆快速地介紹一下淘太，下一周將要學(xué)習(xí)什么內(nèi)容。在第一個(gè)視頻里我已經(jīng)說過规丽，本“微專業(yè)”一共有五門課蒲牧，目前是第一門課。這門課將教會(huì)你最重要的基礎(chǔ)知識(shí)赌莺，深度學(xué)習(xí)最重要的基礎(chǔ)冰抢。第一門課的結(jié)尾，你將掌握如何建立并運(yùn)用一個(gè)深度神經(jīng)網(wǎng)絡(luò)艘狭。
下面是第一門課的一些細(xì)節(jié)挎扰，這門課有四個(gè)星期的學(xué)習(xí)材料。目前你就要完成第一周的學(xué)習(xí)了巢音，學(xué)完了深度學(xué)習(xí)的入門介紹遵倦。在每一周的結(jié)尾，都會(huì)有十道多選題官撼，可以用來檢驗(yàn)自己對(duì)材料的理解梧躺。當(dāng)你看完這個(gè)視頻的時(shí)候，希望你能看看這些問題傲绣，
在第二周你會(huì)學(xué)習(xí)到掠哥，神經(jīng)網(wǎng)絡(luò)的編程基礎(chǔ)巩踏，了解神經(jīng)網(wǎng)絡(luò)中，“正向傳播”和“反向傳播”的結(jié)構(gòu)续搀，還有算法的過程塞琼，以及如何高效實(shí)現(xiàn)神經(jīng)網(wǎng)絡(luò)。從第二周開始目代，你也會(huì)開始做一些編程練習(xí)屈梁，練習(xí)學(xué)到的知識(shí)，自己實(shí)現(xiàn)算法榛了，親自調(diào)試到完美運(yùn)行在讶。當(dāng)我學(xué)習(xí)算法的時(shí)候，那讓我很過癮霜大，通過代碼編程构哺，親自看到它完美運(yùn)行。我希望你們也喜歡战坤。
在學(xué)習(xí)了神經(jīng)網(wǎng)絡(luò)編程的框架之后曙强，在第三周，你會(huì)編寫單隱層神經(jīng)網(wǎng)絡(luò)途茫，你需要學(xué)習(xí)所有必需的關(guān)鍵概念碟嘴，才能實(shí)現(xiàn)神經(jīng)網(wǎng)絡(luò)。最后在第四周囊卜，你將建立了一個(gè)多層的深層神經(jīng)網(wǎng)絡(luò)娜扇，讓它為你服務(wù)。
恭喜你完成了這段視頻栅组，我希望你現(xiàn)在對(duì)深度學(xué)習(xí)雀瓢，有一個(gè)高層次的理解。也許有些人會(huì)想玉掸，自己想到了刃麸，哪里可以應(yīng)用深度學(xué)習(xí)。我希望看完這段視頻后司浪，你會(huì)去看那10個(gè)多項(xiàng)選擇題泊业，它們就在課程網(wǎng)站上，來檢查你的理解啊易。不用復(fù)習(xí)脱吱，第一次做不知道所有答案，你可以多做幾次认罩，直到你都做對(duì)了為止。我覺得這些問題很有用续捂，能保證我理解了所有概念垦垂，我希望你也可以做到宦搬。
再次祝賀你看到了這里，期待在第二周的視頻中也看到你劫拗。
課程資源
希望你能夠喜歡這門課程间校。為了幫助你完成課程，我想要確保页慷，你知道有下面這些課程材料憔足。
首先如果你有任何疑問，想和這個(gè)課程的其它同學(xué)討論酒繁，想和包括我在內(nèi)的教學(xué)人員討論滓彰，或者想要?dú)w檔一個(gè)錯(cuò)誤報(bào)告，論壇是去做這些事情最好的地方州袒。我和其他教學(xué)人員 會(huì)定期關(guān)注論壇揭绑，這也是一個(gè)，從與你一同學(xué)習(xí)本課程的同學(xué)獲取答案的好地方郎哭。如果你想要回答同學(xué)們的問題他匪，可以從課程首頁來到課程的論壇。
如果你看到左側(cè)的這個(gè)菜單欄夸研，你的可能會(huì)看起來和我的有些不一樣邦蜜，但都會(huì)有這個(gè)論壇模塊。當(dāng)你點(diǎn)擊它的時(shí)候亥至，就會(huì)打開課程論壇悼沈。
在論壇上提問是問問題的最好方法，出于某些原因你可能想直接聯(lián)系我們抬闯，或是想讓我們知道一些問題井辆，盡管把郵件發(fā)送到這個(gè)郵箱地址。我保證我們會(huì)閱讀每一個(gè)郵件溶握。我們會(huì)盡力去解決經(jīng)常出現(xiàn)的問題杯缺，由于電子郵件的數(shù)量很多，我不能保證我們能夠迅速回復(fù)每一封郵件睡榆，但是我們會(huì)閱讀你發(fā)送的每一封郵件萍肆。
另外有些其它公司，想要給大批的職員培訓(xùn)深度學(xué)習(xí)的話胀屿，如果你在公司是負(fù)責(zé)培訓(xùn)工作塘揣，想深度學(xué)習(xí)專家來培訓(xùn)上百或者更多的雇員，盡管通過這個(gè)電子郵箱聯(lián)系我們宿崭，我們看看能否幫到你亲铡。我們在開發(fā)大學(xué)課程，但處于早期的階段，如果你是大學(xué)領(lǐng)導(dǎo)奖蔓，或者管理人員赞草，想在學(xué)校提供一門深度學(xué)習(xí)課程，請(qǐng)盡管通過這個(gè)郵箱地址聯(lián)系我們吆鹤。
我會(huì)提供更多的資源厨疙，來完成這門課程，也許我會(huì)在論壇見到你噢疑务，祝你好運(yùn)沾凄。
