深度學(xué)習(xí)能夠訓(xùn)練計(jì)算機(jī)來(lái)執(zhí)行人類(lèi)的任務(wù)康栈，例如：識(shí)別語(yǔ)音，辨認(rèn)圖像或進(jìn)行預(yù)測(cè)等楼镐。

不同于用定義好的方程處理數(shù)據(jù)的傳統(tǒng)模式癞志，深度學(xué)習(xí)設(shè)置好關(guān)于數(shù)據(jù)的基本參數(shù)，并訓(xùn)練計(jì)算機(jī)自己進(jìn)行學(xué)習(xí)框产。

為何深度學(xué)習(xí)如今這么重要凄杯？

為了使應(yīng)用程序能夠理解用戶的輸入并同樣以人類(lèi)的形式做出反饋，研究人員對(duì)作為認(rèn)知計(jì)算的基石之一的深度學(xué)習(xí)進(jìn)行了大量的研究秉宿。到如今戒突，深度學(xué)習(xí)技術(shù)已經(jīng)極大的增強(qiáng)了計(jì)算機(jī)分類(lèi)、辨識(shí)描睦、發(fā)現(xiàn)與描述的能力膊存，或者說(shuō)增強(qiáng)了其理解的能力。

很多應(yīng)用已經(jīng)被用在處理非數(shù)字化的數(shù)據(jù)忱叭，例如：圖像分類(lèi)隔崎、語(yǔ)音識(shí)別、物品檢測(cè)和內(nèi)容描述韵丑。像 Siri 和 Cortana 的系統(tǒng)也要?dú)w功于基于深度機(jī)器學(xué)習(xí)的認(rèn)知計(jì)算仍稀。

深度學(xué)習(xí)取得的進(jìn)步得力于一些技術(shù)的發(fā)展。算法的改善提高了深度學(xué)習(xí)方法的性能埂息，機(jī)器學(xué)習(xí)準(zhǔn)確性的提高創(chuàng)造了巨大的商業(yè)價(jià)值技潘。完美適用于文本翻譯和圖像分類(lèi)應(yīng)用的新型神經(jīng)網(wǎng)絡(luò)也已經(jīng)得到實(shí)現(xiàn)。

盡管神經(jīng)網(wǎng)絡(luò)已經(jīng)存在近50年的時(shí)間千康，但是直到上世紀(jì)90年代末享幽，由于可用于訓(xùn)練的數(shù)據(jù)不足，一直無(wú)法得到精確的結(jié)論拾弃。革命性的轉(zhuǎn)機(jī)出現(xiàn)在最近10年：

我們有了足夠建立更多更深層神經(jīng)網(wǎng)絡(luò)所需的數(shù)據(jù)值桩，包括來(lái)自物聯(lián)網(wǎng)的流數(shù)據(jù)，來(lái)自社交媒體的文本數(shù)據(jù)豪椿，醫(yī)療記錄和研究報(bào)告奔坟。

分布式云計(jì)算和 GPU 的發(fā)展給我們提供了訓(xùn)練深層算法所必須的計(jì)算能力携栋。

與此同時(shí)，人機(jī)界面也得到了很大的進(jìn)化咳秉。鼠標(biāo)與鍵盤(pán)正在被手勢(shì)婉支、動(dòng)作、觸摸和自然語(yǔ)言所代替澜建，認(rèn)知計(jì)算迎來(lái)了新的發(fā)展契機(jī)向挖。

發(fā)展的契機(jī)

深度學(xué)習(xí)算法的迭代性質(zhì)導(dǎo)致它們的復(fù)雜性會(huì)隨著層數(shù)加深而增加，網(wǎng)絡(luò)也需要龐大的數(shù)據(jù)量來(lái)進(jìn)行訓(xùn)練炕舵。自然何之，深度學(xué)習(xí)問(wèn)題需要有龐大的計(jì)算能力進(jìn)行支持。

傳統(tǒng)的建模方法是很好理解的咽筋，它們的預(yù)測(cè)方法和業(yè)務(wù)規(guī)則也很容易說(shuō)明溶推。而深度學(xué)習(xí)卻更像是一個(gè)黑箱方法。你可以通過(guò)用新數(shù)據(jù)訓(xùn)練它們來(lái)證明它們運(yùn)行正常奸攻。但是由于它們非線性的本質(zhì)悼潭，為什么會(huì)得到一個(gè)特定的結(jié)果卻很難進(jìn)行解釋。這種特性可能會(huì)對(duì)深度學(xué)習(xí)技術(shù)的實(shí)際應(yīng)用造成一些阻力舞箍，在高度管制的工業(yè)生產(chǎn)中更是如此舰褪。

另一方面，基于學(xué)習(xí)方法的動(dòng)態(tài)特性疏橄，它們能夠持續(xù)進(jìn)行改進(jìn)并適應(yīng)基礎(chǔ)信息模式的變化占拍，這種能力能夠在分析時(shí)引入更少的確定性，進(jìn)行更動(dòng)態(tài)行為的模擬捎迫。這一特性可以用在進(jìn)行更個(gè)性化的用戶分析中晃酒。

趁計(jì)算能力發(fā)展的契機(jī)，長(zhǎng)久以來(lái)部署的神經(jīng)網(wǎng)絡(luò)應(yīng)用的準(zhǔn)確性與性能也得到了很大的提高窄绒。有更好的算法和計(jì)算能力支持贝次，它們的深度也能夠繼續(xù)增加。

深度學(xué)習(xí)的應(yīng)用

外界看來(lái)彰导，深度學(xué)習(xí)也許仍處于計(jì)算機(jī)科學(xué)家和數(shù)據(jù)專(zhuān)家們正在對(duì)其能力進(jìn)行測(cè)試的研究階段蛔翅，實(shí)際上，深度學(xué)習(xí)已經(jīng)有一些實(shí)際的商業(yè)應(yīng)用位谋，隨著研究的進(jìn)行山析，更多的應(yīng)用也將實(shí)現(xiàn)。目前主要的應(yīng)用有：

語(yǔ)音識(shí)別：商業(yè)和學(xué)術(shù)界都在使用深度學(xué)習(xí)進(jìn)行語(yǔ)音識(shí)別掏父。Xbox笋轨，Skype，Google Now 和 Apple Siri，都已經(jīng)在其系統(tǒng)中采用深度學(xué)習(xí)技術(shù)爵政。

圖像識(shí)別：圖像識(shí)別的一個(gè)實(shí)際應(yīng)用是自動(dòng)圖像說(shuō)明和場(chǎng)景描述仅讽。這對(duì)于在一個(gè)擁擠地區(qū)有犯罪發(fā)生時(shí)，從旁觀者提交的數(shù)千張照片中查明犯罪活動(dòng)的執(zhí)法調(diào)查至關(guān)重要钾挟。自動(dòng)駕駛汽車(chē)同樣能從中受益洁灵。

自然語(yǔ)言處理：神經(jīng)網(wǎng)絡(luò)作為深度學(xué)習(xí)的核心組成部分，很多年來(lái)一直被用來(lái)分析和處理書(shū)面文本等龙。專(zhuān)業(yè)化的文本挖掘可以用于處理用戶投訴处渣，醫(yī)療記錄或新聞報(bào)道伶贰。

推薦系統(tǒng)：Amazon 和 Netflix 已經(jīng)公布了一個(gè)推薦系統(tǒng)的點(diǎn)子蛛砰，它們能夠根據(jù)歷史記錄知道你最可能感興趣的物品。深度學(xué)習(xí)也可以用來(lái)提高跨平臺(tái)音樂(lè)黍衙，服裝推薦系統(tǒng)的性能泥畅。

深度學(xué)習(xí)是如何工作的？

深度學(xué)習(xí)將告訴電腦如何解決問(wèn)題的傳統(tǒng)分析模式轉(zhuǎn)變?yōu)?b>訓(xùn)練電腦自己解決問(wèn)題琅翻。

傳統(tǒng)模型建立的過(guò)程是使用手頭的數(shù)據(jù)來(lái)設(shè)計(jì)特征并導(dǎo)出新的變量位仁，然后選擇一個(gè)分析模型，最后估計(jì)它的參數(shù)方椎。因?yàn)榻Y(jié)果的完整性和正確性基于模型的質(zhì)量和特征聂抢，這樣的預(yù)測(cè)系統(tǒng)并不容易推廣到其他問(wèn)題上。例如：如果你想要開(kāi)發(fā)一個(gè)具有特征工程的欺詐模型棠众，從一組變量開(kāi)始琳疏，使用數(shù)據(jù)轉(zhuǎn)換從這些變量中導(dǎo)出模型。你可能最終會(huì)得到模型依賴(lài)的30000個(gè)變量闸拿，接著就需要找出這些變量中哪些是有意義的空盼，哪些沒(méi)有，等等新荤。如果增加更多的數(shù)據(jù)你又要將這些重新來(lái)過(guò)揽趾。而應(yīng)用深度學(xué)習(xí)的新方法是使用適當(dāng)?shù)膶哟位卣魈鎿Q模型的公式和規(guī)范，并根據(jù)層中的規(guī)律識(shí)別出數(shù)據(jù)的隱藏特征苛骨。

深度學(xué)習(xí)的范式轉(zhuǎn)變是從特征工程到特征表示的轉(zhuǎn)變篱瞎。使用深度學(xué)習(xí)可以開(kāi)發(fā)出概括性強(qiáng)，適應(yīng)性好痒芝，能使用新數(shù)據(jù)持續(xù)進(jìn)行完善的系統(tǒng)奔缠。比建立在確定性業(yè)務(wù)規(guī)則上的預(yù)測(cè)系統(tǒng)更具動(dòng)態(tài)性。我們不再是去適應(yīng)一個(gè)模型吼野，而是去訓(xùn)練一個(gè)模型校哎。

下面為大家介紹一個(gè)深度學(xué)習(xí)模型—卷積神經(jīng)網(wǎng)絡(luò)

卷積神經(jīng)網(wǎng)絡(luò)是模擬動(dòng)物腦部視覺(jué)皮層而建立起來(lái)的，其特點(diǎn)是單個(gè)神經(jīng)元只響應(yīng)某個(gè)特定區(qū)域的刺激。它的主要結(jié)構(gòu)包括卷積層闷哆，池化層腰奋，激活層，全連接層等抱怔。

1）卷積層

如圖所示劣坊，卷積層中一個(gè)神經(jīng)元能夠關(guān)聯(lián)輸入層的一小塊被稱(chēng)為接收?qǐng)龅膮^(qū)域，想象一下在卷積層用一個(gè)手電照向輸入層屈留，并在輸入層上進(jìn)行滑動(dòng)局冰，它所照亮的區(qū)域就是接收?qǐng)觥＿@把手電同樣是由一組數(shù)據(jù)構(gòu)成灌危，被稱(chēng)作卷積核康二。

利用一個(gè)卷積核對(duì)輸入層的信息進(jìn)行過(guò)濾，將對(duì)應(yīng)位置的像素值相乘再累加就可以得到一個(gè)卷積結(jié)果勇蝙，將卷積核依次劃過(guò)輸入層的所有數(shù)據(jù)后沫勿，就完成了一次對(duì)原始數(shù)據(jù)的加工。用公式可以描述為：

2）權(quán)值共享

假設(shè)使用一幅1000*1000大小的圖像作為網(wǎng)絡(luò)的輸入味混，此時(shí)輸入層上有1000000個(gè)像素产雹，如果網(wǎng)絡(luò)的下一層也同樣有1000000個(gè)神經(jīng)元，采用全連接的方式時(shí)翁锡，每個(gè)神經(jīng)元均與輸入層的所有像素通過(guò)權(quán)值連接蔓挖，此時(shí)網(wǎng)絡(luò)中參數(shù)的數(shù)量是10^12，可以想到完成這些需要相當(dāng)龐大的計(jì)算量馆衔。

那么瘟判，有沒(méi)有辦法減少這些計(jì)算量呢？

想想上面提過(guò)的感受野哈踱，如果我們讓每個(gè)神經(jīng)元只與輸入層的10*10個(gè)像素連接荒适，此時(shí)參數(shù)的數(shù)量減少到了100*1000000。現(xiàn)在开镣，讓我們的腦洞再大一點(diǎn)刀诬，如果所有的神經(jīng)元都是用同一組權(quán)值會(huì)怎么樣？當(dāng)1000000個(gè)神經(jīng)元共用一組權(quán)值的時(shí)候邪财，參數(shù)的數(shù)量變成了100個(gè)陕壹！當(dāng)然，使用一個(gè)卷積核只能提取到原數(shù)據(jù)一部分的特征树埠，要提取更多的特征糠馆，我們把卷積核的數(shù)量提高到100個(gè)，此時(shí)參數(shù)的數(shù)量是100*100=10000個(gè)怎憋∮致担可以看到參數(shù)已經(jīng)較之前大大減少了九昧！

3）池化層

池化層將輸入數(shù)據(jù)劃分為許多小的子區(qū)域，只提取每個(gè)子區(qū)域最大值的方法就稱(chēng)為最大值池化毕匀。池化層的意義在于提取出數(shù)據(jù)中的“顯著特征”而忽略“細(xì)節(jié)特征”铸鹰，以減少網(wǎng)絡(luò)中的參數(shù)和計(jì)算量，并且能夠控制過(guò)擬合皂岔。如圖所示即是最大值池化蹋笼。

4）激活層

激活層使用非線性激活函數(shù)：修正線性單元（Rectified Linear Units ReLU）

它的作用是使卷積計(jì)算結(jié)果中小于0的值等于0，其他的值保持不變躁垛。在不影響卷積層的接收?qǐng)龅耐瑫r(shí)增加了決策函數(shù)和整個(gè)網(wǎng)絡(luò)的非線性屬性剖毯。相較于其他激活函數(shù)

Tanh：

Sigmoid：

ReLU 不需要計(jì)算指數(shù)，能大幅提高神經(jīng)網(wǎng)絡(luò)的訓(xùn)練速度教馆。

5）全連接層

全連接層一般放在網(wǎng)絡(luò)的最后逊谋，對(duì)前一層得到的高階特征進(jìn)行分類(lèi)。

原文地址：http://www.sas.com/en_id/insights/analytics/deep-learning.html#deepworks

本文作者：雷原嘉（點(diǎn)融黑幫）活玲，現(xiàn)就職于點(diǎn)融網(wǎng)工程部Fincore TechOps 團(tuán)隊(duì)涣狗，暴雪腦殘粉一枚谍婉。