《深度學(xué)習(xí)在圖像識別中的研究進(jìn)展與展望》 王曉剛
看了一下2015年機(jī)器視覺領(lǐng)域相關(guān)的論文，其中涉及CNN（卷積神經(jīng)網(wǎng)絡(luò)）的相當(dāng)多狸演。再加上今年3月份悉盆，谷歌的阿爾法狗在圍棋比賽中戰(zhàn)勝了李世乭昧绣，神經(jīng)網(wǎng)絡(luò)、深度學(xué)習(xí)侯勉、人工智能又一次成為了人們關(guān)注的熱點(diǎn)鹦筹。華科計算機(jī)幾個大實(shí)驗(yàn)室?guī)缀醵加猩婕暗竭@個方面的研究。圖像所主要研究醫(yī)學(xué)影像處理址貌；理論所主要研究算法的優(yōu)化铐拐；國光這一邊目前更偏向于體系結(jié)構(gòu)優(yōu)化以及硬件加速。
這篇文章來源于香港機(jī)器視覺領(lǐng)域知名學(xué)者王曉剛练对，但是具體的期刊名稱和日期沒有找到遍蟋。文章不長，但涉及面很廣螟凭，內(nèi)容也很有指導(dǎo)意義虚青。以下是對于這片文章的簡要總結(jié)。
深度學(xué)習(xí)發(fā)展歷史
- 上世紀(jì)40年代 神經(jīng)網(wǎng)絡(luò)模型被提出螺男，試圖通過模擬大腦認(rèn)知的機(jī)理棒厘，解決各種機(jī)器學(xué)習(xí)的問題。
- 1986年 Rumelhart下隧，Hinton 和 Williams 在《自然》發(fā)表了著名的反向傳播算法奢人，用于訓(xùn)練神經(jīng)網(wǎng)絡(luò)
- 2000年前后 由于計算資源有限、訓(xùn)練集規(guī)模小淆院，人們更傾向于淺層學(xué)習(xí)機(jī)（如SVM何乎、Boosting、最鄰近等分類器）
- 2006年 Geoffrey Hinton 提出了深度學(xué)習(xí)
- 2012年 Hinton 的研究小組采用深度學(xué)習(xí)（卷積神經(jīng)網(wǎng)絡(luò)模型）贏得了 ImageNet 圖像分類的比賽，把top5錯誤率降到15.315%支救，并且結(jié)果由于第二名10%以上抢野，因此引起了較大轟動并掀起了深度學(xué)習(xí)的熱潮，這個網(wǎng)絡(luò)的結(jié)構(gòu)被稱作 AlexNet
- 2013-2014年 百度各墨、谷歌蒙保、facebook陸續(xù)成立深度學(xué)習(xí)實(shí)驗(yàn)室
- 2014年 ILSVRC比賽中GooLeNet將top5錯誤率降到6.656%，它的最大特點(diǎn)就是深度超過20層
深度學(xué)習(xí)有何與眾不同欲主？
特征學(xué)習(xí)
深度學(xué)習(xí)與傳統(tǒng)模式識別方法的最大不同在于它是從大數(shù)據(jù)中自動學(xué)習(xí)特征。而非采用手工設(shè)計的特征逝嚎。傳統(tǒng)的模式識別系統(tǒng)依賴先驗(yàn)知識扁瓢，需要手工調(diào)整參數(shù)，因此參數(shù)不易過多补君。然而深度學(xué)習(xí)模型可以包含千萬級別的參數(shù)引几。
深度學(xué)習(xí)的關(guān)鍵就是通過多層非線性映射將圖像中復(fù)雜的因素成功地分開。
深層結(jié)構(gòu)的優(yōu)勢
如果模型的深度不夠挽铁，其所需的計算單元就會呈指數(shù)增加伟桅。這也就是淺層模型、三層神經(jīng)網(wǎng)絡(luò)的問題所在叽掘。深度模型能夠減少參數(shù)的關(guān)鍵在于重復(fù)利用中間層的計算單元楣铁。
在最高的隱含層，每個神經(jīng)元代表了一個屬性分類器更扁，例如男女盖腕、人種和頭發(fā)顏色等等。每個神經(jīng)元將圖像空間一分為二浓镜，N 個神經(jīng)元的組合就可以表達(dá)2N個局部區(qū)域溃列，而用淺層模型表達(dá)這些區(qū)域的劃分至少需要個2N 模板。
提取全局特征和上下文信息的能力
圖像分割的時候膛薛，面對遮擋的問題需要根據(jù)全局和上下文信息進(jìn)行判斷听隐。傳統(tǒng)方法通常在第一步提取局部紋理特征的時候就丟失的全局信息。而深度學(xué)習(xí)在提取圖像的全局特征和上下文信息方面具有優(yōu)勢哄啄。因此在人臉分割雅任、人臉匹配和人體姿態(tài)估計等方面深度學(xué)習(xí)取得了成功。
圖像分割可以被當(dāng)做一個高維數(shù)據(jù)轉(zhuǎn)換的問題來解決咨跌。這樣不但利用到了上下文信息椿访，模型在高維數(shù)據(jù)轉(zhuǎn)換的過程中也隱式地加入了形狀先驗(yàn)。
聯(lián)合深度學(xué)習(xí)
用于行人檢測的聯(lián)合深度學(xué)習(xí)中虑润，深度模型的各個層和視覺系統(tǒng)的各個模塊可以建立起對應(yīng)關(guān)系成玫。與之類似的還有多階段深度學(xué)習(xí)。還有一些視覺系統(tǒng)中的有效關(guān)鍵模塊在現(xiàn)有的深度學(xué)習(xí)中沒有對應(yīng)層，那么可以考慮新的深度模型哭当。例如聯(lián)合深度學(xué)習(xí)及其后續(xù)研究針對幾何形變提出的新的形變層和形變池化層猪腕。總之钦勘，為了能夠在機(jī)器視覺領(lǐng)域更好的應(yīng)用深度學(xué)習(xí)模型陋葡，僅僅把它當(dāng)成一個黑盒子是不夠的。
深度學(xué)習(xí)在圖像處理中的應(yīng)用
在于圖像和視頻相關(guān)的應(yīng)用中彻采，最成功的是深度卷積網(wǎng)絡(luò)腐缤，它正是利用了與圖像的特殊結(jié)構(gòu)。其中最重要的兩個操作肛响，卷積和池化（pooling）都來自于與圖像相關(guān)的領(lǐng)域知識岭粤。
- ImageNet圖像分類
- 人臉識別
（文中多次提到，將CNN最高的隱含層作為特征特笋？） - 物體檢測
- 視頻分析 難點(diǎn)是如何描述動態(tài)特征剃浇，如何將這些信息體現(xiàn)在深度模型中。最直接的做法是猎物，將視頻視為三維圖像直接應(yīng)用卷積網(wǎng)絡(luò)虎囚。另一種更好的思路是通過預(yù)處理計算光流場，作為卷及神經(jīng)網(wǎng)絡(luò)的一個輸入通道蔫磨。
補(bǔ)充
從特征描述符到深度學(xué)習(xí)：計算機(jī)視覺發(fā)展20年：從特征描述的角度來講機(jī)器視覺的發(fā)展淘讥。
另外深層模型參數(shù)多，計算量大堤如，訓(xùn)練數(shù)據(jù)的規(guī)模也更大适揉，需要消耗很多計算資源。如果可以讓訓(xùn)練加速煤惩，就可以在同樣的時間內(nèi)多嘗試幾個新主意嫉嘀，多調(diào)試幾組參數(shù)，工作效率會明顯提升魄揉，對于大規(guī)模的訓(xùn)練數(shù)據(jù)和模型來說剪侮，更可以將難以完成的任務(wù)變成可能。對于深度學(xué)習(xí)的加速洛退，一種方法是使用GPU并行計算提高速度瓣俯。一塊GPU卡可相當(dāng)于數(shù)十甚至上百臺CPU服務(wù)器的計算能力，因此GPU已經(jīng)成為業(yè)界在深度學(xué)習(xí)模型訓(xùn)練方面的首選解決方案兵怯。另外一種方法是使用FPGA進(jìn)行特定模型的加速彩匕，相較于GPU來說FPGA能耗更小，但通用性不強(qiáng)媒区。
