最近，AI靠著深度學(xué)習(xí)不僅成為傳統(tǒng)的工業(yè)湿故、醫(yī)療、商業(yè)和互聯(lián)網(wǎng)領(lǐng)域的前沿膜蛔，還包括新的領(lǐng)域坛猪，像自動駕駛和服務(wù)型機(jī)器人的研發(fā)。究竟這門在學(xué)術(shù)界和工業(yè)界都備受關(guān)注的技術(shù)本質(zhì)不同是什么皂股？深度學(xué)習(xí)的核心思想是什么呢墅茉？我認(rèn)為就是更多的GPU、更多的數(shù)據(jù)和更復(fù)雜的模型呜呐。
學(xué)習(xí)目標(biāo)
不是所有的數(shù)據(jù)就斤，機(jī)器都能學(xué)。比如輸入一個瀏覽器代碼蘑辑，機(jī)器不會學(xué)習(xí)到如何開發(fā)瀏覽器（現(xiàn)有技術(shù)下）洋机。效果好的應(yīng)用集中于圖像和文本領(lǐng)域，如圖像分類洋魂、目標(biāo)識別和推薦系統(tǒng)等绷旗。如果你要解決的是個回歸（預(yù)測連續(xù)值）或分類問題（預(yù)測離散值），這種技術(shù)也許會有效副砍。因為學(xué)習(xí)的目標(biāo)可以明確定義為最小化預(yù)測值和真實值的差衔肢，偏差一般是均方誤差、多分類的softmax損失和SVM損失等豁翎。
在這方面角骤，深度學(xué)習(xí)沒什么進(jìn)展，依然是采用了傳統(tǒng)機(jī)器學(xué)習(xí)的方式定義學(xué)習(xí)的目標(biāo)心剥。
優(yōu)化方法
優(yōu)化方法就是求解上面最小化問題最優(yōu)解的過程邦尊，深度學(xué)習(xí)依然采用最初期的基于梯度下降的誤差反向傳播訓(xùn)練方法硼控。當(dāng)然，因為網(wǎng)絡(luò)層數(shù)的增加胳赌，誤差在反向傳播的過程中很容易出現(xiàn)梯度消失或梯度爆炸的問題牢撼，這也是基于梯度學(xué)習(xí)方法的局限，還有像多目標(biāo)優(yōu)化的問題等疑苫。深度學(xué)習(xí)模型采用的優(yōu)化方法幾乎都是Adam或SGD+Momentum+學(xué)習(xí)率遞減熏版。
可見，在優(yōu)化方法上捍掺，深度學(xué)習(xí)也沒有做出什么重要貢獻(xiàn)撼短。
模型結(jié)構(gòu)
這部分正是深度學(xué)習(xí)的核心，即如何設(shè)計神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)挺勿。在特定領(lǐng)域中應(yīng)用深度學(xué)習(xí)技術(shù)的關(guān)鍵是曲横，如何設(shè)計神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)，使最優(yōu)解保證在該結(jié)構(gòu)的表示空間中不瓶，并同時約束和減小解空間的大小禾嫉。設(shè)計結(jié)構(gòu)這部分的工作無法由機(jī)器自動完成，必需人工設(shè)計蚊丐，而且也沒有什么理論指導(dǎo)熙参，該用多少層網(wǎng)絡(luò)，每層多少個節(jié)點等等都來自經(jīng)驗麦备。
下面介紹在圖像領(lǐng)域的經(jīng)典深度網(wǎng)絡(luò)結(jié)構(gòu)：
圖像分類
最初孽椰，深度學(xué)習(xí)收到關(guān)注的原因是，使用卷積神經(jīng)網(wǎng)絡(luò)的AlexNet在ImageNet比賽（百萬張圖片凛篙，1000個類別）中取得突破黍匾。原來神經(jīng)網(wǎng)絡(luò)之前效果不好，不是因為能力不夠呛梆，而是訓(xùn)練數(shù)據(jù)不足锐涯，GPU不夠，使其能力發(fā)揮不出來削彬。后來全庸，網(wǎng)絡(luò)的層數(shù)越來越深，并提出了Inception融痛、殘差網(wǎng)絡(luò)的新連接結(jié)構(gòu)壶笼，在ImageNet數(shù)據(jù)上識別準(zhǔn)備率超過了人類。
現(xiàn)在雁刷，我們希望用深度神經(jīng)網(wǎng)絡(luò)做圖像分類任務(wù)時覆劈，可以不需要大量數(shù)據(jù)。使用用ImageNet數(shù)據(jù)集訓(xùn)練過的InceptionV2（V3），直接retrain或fine-tuning责语，收集數(shù)據(jù)每個類別幾百張圖片炮障，就可以訓(xùn)練出一個不錯的分類器，可以達(dá)到80-90%左右準(zhǔn)確度坤候。
分類任務(wù)中的樣本不平衡胁赢、多標(biāo)記等問題依然存在。分類器泛化到新類別的能力仍需重新訓(xùn)練白筹，目前在圖像分類研究中智末，有利用不同類別的語義信息，讓分類器具有識別新的沒有訓(xùn)練樣本的類的能力徒河，即zero-shot learning系馆。
目標(biāo)識別
目標(biāo)識別包括兩個任務(wù)，獲取物體的位置并識別其類別顽照，前者是個回歸問題由蘑，后者是分類問題，所以模型的學(xué)習(xí)目標(biāo)是多個的代兵。模型的設(shè)計困難是如何獲取可能出現(xiàn)物體的box坐標(biāo)位置尼酿，RCNN直接在圖像上作region proposal，fast RCNN在卷積后的特征上作region proposal奢人，faster RCNN學(xué)習(xí)一個神經(jīng)網(wǎng)絡(luò)作proposal谓媒，YOLO/SSD的方法不做proposal，直接劃分成S*S的網(wǎng)格何乎，雖然識別速度很快，但識別精度較差土辩。
在圖像的實際應(yīng)用中支救，目標(biāo)識別是很重要的，也是很多有趣應(yīng)用的開始拷淘。在實際中各墨，我們需要根據(jù)任務(wù)的不同，在識別的速度和精度之間平衡启涯，選擇最適合的模型贬堵。
當(dāng)然，深度學(xué)習(xí)在圖像中的應(yīng)用還有很多有趣的部分结洼，如和文本結(jié)合的看圖說話（image caption）黎做、視覺問答（VQA），讓機(jī)器具有創(chuàng)造力的生成模型風(fēng)格遷移和GAN模型等松忍。
放棄原因
- 貧窮限制了能力蒸殿，這種需要大量標(biāo)記數(shù)據(jù)和GPU的工作還是交給有財力的大公司吧；
- 數(shù)據(jù)驅(qū)動的學(xué)習(xí)方法的不穩(wěn)定和難遷移，可能幾個像素的微小變化就會使模型失效宏所；
- 現(xiàn)實中的場景是無窮多的酥艳，與其花這么多人力物力將AI應(yīng)用到現(xiàn)實中，也許構(gòu)建一個理想的適合機(jī)器的環(huán)境更簡單些（如自動駕駛）爬骤；
- 這次AI的興起充石，商業(yè)的價值估計似乎遠(yuǎn)大于目前技術(shù)上的發(fā)展，過于樂觀霞玄；
- 對于智能的思考骤铃，我想除了從更大規(guī)模的角度上考慮，還有其他值得探索的地方溃列。
