http://blog.csdn.net/langb2014/article/details/50813383

個(gè)人閱讀的Deep Learning方向的paper整理译株，分了幾部分吧，但有些部分是有交叉或者內(nèi)容重疊，也不必糾結(jié)于這屬于DNN還是CNN之類著摔，個(gè)人只是大致分了個(gè)類。目前只整理了部分轨香，剩余部分還會(huì)持續(xù)更新境输。

一 RNN

1 Recurrent neural network based language model

? RNN用在語(yǔ)言模型上的開山之作

2 Statistical Language Models Based on Neural Networks

? Mikolov的博士論文，主要將他在RNN用在語(yǔ)言模型上的工作進(jìn)行串聯(lián)

3 Extensions of Recurrent Neural Network Language Model

? 開山之作的延續(xù)宗侦，RNN網(wǎng)絡(luò)的一些改進(jìn)愚臀，如通過類別信息去降低模型的參數(shù)

4 A guide to recurrent neural networks and backpropagation

? RNN網(wǎng)絡(luò)的介紹以及優(yōu)化算法，是了解RNN網(wǎng)絡(luò)的好文章

5 Training Recurrent Neural Networks

? Ilya Sutskever的博士論文矾利，RNN網(wǎng)絡(luò)的訓(xùn)練一直是個(gè)難點(diǎn)姑裂，介紹RNN網(wǎng)絡(luò)的訓(xùn)練優(yōu)化方法

6 Strategies for Training Large Scale Neural Network Language Models

? 介紹訓(xùn)練RNN網(wǎng)絡(luò)訓(xùn)練語(yǔ)言模型的一些Trick

7 Recurrent Neural Networks for Language Understanding

? RNN網(wǎng)絡(luò)語(yǔ)義理解方面的工作

8 Empirical Evaluation and Combination of Advanced Language Modeling Techniques

? 介紹一些語(yǔ)言模型聯(lián)合技術(shù)的一些經(jīng)驗(yàn)馋袜，其中有RNN語(yǔ)言模型與其他模型combinine的工作

9 Speech Recognition with Deep Recurrent Neural Networks

? RNN網(wǎng)絡(luò)用在語(yǔ)音識(shí)別方面的工作

10 A Neural Probabilistic Language Model

? 不是RNN，Yoshua Bengio早期將神經(jīng)網(wǎng)絡(luò)用于訓(xùn)練語(yǔ)言模型的工作舶斧，也算是為后續(xù)的RNN用于語(yǔ)言模型鋪好了基礎(chǔ)欣鳖。

11 On the diffculty of training Recurrent Neural Networks

? 介紹了RNN網(wǎng)絡(luò)訓(xùn)練的難點(diǎn)，比如消失的梯度茴厉，以及提出的一些解決方法

12 Subword Language Modeling with Neural Networks

? ?詞級(jí)的語(yǔ)言模型由于OOV問題對(duì)新詞不適應(yīng)观堂，而字符級(jí)的語(yǔ)言模型雖然能克服這種問題，但是模型訓(xùn)練的復(fù)雜度要提升呀忧，

? ?為了將兩種特性結(jié)合提出了子詞級(jí)的RNN語(yǔ)言模型訓(xùn)練师痕，文中還利用k-means對(duì)模型參數(shù)進(jìn)行了壓縮處理。

13 Performance Analysis of Neural Networks in Combination with N-Gram Language Models

? ?關(guān)于N-gram和神經(jīng)網(wǎng)絡(luò)語(yǔ)言模型聯(lián)合模型的性能分析而账，從實(shí)驗(yàn)的角度分析性能會(huì)提升

14 Recurrent Neural Network based Language Modeling in Meeting Recognition

? ?利用RNN與N-gram結(jié)合胰坟，重估得分提升語(yǔ)音識(shí)別系統(tǒng)性能

二 DNN

1 A practical guide to training restricted Boltzmann machines

? 介紹RBM以及訓(xùn)練RBM時(shí)的N多trick,如果要實(shí)現(xiàn)RBM算法，這篇文章必看

2 A fast learning algorithm for deep belief nets

? Hinton的經(jīng)典之作泞辐，Deep Learning的開山之作笔横，算是Deep Learning爆發(fā)的起點(diǎn)

3 A Learning Algorithm for Boltzmann Machines

? 85年較老的介紹如何Boltzmann訓(xùn)練算法

4 Greedy Layer-Wise Training of Deep Networks

? 可以看作Yoshua Bengio對(duì)06年Hinton工作的延續(xù)和總結(jié)，與06年的文章很具有互補(bǔ)性咐吼，是入門Deep Learning的必備文章

? 文章中也介紹了一些trick,如如何處理第一層節(jié)點(diǎn)為實(shí)值的情況等等

5 Large Scale Distributed Deep Networks

? google的Jeffrey Dean小組工作吹缔，DistBelief框架的提出，主要介紹了google如何采用分布式以及模型切分處理深度網(wǎng)絡(luò)锯茄，加速其訓(xùn)練效果厢塘。

6 Context Dependent Pretrained Deep Neural Networks fo Large Vocabulary Speech Recognition

? 微軟在語(yǔ)音上的成功應(yīng)用，語(yǔ)音識(shí)別系統(tǒng)相對(duì)錯(cuò)誤率降了20%多肌幽，算是Deep Learning在工業(yè)界第一個(gè)成功案例晚碾，其影響轟動(dòng)一時(shí)。

7 Deep Belief Networks for phone recognition

? Hinton小組將DNN用于語(yǔ)音上的早期工作喂急，是微軟工作的基礎(chǔ)

8 Application Of Pretrained Deep Neural Networks To Large Vocabulary Speech Recognition

? DNN在大詞匯量會(huì)話語(yǔ)音識(shí)別工作格嘁，里面有一些Voice Search和Youtube上的實(shí)驗(yàn)報(bào)道

9 An Empirical Study of Learning Rates in Deep Neural Networks for Speech Recognition

? google的DNN-HMM語(yǔ)音識(shí)別系統(tǒng)上學(xué)習(xí)率的一些調(diào)參經(jīng)驗(yàn)

10 Acoustic Modeling using Deep Belief Networks

? Hinton小組早期在語(yǔ)音上的工作，主要是介紹如何將DNN運(yùn)用于聲學(xué)模型訓(xùn)練

11 Deep Neural Networks for Acoustic Modeling in Speech Recognition

? 微軟廊移、google糕簿、IBM等幾家工業(yè)界巨頭對(duì)DNN在語(yǔ)音識(shí)別上的一些共同觀點(diǎn)

12 Deep Belief Networks Using Discriminative Features for Phone Recognition

? Hinton小組和IBM的對(duì)于采用一些區(qū)分性特征訓(xùn)練DNN網(wǎng)絡(luò)的工作，采用LDA降維到40維

13 A Comparison of Deep Neural Network Training Methods for Large Vocabulary Speech Recognition

? DNN實(shí)驗(yàn)方面的對(duì)比狡孔，比如采用不同的預(yù)訓(xùn)練方式：區(qū)分性預(yù)訓(xùn)練和DBN生成式預(yù)訓(xùn)練方式對(duì)比懂诗，以及神經(jīng)元非線性的改變

14 Asynchronous Stochastic Gradient Desent for DNN Training

? 中科院的文章，異步式的GPU并行訓(xùn)練步氏，思想基本跟DistBelief差不多响禽，只不過硬件換成了GPU徒爹，模型沒有做切分

15 Improving Deep Neural Networks For LVCSR using Rectified Linear Units and Dropout

? ?利用ReLU和Dropout技術(shù)提升DNN-HMM系統(tǒng)

16 Improving the speed of neural networks on CPUs

? ?google加速神經(jīng)網(wǎng)絡(luò)前向傳播速度的工作荚醒，如利用定點(diǎn)計(jì)算芋类、SIMD技術(shù)等

17 Improved Bottleneck Features Using Pretrained Deep Neural Networks

? ?微軟DNN-HMM系統(tǒng)的相關(guān)工作

18 Improved feature processing for Deep Neural Networks

? 利用特征處理技術(shù)提升DNN-HMM系統(tǒng)，具體的是對(duì)13維MFCC特征拼接9幀界阁，進(jìn)行LDA-MLLT變換侯繁，最后

? 也可加入SAT模塊得到處理過的40維特征，作為DNN-HMM系統(tǒng)

19 Improving neural networks by preventing co-adaptation of feature detectors

? 主要講了Dropout技術(shù)和其實(shí)驗(yàn)比較結(jié)果分析泡躯，把Dropout看做模型平均化結(jié)果

20 Exploiting Sparseness in Deep Neural Networks fo Large Vocabulary Speech Recognition

? ?采用soft regularization和convex constraint的手段使DNN模型更加的稀疏化贮竟，稀疏化的目的是

? ?減小模型復(fù)雜度，提升計(jì)算速度和模型的泛化能力

21 Feature Learning in Deep Neural Networks Studies on Speech Recognition Tasks

? ?主要從Feature Learning的角度討論DNN網(wǎng)絡(luò)较剃，討論了為何DNN網(wǎng)絡(luò)deeper更佳咕别，為什么DNN能學(xué)出更魯邦的特征等等。

22 Improving Neural Networks with Dropout

? ?Hinton學(xué)生Nitish Srivastava的碩士論文写穴，主要討論了Droput技術(shù)在神經(jīng)網(wǎng)絡(luò)的作用惰拱。

23 Learning Features from Music Audio with Deep Belief Networks

? ?DNN深度網(wǎng)絡(luò)在音樂分類的應(yīng)用，特征為MFCC啊送，類別為hiphop偿短、blues等曲風(fēng)類型

24 Low-Rank Matrix Factorization for Deep Neural Network Training with High-Dimensional Output Targets

? ?IBM方面的工作，利用低秩矩陣分解的技術(shù)解決DNN分類層權(quán)重參數(shù)過多的問題

25 Multilingual Training of Deep Neural Networks

? ?DNN多語(yǔ)言方面的應(yīng)用馋没，調(diào)優(yōu)的時(shí)候只調(diào)分類層參數(shù)即可

26 A Cluster-Based Multiple Deep Neural Networks Method for Large Vocabulay Continuous Speech Recognition

? ?利用類別信息分?jǐn)?shù)據(jù)訓(xùn)練昔逗，然后將所有數(shù)據(jù)訓(xùn)練出的小模型信息整合進(jìn)了貝葉斯框架，加速了整個(gè)訓(xùn)練過程篷朵，但精度會(huì)損失勾怒，解碼

? ?也會(huì)變慢

27 Restructuring of Deep Neural Network Acoustic Models with Singular Value?

? ?提出采用SVD技術(shù)對(duì)權(quán)重矩陣進(jìn)行壓縮，減少模型的復(fù)雜度

28 Sparse Feature Learning for Deep Belief Networks

? ?Marc’Aurelio Ranzato提出的一種unsupervised feature learning的方式声旺，這種訓(xùn)練的優(yōu)勢(shì)在于低維特性和稀疏特性控硼，

? ?文中對(duì)比了RBM和PCA方法。

29 Training products of experts by minimizing contrastive

? ?Hinton提出的PoE模型艾少，文中討論了如何訓(xùn)練PoE模型卡乾，RBM模型也是一種特殊的PoE模型，RBM的訓(xùn)練也是從此演化而來缚够，如果

? ?要理解CD算法原理幔妨，這篇文章必讀。

30 Understanding How Deep Belief Networks Perform Acoustic Modelling

? ?文中主要討論了DBN模型為什么在聲學(xué)模型訓(xùn)練會(huì)取得較好系統(tǒng)性能的幾個(gè)方面谍椅，但是沒有理論上的支持.

31 Pipelined Back-Propagation for Context-Dependent Deep Neural Networks

? ?采用多GPU技術(shù)pipelined方式并行訓(xùn)練網(wǎng)絡(luò)误堡，文中還提到了一些并行措施，如數(shù)據(jù)并行化雏吭、模型并行化

32 Recent Advances in Deep Learning for Speech Research at Microsoft

? ?文章主要介紹了微軟在Deep Learning方面工作的進(jìn)展锁施，如回歸原始特征，多任務(wù)特征學(xué)習(xí)、DNN模型的自適應(yīng)等等

32 Rectified Linear Units Improve Restricted Boltzmann Machines

? ?介紹ReLU技術(shù)在RBM模型上的運(yùn)用悉抵，即非線性層的替換肩狂。

33 Reducing the Dimensionality of Data with Neural Networks

? ?Hinton發(fā)表在science上的文章，主要介紹了如何利用神經(jīng)網(wǎng)絡(luò)進(jìn)行非線性降維姥饰，文中對(duì)比了PCA線性降維技術(shù)

34 Data Normalization in the Learning of Restricted Boltzmann Machines

? ?RBM訓(xùn)練方面數(shù)據(jù)處理的小trick,對(duì)數(shù)據(jù)進(jìn)行零均值化處理使RBM訓(xùn)練更魯邦傻谁。

35 Connectionist Probability Estimators in HMM Speech Recognition

? ?早期神經(jīng)網(wǎng)絡(luò)運(yùn)用于聲學(xué)模型訓(xùn)練的方法，其實(shí)也是現(xiàn)在DNN-HMM工作的基礎(chǔ)

36 Deep Learning for Robust Feature Generation in Audio-Visual Emotion Recognition

? ?Deep Learning在視聽系統(tǒng)情感分析的運(yùn)用列粪，文中提出了多種視覺信號(hào)與聽覺信號(hào)混合訓(xùn)練模型

37 Improving Training Time of Deep Belief Networks Through Hybrid Pre-Training And Larger Batch Sizes

? ?采用混合式的預(yù)訓(xùn)練方式审磁，即生成式預(yù)訓(xùn)練和區(qū)分式預(yù)訓(xùn)練相結(jié)合方式，文中還認(rèn)為加大minbatch的尺寸可以增加數(shù)據(jù)并行化粒度

38 Training Restricted Boltzmann Machines using Approximations to the Likelihood Gradient

? ?提出訓(xùn)練RBM的新算法PCD岂座，與CD算法不同的是全程只有一條馬爾科夫鏈态蒂，參數(shù)更新時(shí)不用重啟一條新的馬爾科夫鏈，當(dāng)然這么做的一個(gè)

? ?假設(shè)前提是參數(shù)更新時(shí)费什，模型的改變不是很大吃媒，文中也提到了采用小的學(xué)習(xí)率。

39 Classification using Discriminative Restricted Boltzmann Machines

? ?區(qū)分性DRBM的提出吕喘，相比于生成式模型RBM優(yōu)化的是p(x,y)函數(shù)赘那，區(qū)分性DRBM優(yōu)化的是p(y|x)函數(shù)，而這里的y是標(biāo)簽氯质，文中還提出了混合版本募舟。

40 Learning Multiple Layers of Features from Tiny Images

? ?Hinton學(xué)生Alex Krizhevsky的碩士論文，主要是DNN工作的一些串聯(lián)

41 Making Deep Belief Networks Effective for Large Vocabulary Continuous Speech Recognition

? ?討論如何有效訓(xùn)練DNN闻察，側(cè)重于如何并行訓(xùn)練方面

42 Optimization Techniques to Improve Training Speed of Deep Neural Networks for Large Speech Tasks

? ?IBM的Tara N. Sainath小組DNN工作上的一些技巧總結(jié)拱礁，側(cè)重于如何提升并行化力度技巧和減少模型參數(shù)，IBM主要利用對(duì)分類層做低秩矩陣分解辕漂。

? ?而CNN雖然是DNN的演化版本呢灶，參數(shù)量相對(duì)較小，但是目前語(yǔ)音識(shí)別中最好的CNN效果跟參數(shù)量相近的DNN效果差不多钉嘹。

43 Parallel Training of Neural Networks for Speech Recognition

? ?神經(jīng)網(wǎng)絡(luò)并行化訓(xùn)練方面的工作鸯乃，文中的工作主要分為兩部分：多線程多核的并行化和基于SIMD的GPU并行化。

44 Accurate and Compact Large Vocabulary Speech Recognition on Mobile Devices

? ?google在移動(dòng)端語(yǔ)音識(shí)別實(shí)踐性的工作跋涣，特別是DNN和LM的優(yōu)化缨睡，DNN的優(yōu)化方面主要包括定點(diǎn)計(jì)算、SIMD加速陈辱、Batch lazy計(jì)算和frame skipping技術(shù)

? ?語(yǔ)言模型方面也做一定的壓縮技巧奖年。參考價(jià)值較大的實(shí)戰(zhàn)性文章。

45 Cross-Language Knowledge Transfer Using Multilingual Deep Neural Network with Shared Hidden Layers

? ?DNN多語(yǔ)言的訓(xùn)練沛贪，所有語(yǔ)言共享相同隱層特征陋守，而分類層面向不同語(yǔ)言震贵，這種訓(xùn)練降低了3-5%左右，原因有點(diǎn)類似于transfer learning,

? ?不同語(yǔ)言之間的知識(shí)是可以transfer借鑒的水评。

46 Improving Wideband Speech Recognition using Mixed-Bandwidth Training Data in CD-DNN-HMM

? ?利用8-kHz和16-kHz做不同的頻帶的CD-DNN-HMM混合訓(xùn)練猩系，其中比較重要的是如何設(shè)計(jì)不同頻帶的filter-bank對(duì)準(zhǔn)問題，

? ?文中還有一些關(guān)于filter-bank的訓(xùn)練技巧之碗，如是否采用動(dòng)態(tài)特征和靜態(tài)特征訓(xùn)練蝙眶。

47 Robust Visual Recognition Using Multilayer Generative Neural Networks?

? ?Hinton學(xué)生Yichuan Tang的碩士論文季希，DNN視覺識(shí)別方面工作的串聯(lián)

48 Deep Boltzmann Machines

? ?DBM模型開篇文章褪那。

49 On Rectified Linear Units for Speech Processing

? ?ReLU在語(yǔ)音識(shí)別上的性能分析

三 CNN

1 Deep Convolutional Network Cascade for Facial Point Detection

? CNN用在人臉關(guān)鍵點(diǎn)檢測(cè)工作

2 Applying Convolutional Neural Networks Concepts to Hybrid NN-HMM Model for Speech Recognition

? CNN運(yùn)用于語(yǔ)音識(shí)別系統(tǒng)

3 ImageNet Classification with Deep Convolutional Neural Networks

? 12年Hinton組在ImageNet競(jìng)賽上的CNN算法，不過細(xì)節(jié)不多式塌，里面介紹了網(wǎng)絡(luò)中使用的trick,特別是relu

4 Gradient-Based Learning Applied to Document Recognition

? Yann LeCun的經(jīng)典文章博敬，CNN開山之作，要了解CNN必先讀這篇

5 A Theoretical Analysis of Feature Pooling in Visual Recognition

? Pooling在視覺識(shí)別中的原理分析以及視覺識(shí)別中的比如HOG峰尝、SIFT一些類似手段總結(jié)

6 What is the Best Multi-Stage Architecture for Object Recognition

? 文中討論了在OR問題上怎么樣去設(shè)計(jì)多級(jí)結(jié)構(gòu)以獲取較好的識(shí)別性能偏窝，談的更多地是模型架構(gòu)上的問題，如通過怎么樣的結(jié)構(gòu)

? 獲取特征的不變性武学，怎么樣去聯(lián)合層級(jí)的信息祭往，做視覺的應(yīng)該好好看看這篇文章

7 Deep Convolutional Neural Networks for LVCSR

? CNN在LVCSR上實(shí)際運(yùn)用

8 Learning Mid-Level Features For Recognition

? 這篇論文視覺的應(yīng)該看下，對(duì)當(dāng)前視覺識(shí)別框架的分析以及框架個(gè)部分的關(guān)聯(lián)火窒，比如coding和pooling技術(shù)硼补。

9 Convolutional Networks and Applications in Vision

? 卷積網(wǎng)絡(luò)在視覺應(yīng)用的分析，做視覺的應(yīng)該看看熏矿。文中認(rèn)為分層的思想是視覺應(yīng)用當(dāng)中良好的內(nèi)部表達(dá)已骇。文中將卷積網(wǎng)絡(luò)拆分成

? Filter Bank層、非線性層票编、pooling層進(jìn)行分析褪储。

10 Convolutional Neural Networks Applied to House Numbers Digit Classification

? 卷積網(wǎng)絡(luò)用在房屋數(shù)字分類的案例，文中采用了LP pooling技術(shù)慧域，通過gaussian kernel產(chǎn)生增大stronger特征權(quán)重鲤竹，抑制weaker特征權(quán)重的效應(yīng)。

11 Visualizing and Understanding Convolutional Networks

? ?卷積網(wǎng)絡(luò)特征可視化方面的工作昔榴，非常有意義的工作宛裕，通過Deconvnet的方式來可視化卷積網(wǎng)絡(luò)層的特征，借助于這些特征可以幫助我們調(diào)整模型论泛。

12 Stochastic Pooling for Regularization of Deep Convolutional Neural Networks

? ?提出隨機(jī)pooling技術(shù)揩尸，不同于max pooling和average pooling，pooling的形式是隨機(jī)化選擇的屁奏，

? ?文章觀點(diǎn)認(rèn)為隨機(jī)pooling技術(shù)類似于dropout一樣做了正則化作用岩榆，等價(jià)于輸入圖像通過加噪聲形成很多不同復(fù)制訓(xùn)練樣本通過max pooling層，有效地防止過擬合

13 Adaptive Deconvolutional Networks for Mid and High Level Feature Learning

? ?中層、高層特征無監(jiān)督的學(xué)習(xí)方法勇边，通過Deconvolution方式進(jìn)行重構(gòu)學(xué)習(xí)出圖像特征犹撒。

14 Best Practices for Convolutional Neural Networks Applied to Visual Document Analysis

? ?實(shí)踐性的卷積網(wǎng)絡(luò)方面工作，文中提到如何應(yīng)對(duì)訓(xùn)練數(shù)據(jù)較少情況的方法可以參考下粒褒。

15 Multi-column Deep Neural Networks for Image Classification

? ?聯(lián)合多個(gè)深度網(wǎng)絡(luò)模型做平均化處理识颊。

16 Differentiable Pooling for Hierarchical Feature Learning

? ?一種基于高斯方法的Differentiable Pooling提出，閱讀這篇文章先要閱讀13文章奕坟，相比max pooling祥款、average pooling在運(yùn)用

? ?Deconvolution方式進(jìn)行重構(gòu)會(huì)有一些優(yōu)勢(shì)。

17 Notes on Convolutional Neural Networks

? ?較為詳細(xì)的卷積神經(jīng)網(wǎng)絡(luò)月杉，包括梯度的計(jì)算等等刃跛。

18 Fast Inference in Sparse Coding Algorithms with Applications to Object Recognition

? ?非監(jiān)督學(xué)習(xí)的算法PSD，在Sparse Coding框架的基礎(chǔ)上苛萎，加了通過非線性變換后的基接近Sparse Coding的稀疏基的限制桨昙。

? ?優(yōu)化目標(biāo)函數(shù)的時(shí)候會(huì)先固定住一些參數(shù)，思想有點(diǎn)類似于坐標(biāo)梯度下降算法腌歉。

19 Deep Neural Networks for Object Detection

? ?google用基于DNN（實(shí)際是CNN）regression做Object Detection蛙酪，先析出mask,然后再精確定位。

20 Multi-GPU Training of ConvNets

? ?多GPU并行訓(xùn)練卷積網(wǎng)絡(luò)的一些工程技巧

21 Flexible, High Performance Convolutional Neural Networks for Image Classification

? ?CNN采用GPU訓(xùn)練的實(shí)戰(zhàn)性文章翘盖，算是早期文章桂塞。

22 Multi-digit Number Recognition from Street View Imagery using Deep Convolutional Neural Networks

? ?google街景數(shù)字圖片識(shí)別，用CNN析出特征后轉(zhuǎn)化為有序數(shù)字序列識(shí)別問題最仑，傳統(tǒng)的OCR數(shù)字識(shí)別一般是要做分割帆锋，

? ?而這里作為一個(gè)整體序列進(jìn)行識(shí)別绅喉，文中還報(bào)道了提出模型在多種數(shù)據(jù)集下的識(shí)別率琴锭。訓(xùn)練的框架也是采用google的DistBelief框架蝌借。

四 其他

1 An Introduction to Deep Learning

? Deep Learning綜述性的短文，比較簡(jiǎn)短吟吝，文中只是簡(jiǎn)單地提到了一些常用Deep Learning模型

2 The Difficulty of Training Deep Architectures and the Effect of Unsupervised Pre-Training

? 文中主要討論了深度結(jié)構(gòu)訓(xùn)練的難點(diǎn)菱父，從實(shí)驗(yàn)數(shù)據(jù)的角度分析了預(yù)訓(xùn)練的優(yōu)勢(shì)，文中有一個(gè)有趣的觀點(diǎn)剑逃，討論預(yù)訓(xùn)練的行為

? 類似于正則化權(quán)重矩陣浙宜。

3 Why Does Unsupervised Pre-training Help Deep Learning

? 文章討論了無監(jiān)督學(xué)習(xí)會(huì)幫助Deep Learning的幾個(gè)方面，提出了Pre-training as a Regularizer的觀點(diǎn)蛹磺，從實(shí)驗(yàn)數(shù)據(jù)中分析粟瞬，

? 并沒有理論的基礎(chǔ)，這也是Deep Learning的現(xiàn)階段最被人詬病的萤捆，沒有完整的理論體系支撐裙品。

4 Learning Deep Architectures for AI

? Yoshua Bengio在Deep Learning的綜述文章俗批，想要大概了解Deep Learning領(lǐng)域可以先看看這篇，可以掃著看市怎。

5 Representation Learning A Review and New Perspectives

? Yoshua Bengio的在Representation Learning的綜述性文章岁忘。

6 On Optimization Methods for Deep Learning

? 文中討論了Deep Learning的幾種優(yōu)化方式：SGD、L-BFGS区匠、CG干像。實(shí)驗(yàn)對(duì)別了幾種優(yōu)化方式的優(yōu)缺點(diǎn)。

7 Using Very Deep Autoencoders for Content-Based Image Retrieval

? 用Autoencoder的中間節(jié)點(diǎn)表征圖像全局特征驰弄，用于圖像搜索麻汰。

8 Deep Learning For Signal And Information Processing

? 2013年龍星機(jī)器學(xué)習(xí)鄧力的講課資料，主要側(cè)重于deep learning在語(yǔ)音方面,比較詳細(xì)揩懒。

9 On the Importance of Initialization and Momentum in Deep Learning

? 介紹初始化和Momentum技術(shù)在deep learning方面的重要性什乙，更多的是在實(shí)驗(yàn)分析上

10 Dropout Training as Adaptive Regularization

? ?文章從原理上分析dropout技術(shù)挽封，等價(jià)于自適應(yīng)的正則化技術(shù)

11 Deep learning via Hessian-free optimization

? ?目前大部分的Deep learning優(yōu)化都是基于隨機(jī)梯度優(yōu)化算法已球，本文提出了一種基于Hessian-free的二階優(yōu)化算法。

12 Deep Stacking Networks For Information Retrival

? DSN網(wǎng)絡(luò)用在信息檢索方面的工作

13 Deep Convex Net: A Scalable Architecture for Speech Pattern Classification

? 微軟方面為了克服DNN并行化訓(xùn)練困難所設(shè)計(jì)出來的模型辅愿，在計(jì)算的scalability有很大優(yōu)勢(shì)

14 Parallel Training of Deep Stacking Networks

? DSN訓(xùn)練并行化

15 Scalable CALABLE Stacking and Learning for Building Deep Architectures

? DSN方面的關(guān)聯(lián)文章智亮，相關(guān)的幾篇都可以聯(lián)合起來一起看