這是一個(gè)深度學(xué)習(xí)的航海地理大發(fā)現(xiàn)時(shí)代，每年都有新思想而线、新技術(shù)誕生。這是最好的時(shí)代恋日，也是最壞的時(shí)代膀篮！
論文、開源實(shí)現(xiàn)(pytorch,tensorflow等)鏈接
| 圖像分類 | 發(fā)表日期 | 作者 | 簡(jiǎn)要介紹 |
|---|---|---|---|
| LeNet | 1998 | Yann LeCun | 早期卷積神經(jīng)網(wǎng)絡(luò)中的代表系統(tǒng)之一岂膳，2個(gè)卷積層誓竿、2個(gè)池化層和3個(gè)全連接層。用于銀行支票上的手寫數(shù)字識(shí)別谈截。 |
| AlexNet | 2012 | Alex Krizhevsky | 架構(gòu)有5個(gè)卷積層和3個(gè)全連接層筷屡，使用了ReLU激活函數(shù)、dropout層簸喂、LRN(Local Responce Normalization,實(shí)踐中發(fā)現(xiàn)沒多大作用?)毙死、數(shù)據(jù)增強(qiáng)及CUDA加速等技術(shù)。 |
| ZFnet | 2013 | MD Zeiler | alexnet基礎(chǔ)上的改動(dòng)喻鳄，亮點(diǎn)是通過使用可視化技術(shù)揭示了神經(jīng)網(wǎng)絡(luò)各層的作用规哲。 |
| NIN | 2013 | Network In Network, 用1*1卷積代替FC層？ | |
| VGGNet | 2014 | (Visual Geometry Group) 結(jié)構(gòu)非常簡(jiǎn)潔诽表，反復(fù)堆疊3x3的小型卷積核和2x2的最大池化層構(gòu)建唉锌。 | |
| GoogLeNet | 2014 | 受NIN啟發(fā)隅肥，引入Inception結(jié)構(gòu),無需人為決定使用什么樣的過濾器。 | |
| FCN | 2014 | Fully Convolutional Networks,可以接受任意大小的輸入圖像 | |
| ResNet | 2015 | 何愷明 | 深度殘差網(wǎng)絡(luò),在網(wǎng)絡(luò)深度上不斷加深袄简，但其網(wǎng)絡(luò)較瘦腥放，控制了參數(shù)數(shù)量，存在明顯層級(jí)绿语，特征圖個(gè)數(shù)逐層遞進(jìn)秃症，保證輸出特征表達(dá)能力，沒有使用Dropout吕粹，利用BN和全局平均池化進(jìn)行正則化种柑，加快了訓(xùn)練速度。ResNet有多個(gè)模型匹耕，常用的有ResNet-50聚请， ResNet-101，ResNet-152等稳其。 |
| DenseNet | 2016 | 任何兩層之間都有直接的連接驶赏，減輕了vanishing-gradient（梯度消失） ，加強(qiáng)了feature的傳遞既鞠，更有效地利用了feature煤傍，并在一定程度上較少了參數(shù)數(shù)量。密集連接：緩解梯度消失問題嘱蛋，加強(qiáng)特征傳播蚯姆，鼓勵(lì)特征復(fù)用，極大的減少了參數(shù)量洒敏。 | |
| DPN | 2017 | Dual Path Networks |
| 輕量化網(wǎng)絡(luò) | 發(fā)表日期 | 作者 | 簡(jiǎn)要介紹 |
|---|---|---|---|
| SqueezeNet | 2016.02 | 伯克利&斯坦福 | 新的網(wǎng)絡(luò)架構(gòu)Fire Module龄恋，通過減少參數(shù)來進(jìn)行模型壓縮，并對(duì)參數(shù)空間進(jìn)行了探索桐玻，更適合在FPGA等內(nèi)存受限的設(shè)備上部署篙挽。 |
| MobileNet | 2016.04 | 移動(dòng)端,引入了傳統(tǒng)網(wǎng)絡(luò)中采用的group思想，即限制濾波器的卷積計(jì)算只針對(duì)特定的group中的輸入镊靴，從而大大降低了卷積計(jì)算量铣卡，提升了移動(dòng)端前向計(jì)算的速度，適合在嵌入式設(shè)備上部署偏竟。 | |
| ShuffleNet | 2016.06 | Face++ | 移動(dòng)端,對(duì)移動(dòng)端低功耗設(shè)備提出了一種更為高效的卷積模型結(jié)構(gòu)煮落，在大幅降低模型計(jì)算復(fù)雜度的同時(shí)仍然保持了較高的識(shí)別精度。 |
| Xception | 2016.10 | -- |
*notice 目標(biāo)檢測(cè)踊谋，NG主要講YOLO蝉仇，RCNN則為選修課？
| 目標(biāo)檢測(cè) | 發(fā)表日期 | 作者 | 簡(jiǎn)要介紹 |
|---|---|---|---|
| RCNN | 2013 | 目標(biāo)檢測(cè)里程碑之作，利用selective search算法從待檢測(cè)圖像中提取2000個(gè)左右的候選框轿衔，用CNN提取每個(gè)候選框的特征沉迹，得到固定長(zhǎng)度的特征向量并送入SVM中進(jìn)行分類得到類別信息，送入全連接網(wǎng)絡(luò)進(jìn)行回歸得到對(duì)應(yīng)位置的坐標(biāo)信息害驹。 | |
| SPP-Net | SPP-Net是在RCNN的基礎(chǔ)上提出鞭呕，該方法還依賴候選框的生成，但將提取候選框特征向量的操作轉(zhuǎn)移到卷積后的特征圖上進(jìn)行宛官，將RCNN中的多次卷積變?yōu)橐淮尉矸e葫松，大大降低了計(jì)算量。 | ||
| Fast RCNN | 2015 | Ross Girshick | 針對(duì)SPP-Net進(jìn)一步的改進(jìn)底洗，主要?jiǎng)?chuàng)新是ROI Pooling層腋么，它將不同大小候選框的卷積特征圖統(tǒng)一采樣成固定大小的特征。另外Fast RCNN針對(duì)RCNN和SPP-Net多階段訓(xùn)練亥揖，耗費(fèi)時(shí)間空間的問題進(jìn)行改進(jìn)珊擂，將深度網(wǎng)絡(luò)和后面的SVM分類兩個(gè)階段融合到一起，使用一個(gè)新的網(wǎng)絡(luò)直接做分類和回歸徐块。 |
| Faster RCNN | 2015 | Shaoqin Ren等 | 在主干網(wǎng)絡(luò)增加了RPN網(wǎng)絡(luò)未玻，通過一定的規(guī)則設(shè)置不同尺度的錨點(diǎn)在RPN的卷積特征層提取候選框來代替Selective Search等傳統(tǒng)的候選框生成方法灾而，實(shí)現(xiàn)了網(wǎng)絡(luò)的端到端訓(xùn)練胡控。 |
| R-FCN | 2016 | 在Faster RCNN的基礎(chǔ)上通過引入位置敏感得分圖，將ROI-wise subnetwork消滅了旁趟，直接在位置敏感得分圖上利用ROI Pooling進(jìn)行信息采樣融合分類和位置信息昼激。 | |
| YOLO-v1 | 2015 | 區(qū)別于RCNN系列為代表的兩步檢測(cè)算法，YOLO-v1舍棄了候選框提取分支锡搜，直接將特征提取橙困、候選框回歸和分類在一個(gè)無分支的卷積網(wǎng)絡(luò)中完成，使得網(wǎng)絡(luò)結(jié)構(gòu)變得簡(jiǎn)單耕餐，檢測(cè)速度較Faster RCNN也有近10倍的提升凡傅。 | |
| YOLO-v2 | 加入當(dāng)下熱門的批量歸一化層以及殘差網(wǎng)絡(luò)結(jié)構(gòu)外，還針對(duì)性的訓(xùn)練了一個(gè)高分辨率的分類網(wǎng)絡(luò)肠缔。 | ||
| YOLO-v3 | 采用多尺度預(yù)測(cè)及更好的backbone網(wǎng)絡(luò)夏跷，分類損失采用binary cross-entropy損失函數(shù)替換softmax損失函數(shù) | ||
| SSD | 2015 | Single Shot MultiBox Object Detector，對(duì)YOLO-v1進(jìn)行改進(jìn)明未，達(dá)到了和兩階段深度學(xué)習(xí)目標(biāo)檢測(cè)算法相當(dāng)?shù)木炔刍瑫r(shí)又保持了較快的運(yùn)行速度，SSD也才采用了網(wǎng)格劃分的思想趟妥，和Faster RCNN不同的是猫态，它將所有的操作整合在一個(gè)卷積網(wǎng)絡(luò)中完成。 |
| 人臉識(shí)別 | 發(fā)表日期 | 作者 | 簡(jiǎn)要介紹 |
|---|---|---|---|
| siamese network | 孿生網(wǎng)絡(luò) | ||
| FaceNet | . | ||
| DeepFace? | . |
siamese network 孿生網(wǎng)絡(luò) ?
參考:
