總結最近看的多尺度的文章
在用FasterRCNN做檢測時發(fā)現(xiàn)用原始的VGG16作為特征提取器宇葱，將提取的特征送入RPN網(wǎng)絡的檢測結果對小目標量窘、邊界不清晰等成像效果不好的圖像效果不好另锋，因此想要通過改進特征提取來提高檢測精度。
通過調(diào)研利用神經(jīng)網(wǎng)絡解決小目標檢測主要通過多尺度特征提取的方法缝呕，對圖像進行多尺度特征提取主要有三種方法：
1铝穷、由于卷積后的pooling的使用導致網(wǎng)路對圖像的感知域增大，因此很多文章都使用連接不同pooling層的網(wǎng)絡結構提取多尺度特征恋追∑炯＃或者利用resNET和denseNet的連接方式彌補VGG16的不足擴增網(wǎng)絡深度。
2. 對輸入圖像進行預處理得到多尺度的輸入圖像苦囱，在不同尺度下分別訓練網(wǎng)路得到多組網(wǎng)路參數(shù)嗅绸，最后通過FC層合并多尺度特征。
3. 與2類似在不改變圖像尺度的前提下利用不同尺度的卷積核進行多尺度卷積撕彤，同樣得到多組參數(shù)最后進行組合
4. 利用maxpooling的性質(zhì)設計單向的多尺度網(wǎng)絡（目前只看到一篇文章）
1. 網(wǎng)絡的層間連接
paper：
1.?Automated pulmonary nodule detection in CT images using deep convolutional neural networks_PR_2019
2.?An improved deep learning approach for detection of thyroid papillary cancer in ultrasound images_2018
3. DeepLung: Deep 3D Dual Path Nets for Automated Pulmonary Nodule Detection and Classification
4.?Accurate Pulmonary Nodule Detection in Computed Tomography Images Using Deep Convolutional Neural Networks_2017
5.?A Method of Ultrasonic Image Recognition for Thyroid Papillary Carcinoma Based on Deep Convolution Neural Network_14 March 2018
6.?A Region Based Convolutional Network for Tumor Detection and Classification in Breast Mammography_MICCAI_2016
7.?Context-aware pedestrian detection especially for small-sized instances with Deconvolution Integrated Faster RCNN (DIF R-CNN)
8.?Deep Learning for Automatic Detection of Abnormal Findings in Breast Mammography_2017
9.? Pedestrian Detection by Using CNN Features with Skip Connection
10.?MFR-CNN: Incorporating Multi-Scale Features and Global Information for Traffic Object Detection_2018
11-15沒仔細看用resNET和denseNet改進特征提取
11.?A novel method for lung masses detection and location based on deep learning_2017
12.?An evaluation of region based object detection strategies within X-ray baggage security imagery_2017
13.?Boundary Regularized Convolutional Neural Network for Layer Parsing of Breast Anatomy in Automated Whole Breast Ultrasound_2017_medicalimage
14.Fully convolutional multi-scale residual DenseNets for cardiac segmentation and automated cardiac diagnosis using ensemble of classifiers_2019_Medical Image Analysis
15. Automatic Colon Polyp Detection Using Region Based Deep CNN and Post Learning Approaches_2018
1.1 連接VGG16的不同層
paper：2鱼鸠、
理論ParseNet: Looking Wider to See Better該文章支出隨著卷積的加深感知域增大不足以清晰的描述小尺度的信息，同時給出層間的特征尺度不同需要歸一化l2.論文解釋
大部分文章選擇連接VGG16的第三卷積層和第五卷積層羹铅，有文章證明這樣效果最好蚀狰，但是也有文章連接第四卷積層和第五卷積層。
1.2 解卷積
通過對VGG16的第五卷積層解卷積直接送入RPN網(wǎng)絡可以改善結果职员，但是文章沒有說明理論依據(jù)
通過解卷積第五層回復圖像大小到四分之一麻蹋，然后和第三卷積層的輸出送入雙RPN網(wǎng)絡，最終的loss由原來的四個變?yōu)榱魝€進行改進
更復雜的利用最后三個卷積層形成三通道的RPN網(wǎng)絡最終輸出焊切，我認為這樣的改進沒有必要
1.3 擴展網(wǎng)絡深度
resNET網(wǎng)絡的提出文章中的最后一段作者說明自己用resNET101作為特征提取結合fastrcnn的結果比用VGG16作為特征提取的結果更好扮授，也有文章將這種改進實際應用效果有提升
resNET和denseNet這種參差連接的結構對于梯度傳播和擴增網(wǎng)絡深度都有很好的效果，因此可以應用
DeepLung將resNet用于三維同時設計了解碼部分使得整個網(wǎng)絡類似于Unet专肪，得到特征后送入三維的RPN網(wǎng)絡調(diào)研中唯一一個三維的FasterRCNN糙箍。
inceptionResNETv2，是Googlenet和resNET結合的產(chǎn)物從垂直和水平兩方面擴展了網(wǎng)絡深度牵祟，但是沒有進行block之間的連接深夯，有文章利用改進VGG16時的方法進行block之間的連接，解卷積的操作改進inceptionResNet作為特征提取，結果有提升咕晋。但是我認為這樣使得網(wǎng)絡過于復雜在小的數(shù)據(jù)集上未必有好的效果雹拄。
2. 圖像的縮放
paper：
1.?Multi-scale Convolutional Neural Networks for Lung Nodule Classification_2015
這種方法計算量太大，在圖像縮放前需要進行ROI提取掌呜，近年的文章少用滓玖，傳統(tǒng)的多尺度手動特征提取有使用
3. 不同的卷積核
paper：
1.?Using Multi-level Convolutional Neural Network for Classification of Lung Nodules on CT images_2018
最后進行多尺度特征融合時的方法有待討論
4. 改進max pooling
paper：
1.?Multi-crop Convolutional Neural Networks for lung nodule malignancy suspiciousness classification _Pattern Recognition_2017
本文提到的方法在pooling后的特征圖上進行中心剪裁，那么大部分未經(jīng)預處理的圖像目標可能不在圖像中心
