常用的算法
區(qū)域卷積神經(jīng)網(wǎng)絡(luò)（R-CNN）系列
R-CNN
R-CNN首先從輸入圖像中選取若干（例如2000個(gè)）提議區(qū)域（如錨框也是一種選取方法）否灾，并標(biāo)注它們的類別和邊界框（如偏移量）。然后鳄哭，用卷積神經(jīng)網(wǎng)絡(luò)對(duì)每個(gè)提議區(qū)域進(jìn)行前向傳播以抽取其特征泰佳。 接下來，我們用每個(gè)提議區(qū)域的特征來預(yù)測(cè)類別和邊界框闻坚。
具體來說沽翔，R-CNN包括以下四個(gè)步驟：
- 對(duì)輸入圖像使用選擇性搜索來選取多個(gè)高質(zhì)量的提議區(qū)域。這些提議區(qū)域通常是在多個(gè)尺度下選取的窿凤，并具有不同的形狀和大薪鲑恕；每個(gè)提議區(qū)域都將被標(biāo)注類別和真實(shí)邊框
- 選擇一個(gè)預(yù)訓(xùn)練的卷積神經(jīng)網(wǎng)絡(luò)雳殊，并將其在輸出層之前截?cái)嚅倭ぁ⒚總€(gè)提議區(qū)域變形為網(wǎng)絡(luò)需要的輸入尺寸，并通過前向傳播輸出抽取的提議區(qū)域特征
- 將每個(gè)提議區(qū)域的特征連同其標(biāo)注的類別作為一個(gè)樣本夯秃。訓(xùn)練多個(gè)支持向量機(jī)對(duì)目標(biāo)分類座咆，其中每個(gè)支持向量機(jī)用來判斷樣本是否屬于某一個(gè)類別
- 將每個(gè)提議區(qū)域的特征連同其標(biāo)注的邊界框作為一個(gè)樣本，訓(xùn)練線性回歸模型來預(yù)測(cè)真實(shí)邊界框仓洼。
盡管R-CNN模型通過預(yù)訓(xùn)練的卷積神經(jīng)網(wǎng)絡(luò)有效地抽取了圖像特征箫措，但它的速度很慢。 想象一下衬潦，我們可能從一張圖像中選出上千個(gè)提議區(qū)域斤蔓，這需要上千次的卷積神經(jīng)網(wǎng)絡(luò)的前向傳播來執(zhí)行目標(biāo)檢測(cè)。 這種龐大的計(jì)算量使得R-CNN在現(xiàn)實(shí)世界中難以被廣泛應(yīng)用镀岛。
R-CNN的訓(xùn)練過程包括兩個(gè)階段：
- 預(yù)訓(xùn)練卷積網(wǎng)絡(luò)：首先弦牡，在大規(guī)模圖像數(shù)據(jù)集上友驮，如ImageNet數(shù)據(jù)集上，對(duì)卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行預(yù)訓(xùn)練驾锰。這樣可以將網(wǎng)絡(luò)初始化為良好的特征提取器卸留，并且能夠從圖像中提取有用的高級(jí)特征。
- 微調(diào)與目標(biāo)分類：然后椭豫，在目標(biāo)檢測(cè)任務(wù)的特定數(shù)據(jù)集上耻瑟，使用生成的候選區(qū)域和相應(yīng)的標(biāo)簽進(jìn)行微調(diào)，包括對(duì)SVM分類器和邊界框回歸器進(jìn)行訓(xùn)練赏酥。
Fast R-CNN
R-CNN的主要性能瓶頸在于喳整，對(duì)每個(gè)提議區(qū)域，卷積神經(jīng)網(wǎng)絡(luò)的前向傳播是獨(dú)立的裸扶，而沒有共享計(jì)算框都。 由于這些區(qū)域通常有重疊，獨(dú)立的特征抽取會(huì)導(dǎo)致重復(fù)的計(jì)算呵晨。 Fast R-CNN 對(duì)R-CNN的主要改進(jìn)之一魏保，是僅在整張圖象上執(zhí)行卷積神經(jīng)網(wǎng)絡(luò)的前向傳播。
以下是Fast R-CNN的主要特點(diǎn)和工作流程：
- 候選區(qū)域生成：與R-CNN類似摸屠，F(xiàn)ast R-CNN使用選擇性搜索算法生成候選區(qū)域谓罗。然而，與R-CNN中對(duì)每個(gè)候選區(qū)域獨(dú)立進(jìn)行處理不同季二，Fast R-CNN在整個(gè)圖像上進(jìn)行特征提取檩咱。
- 特征提取：Fast R-CNN通過卷積神經(jīng)網(wǎng)絡(luò)（CNN）對(duì)整個(gè)圖像進(jìn)行前向傳播戒傻，提取圖像的特征圖税手。這樣可以避免為每個(gè)候選區(qū)域獨(dú)立運(yùn)行CNN，從而大大提高了速度需纳。
- 候選區(qū)域池化（RoI Pooling）：針對(duì)每個(gè)候選區(qū)域芦倒，F(xiàn)ast R-CNN引入了候選區(qū)域池化層（RoI Pooling），將特征圖上的候選區(qū)域映射到固定大小的特征圖上不翩。這樣可以將不同大小的候選區(qū)域映射到相同大小的特征向量上兵扬，便于后續(xù)處理。
- 分類和邊界框回歸：對(duì)于每個(gè)候選區(qū)域口蝠，F(xiàn)ast R-CNN通過全連接層將其特征向量輸入到分類器和邊界框回歸器中器钟。分類器用于預(yù)測(cè)目標(biāo)的類別概率，而邊界框回歸器用于精確定位目標(biāo)的邊界框妙蔗。
它的主要計(jì)算如下：
- 與R-CNN相比傲霸，F(xiàn)ast R-CNN用來提取特征的卷積神經(jīng)網(wǎng)絡(luò)的輸入是整個(gè)圖像，而不是各個(gè)提議區(qū)域。此外昙啄，這個(gè)網(wǎng)絡(luò)通常會(huì)參與訓(xùn)練穆役。設(shè)輸入為一張圖像，將卷積神經(jīng)網(wǎng)絡(luò)的輸出的形狀記為
;
- 假設(shè)選擇性搜索生成了
個(gè)提議區(qū)域梳凛。這些形狀各異的提議區(qū)域在卷積神經(jīng)網(wǎng)絡(luò)的輸出上分別標(biāo)出了形狀各異的興趣區(qū)域耿币。然后，這些感興趣的區(qū)域需要進(jìn)一步抽取出形狀相同的特征（比如指定高度
和寬度
）韧拒，以便于連結(jié)后輸出淹接。為了實(shí)現(xiàn)這一目標(biāo)，F(xiàn)ast R-CNN引入了興趣區(qū)域匯聚層（RoI pooling）：將卷積神經(jīng)網(wǎng)絡(luò)的輸出和提議區(qū)域作為輸入叛溢，輸出連結(jié)后的各個(gè)提議區(qū)域抽取的特征塑悼，形狀為
;
- 通過全連接層將輸出形狀變換為
，其中超參數(shù)
取決于模型設(shè)計(jì)雇初；
- 預(yù)測(cè)
（
是類別的數(shù)量）的輸出和形狀為
的輸出。其中預(yù)測(cè)類別時(shí)使用softmax回歸支示。
在Fast R-CNN中提出的興趣區(qū)域匯聚層與之前介紹的匯聚層有所不同刊橘。在匯聚層中，我們通過設(shè)置匯聚窗口颂鸿、填充和步幅的大小來間接控制輸出形狀促绵。而興趣區(qū)域匯聚層對(duì)每個(gè)區(qū)域的輸出形狀是可以直接指定的。
例如嘴纺，指定每個(gè)區(qū)域輸出的高和寬分別為和
败晴。對(duì)于任何形狀為
的興趣區(qū)域窗口，該窗口將被劃分為h_2 \times w_2子窗口網(wǎng)格.其中每個(gè)子窗口的大小約為
栽渴。 在實(shí)踐中尖坤，任何子窗口的高度和寬度都應(yīng)向上取整，其中的最大元素作為該子窗口的輸出闲擦。 因此慢味，興趣區(qū)域匯聚層可從形狀各異的興趣區(qū)域中均抽取出形狀相同的特征。
在的輸入中墅冷，我們選取了左上角
的興趣區(qū)域纯路。 對(duì)于該興趣區(qū)域，我們通過
的興趣區(qū)域匯聚層得到一個(gè)
的輸出寞忿。 請(qǐng)注意驰唬，四個(gè)劃分后的子窗口中分別含有元素0、1、4叫编、5（5最大）蜕琴；2、6（6最大）宵溅；8凌简、9（9最大）；以及10恃逻。
Faster R-CNN
為了較精確地檢測(cè)目標(biāo)結(jié)果雏搂，F(xiàn)ast R-CNN模型通常需要在選擇性搜索中生成大量的提議區(qū)域。 Faster R-CNN提出將選擇性搜索替換為區(qū)域提議網(wǎng)絡(luò)（region proposal network）寇损，從而減少提議區(qū)域的生成數(shù)量凸郑，并保證目標(biāo)檢測(cè)的精度。
描述了Faster R-CNN模型矛市。 與Fast R-CNN相比芙沥，F(xiàn)aster R-CNN只將生成提議區(qū)域的方法從選擇性搜索改為了區(qū)域提議網(wǎng)絡(luò)，模型的其余部分保持不變浊吏。具體來說而昨，區(qū)域提議網(wǎng)絡(luò)的計(jì)算步驟如下：
- 使用填充為1的
的卷積層變換卷積神經(jīng)網(wǎng)絡(luò)的輸出，并將輸出通道數(shù)記為
找田。這樣歌憨，卷積神經(jīng)網(wǎng)絡(luò)為圖像抽取的特征圖中的每個(gè)單元均得到一個(gè)長(zhǎng)度為
- 以特征圖的每個(gè)像素為中心墩衙，生成多個(gè)不同大小和寬高比的錨框并標(biāo)注它們务嫡。
- 使用錨框中心單元長(zhǎng)度為
- 使用非極大值抑制心铃，從預(yù)測(cè)類別為目標(biāo)的預(yù)測(cè)邊界框中移除相似的結(jié)果。最終輸出的預(yù)測(cè)邊界框即是興趣區(qū)域匯聚層所需的提議區(qū)域挫剑。
值得一提的是去扣，區(qū)域提議網(wǎng)絡(luò)作為Faster R-CNN模型的一部分，是和整個(gè)模型一起訓(xùn)練得到的暮顺。 換句話說厅篓，F(xiàn)aster R-CNN的目標(biāo)函數(shù)不僅包括目標(biāo)檢測(cè)中的類別和邊界框預(yù)測(cè)，還包括區(qū)域提議網(wǎng)絡(luò)中錨框的二元類別和邊界框預(yù)測(cè)捶码。 作為端到端訓(xùn)練的結(jié)果羽氮，區(qū)域提議網(wǎng)絡(luò)能夠?qū)W習(xí)到如何生成高質(zhì)量的提議區(qū)域，從而在減少了從數(shù)據(jù)中學(xué)習(xí)的提議區(qū)域的數(shù)量的情況下惫恼，仍保持目標(biāo)檢測(cè)的精度档押。
Mask R-CNN
Mask R-CNN是基于Faster R-CNN修改而來的。 具體來說，Mask R-CNN將興趣區(qū)域匯聚層替換為了 興趣區(qū)域?qū)R層令宿，使用雙線性插值（bilinear interpolation）來保留特征圖上的空間信息叼耙，從而更適于像素級(jí)預(yù)測(cè)。 興趣區(qū)域?qū)R層的輸出包含了所有與興趣區(qū)域的形狀相同的特征圖粒没。 它們不僅被用于預(yù)測(cè)每個(gè)興趣區(qū)域的類別和邊界框筛婉，還通過額外的全卷積網(wǎng)絡(luò)預(yù)測(cè)目標(biāo)的像素級(jí)位置。 本章的后續(xù)章節(jié)將更詳細(xì)地介紹如何使用全卷積網(wǎng)絡(luò)預(yù)測(cè)圖像中像素級(jí)的語(yǔ)義癞松。
小結(jié)
R-CNN對(duì)圖像選取若干提議區(qū)域爽撒，使用卷積神經(jīng)網(wǎng)絡(luò)對(duì)每個(gè)提議區(qū)域執(zhí)行前向傳播以抽取其特征，然后再用這些特征來預(yù)測(cè)提議區(qū)域的類別和邊界框响蓉。
Fast R-CNN對(duì)R-CNN的一個(gè)主要改進(jìn)：只對(duì)整個(gè)圖像做卷積神經(jīng)網(wǎng)絡(luò)的前向傳播硕勿。它還引入了興趣區(qū)域匯聚層，從而為具有不同形狀的興趣區(qū)域抽取相同形狀的特征枫甲。
Faster R-CNN將Fast R-CNN中使用的選擇性搜索替換為參與訓(xùn)練的區(qū)域提議網(wǎng)絡(luò)源武，這樣后者可以在減少提議區(qū)域數(shù)量的情況下仍保證目標(biāo)檢測(cè)的精度。
Mask R-CNN在Faster R-CNN的基礎(chǔ)上引入了一個(gè)全卷積網(wǎng)絡(luò)想幻，從而借助目標(biāo)的像素級(jí)位置進(jìn)一步提升目標(biāo)檢測(cè)的精度粱栖。
單發(fā)多框檢測(cè)（SSD）
SSD (Single Shot MultiBox Detector) 是一種用于目標(biāo)檢測(cè)的算法，它結(jié)合了高準(zhǔn)確度和實(shí)時(shí)性的優(yōu)勢(shì)举畸。SSD算法的核心思想是通過在圖像上應(yīng)用多個(gè)不同尺度的卷積濾波器來同時(shí)檢測(cè)不同大小的目標(biāo)查排。
下面是SSD算法的主要步驟：
特征提鹊手Α：SSD首先使用一個(gè)預(yù)訓(xùn)練的卷積神經(jīng)網(wǎng)絡(luò)（如VGGNet或ResNet）來提取圖像的特征抄沮。這些特征圖具有不同的分辨率和語(yǔ)義信息。
特征圖處理：對(duì)于每個(gè)特征圖岖瑰，SSD在每個(gè)位置應(yīng)用一組預(yù)定義的卷積濾波器叛买，這些濾波器用于檢測(cè)不同大小和寬高比的目標(biāo)。這些濾波器被稱為錨框（anchor boxes）或默認(rèn)框（default boxes）蹋订。
目標(biāo)分類和定位：對(duì)于每個(gè)錨框率挣，SSD計(jì)算兩個(gè)分?jǐn)?shù)：目標(biāo)的分類分?jǐn)?shù)和邊界框的位置調(diào)整。分類分?jǐn)?shù)表示該錨框內(nèi)是否包含目標(biāo)露戒，并且根據(jù)目標(biāo)類別的數(shù)量進(jìn)行打分椒功。位置調(diào)整表示將錨框調(diào)整為最接近目標(biāo)邊界框的位置。
非最大抑制（Non-Maximum Suppression）：在得到所有錨框的分類分?jǐn)?shù)和位置調(diào)整后智什，SSD使用非最大抑制來移除重疊的檢測(cè)結(jié)果动漾。它通過設(shè)置一個(gè)閾值來篩選掉低置信度的檢測(cè)結(jié)果，并使用IoU（Intersection over Union）來合并高重疊的邊界框荠锭。
多尺度特征融合：為了檢測(cè)不同大小的目標(biāo)旱眯，SSD通過在網(wǎng)絡(luò)的不同層次上應(yīng)用不同尺度的卷積濾波器來融合多尺度的特征。這樣可以在保持高分辨率的同時(shí)檢測(cè)小尺寸的目標(biāo)。
SSD算法的優(yōu)點(diǎn)是可以在單個(gè)前向傳播過程中完成目標(biāo)檢測(cè)删豺，速度較快共虑，并且在準(zhǔn)確度和實(shí)時(shí)性之間取得了良好的平衡。它被廣泛應(yīng)用于實(shí)時(shí)視頻分析呀页、自動(dòng)駕駛妈拌、人臉檢測(cè)等領(lǐng)域。頂部的多尺度特征圖較小蓬蝶，但具有較大的感受野供炎，它們適合檢測(cè)較少但較大的物體。 簡(jiǎn)而言之疾党，通過多尺度特征塊音诫，單發(fā)多框檢測(cè)生成不同大小的錨框，并通過預(yù)測(cè)邊界框的類別和偏移量來檢測(cè)大小不同的目標(biāo)雪位，因此這是一個(gè)多尺度目標(biāo)檢測(cè)模型竭钝。
實(shí)現(xiàn)
類別預(yù)測(cè)層
設(shè)目標(biāo)類別的數(shù)量為。這樣一來雹洗，錨框有
個(gè)類別香罐，其中0類是背景。 在某個(gè)尺度下时肿，設(shè)特征圖的高和寬分別為
和
庇茫。 如果以其中每個(gè)單元為中心生成
個(gè)錨框，那么我們需要對(duì)
個(gè)錨框進(jìn)行分類螃成。如果使用全連接層作為輸出旦签，很容易導(dǎo)致模型參數(shù)過多。所以使用卷積層的通道來輸出類別預(yù)測(cè)的方法寸宏， 單發(fā)多框檢測(cè)采用同樣的方法來降低模型復(fù)雜度宁炫。
具體來說，類別預(yù)測(cè)層使用一個(gè)保持輸入高和寬的卷積層氮凝。 這樣一來羔巢，輸出和輸入在特征圖寬和高上的空間坐標(biāo)一一對(duì)應(yīng)。 考慮輸出和輸入同一空間坐標(biāo)（罩阵、
）：輸出特征圖上（
竿秆、
）坐標(biāo)的通道里包含了以輸入特征圖（
、
）坐標(biāo)為中心生成的所有錨框的類別預(yù)測(cè)稿壁。因此輸出通道數(shù)為
幽钢，其中索引為
(
)的通道代表了索引為
的錨框有關(guān)類別索引為
的預(yù)測(cè)。
在下面常摧，我們定義了這樣一個(gè)類別預(yù)測(cè)層搅吁，通過參數(shù)num_anchors和num_classes分別指定了和
威创。 該圖層使用填充為1的
的卷積層。此卷積層的輸入和輸出的寬度和高度保持不變谎懦。
%matplotlib inline
import torch
import torchvision
from torch import nn
from torch.nn import functional as F
from d2l import torch as d2l
def cls_predictor(num_inputs, num_anchors, num_classes):
return nn.Conv2d(num_inputs, num_anchors * (num_classes + 1),
kernel_size=3, padding=1)
邊界框預(yù)測(cè)層
邊界框預(yù)測(cè)層的設(shè)計(jì)與類別預(yù)測(cè)層的設(shè)計(jì)類似肚豺。 唯一不同的是，這里需要為每個(gè)錨框預(yù)測(cè)4個(gè)偏移量界拦，而不是個(gè)類別吸申。
def bbox_predictor(num_inputs, num_anchors):
return nn.Conv2d(num_inputs, num_anchors * 4, kernel_size=3, padding=1)
連結(jié)多尺度的預(yù)測(cè)
正如我們所提到的，單發(fā)多框檢測(cè)使用多尺度特征圖來生成錨框并預(yù)測(cè)其類別和偏移量享甸。 在不同的尺度下截碴，特征圖的形狀或以同一單元為中心的錨框的數(shù)量可能會(huì)有所不同。 因此蛉威，不同尺度下預(yù)測(cè)輸出的形狀可能會(huì)有所不同日丹。
在以下示例中，我們?yōu)橥粋€(gè)小批量構(gòu)建兩個(gè)不同比例（Y1和Y2）的特征圖蚯嫌，其中Y2的高度和寬度是Y1的一半哲虾。 以類別預(yù)測(cè)為例，假設(shè)Y1和Y2的每個(gè)單元分別生成了5個(gè)和3個(gè)錨框择示。進(jìn)一步假設(shè)目標(biāo)類別的數(shù)量為10束凑，對(duì)于特征圖Y1和Y2，類別預(yù)測(cè)輸出中的通道數(shù)分別為和
栅盲，其中任一輸出的形狀是（批量大小汪诉，通道數(shù)，高度谈秫，寬度）扒寄。
def forward(x, block):
return block(x)
Y1 = forward(torch.zeros((2, 8, 20, 20)), cls_predictor(8, 5, 10))
Y2 = forward(torch.zeros((2, 16, 10, 10)), cls_predictor(16, 3, 10))
Y1.shape, Y2.shape
(torch.Size([2, 55, 20, 20]), torch.Size([2, 33, 10, 10]))
正如我們所看到的，除了批量大小這一維度外孝常，其他三個(gè)維度都具有不同的尺寸旗们。 為了將這兩個(gè)預(yù)測(cè)輸出鏈接起來以提高計(jì)算效率，我們將把這些張量轉(zhuǎn)換為更一致的格式构灸。
通道維包含中心相同的錨框的預(yù)測(cè)結(jié)果。我們首先將通道維移到最后一維岸梨。 因?yàn)椴煌叨认屡看笮∪员３植蛔兿舶洌覀兛梢詫㈩A(yù)測(cè)結(jié)果轉(zhuǎn)成二維的（批量大小，高x寬x通道數(shù)）的格式曹阔，以方便之后在維度1上的連結(jié)半开。
def flatten_pred(pred):
return torch.flatten(pred.permute(0, 2, 3, 1), start_dim=1)
def concat_preds(preds):
return torch.cat([flatten_pred(p) for p in preds], dim=1)
這樣一來，盡管Y1和Y2在通道數(shù)赃份、高度和寬度方面具有不同的大小寂拆，我們?nèi)匀豢梢栽谕粋€(gè)小批量的兩個(gè)不同尺度上連接這兩個(gè)預(yù)測(cè)輸出奢米。
concat_preds([Y1, Y2]).shape
torch.Size([2, 25300])
高和寬減半塊
為了在多個(gè)尺度下檢測(cè)目標(biāo)，我們?cè)谙旅娑x了高和寬減半塊down_sample_blk纠永，該模塊將輸入特征圖的高度和寬度減半鬓长。 事實(shí)上，該塊應(yīng)用了在 subsec_vgg-blocks中的VGG模塊設(shè)計(jì)尝江。 更具體地說涉波，每個(gè)高和寬減半塊由兩個(gè)填充為的
的卷積層、以及步幅為
的
最大匯聚層組成炭序。 我們知道啤覆，填充為
的
卷積層不改變特征圖的形狀。但是惭聂，其后的
的最大匯聚層將輸入特征圖的高度和寬度減少了一半窗声。 對(duì)于此高和寬減半塊的輸入和輸出特征圖，因?yàn)?img class="math-inline" src="https://math.jianshu.com/math?formula=1%5Ctimes%202%2B(3-1)%2B(3-1)%3D6" alt="1\times 2+(3-1)+(3-1)=6" mathimg="1">辜纲，所以輸出中的每個(gè)單元在輸入上都有一個(gè)
的感受野嫌佑。因此，高和寬減半塊會(huì)擴(kuò)大每個(gè)單元在其輸出特征圖中的感受野侨歉。
def down_sample_blk(in_channels, out_channels):
blk = []
for _ in range(2):
blk.append(nn.Conv2d(in_channels, out_channels,
kernel_size=3, padding=1))
blk.append(nn.BatchNorm2d(out_channels))
blk.append(nn.ReLU())
in_channels = out_channels
blk.append(nn.MaxPool2d(2))
return nn.Sequential(*blk)
在以下示例中屋摇，我們構(gòu)建的高和寬減半塊會(huì)更改輸入通道的數(shù)量，并將輸入特征圖的高度和寬度減半幽邓。
forward(torch.zeros((2, 3, 20, 20)), down_sample_blk(3, 10)).shape
torch.Size([2, 10, 10, 10])
基本網(wǎng)絡(luò)塊
基本網(wǎng)絡(luò)塊用于從輸入圖像中抽取特征炮温。 為了計(jì)算簡(jiǎn)潔，我們構(gòu)造了一個(gè)小的基礎(chǔ)網(wǎng)絡(luò)牵舵，該網(wǎng)絡(luò)串聯(lián)3個(gè)高和寬減半塊柒啤，并逐步將通道數(shù)翻倍丘跌。 給定輸入圖像的形狀為减噪，此基本網(wǎng)絡(luò)塊輸出的特征圖形狀為
（
）丈莺。
def base_net():
blk = []
num_filters = [3, 16, 32, 64]
for i in range(len(num_filters) - 1):
blk.append(down_sample_blk(num_filters[i], num_filters[i+1]))
return nn.Sequential(*blk)
forward(torch.zeros((2, 3, 256, 256)), base_net()).shape
torch.Size([2, 64, 32, 32])
完整的模型
完整的單發(fā)多框檢測(cè)模型由五個(gè)模塊組成紊婉。每個(gè)塊生成的特征圖既用于生成錨框偷办，又用于預(yù)測(cè)這些錨框的類別和偏移量帜矾。在這五個(gè)模塊中玉凯，第一個(gè)是基本網(wǎng)絡(luò)塊固蚤，第二個(gè)到第四個(gè)是高和寬減半塊送火，最后一個(gè)模塊使用全局最大池將高度和寬度都降到1拳话。從技術(shù)上講，第二到第五個(gè)區(qū)塊都是多尺度特征塊种吸。
def get_blk(i):
if i == 0:
blk = base_net()
elif i == 1:
blk = down_sample_blk(64, 128)
elif i == 4:
blk = nn.AdaptiveMaxPool2d((1,1))
else:
blk = down_sample_blk(128, 128)
return blk
現(xiàn)在我們?yōu)槊總€(gè)塊定義前向傳播弃衍。與圖像分類任務(wù)不同，此處的輸出包括：CNN特征圖Y坚俗；在當(dāng)前尺度下根據(jù)Y生成的錨框镜盯；預(yù)測(cè)的這些錨框的類別和偏移量（基于Y）岸裙。
def blk_forward(X, blk, size, ratio, cls_predictor, bbox_predictor):
Y = blk(X)
anchors = d2l.multibox_prior(Y, sizes=size, ratios=ratio)
cls_preds = cls_predictor(Y)
bbox_preds = bbox_predictor(Y)
return (Y, anchors, cls_preds, bbox_preds)
一個(gè)較接近頂部的多尺度特征塊是用于檢測(cè)較大目標(biāo)的，因此需要生成更大的錨框速缆。 在上面的前向傳播中降允，在每個(gè)多尺度特征塊上，我們通過調(diào)用的multibox_prior函數(shù)的sizes參數(shù)傳遞兩個(gè)比例值的列表激涤。
sizes = [[0.2, 0.272], [0.37, 0.447], [0.54, 0.619], [0.71, 0.79],
[0.88, 0.961]]
ratios = [[1, 2, 0.5]] * 5
num_anchors = len(sizes[0]) + len(ratios[0]) - 1
現(xiàn)在拟糕，我們就可以按如下方式定義完整的模型TinySSD了。
class TinySSD(nn.Module):
def __init__(self, num_classes, **kwargs):
super(TinySSD, self).__init__(**kwargs)
self.num_classes = num_classes
idx_to_in_channels = [64, 128, 128, 128, 128]
for i in range(5):
# 即賦值語(yǔ)句self.blk_i=get_blk(i)
setattr(self, f'blk_{i}', get_blk(i))
setattr(self, f'cls_{i}', cls_predictor(idx_to_in_channels[i],
num_anchors, num_classes))
setattr(self, f'bbox_{i}', bbox_predictor(idx_to_in_channels[i],
num_anchors))
def forward(self, X):
anchors, cls_preds, bbox_preds = [None] * 5, [None] * 5, [None] * 5
for i in range(5):
# getattr(self,'blk_%d'%i)即訪問self.blk_i
X, anchors[i], cls_preds[i], bbox_preds[i] = blk_forward(
X, getattr(self, f'blk_{i}'), sizes[i], ratios[i],
getattr(self, f'cls_{i}'), getattr(self, f'bbox_{i}'))
anchors = torch.cat(anchors, dim=1)
cls_preds = concat_preds(cls_preds)
cls_preds = cls_preds.reshape(
cls_preds.shape[0], -1, self.num_classes + 1)
bbox_preds = concat_preds(bbox_preds)
return anchors, cls_preds, bbox_preds
我們創(chuàng)建一個(gè)模型實(shí)例倦踢，然后使用它對(duì)一個(gè)像素的小批量圖像X執(zhí)行前向傳播送滞。
如本節(jié)前面部分所示，第一個(gè)模塊輸出特征圖的形狀為辱挥。 回想一下犁嗅，第二到第四個(gè)模塊為高和寬減半塊，第五個(gè)模塊為全局匯聚層晤碘。 由于以特征圖的每個(gè)單元為中心有4個(gè)錨框生成褂微，因此在所有五個(gè)尺度下，每個(gè)圖像總共生成
個(gè)錨框园爷。
net = TinySSD(num_classes=1)
X = torch.zeros((32, 3, 256, 256))
anchors, cls_preds, bbox_preds = net(X)
print('output anchors:', anchors.shape)
print('output class preds:', cls_preds.shape)
print('output bbox preds:', bbox_preds.shape)
output anchors: torch.Size([1, 5444, 4])
output class preds: torch.Size([32, 5444, 2])
output bbox preds: torch.Size([32, 21776])
訓(xùn)練模型
讀取數(shù)據(jù)集和初始化
batch_size = 32
train_iter, _ = load_data_bananas(batch_size)#我已經(jīng)下載好了宠蚂，所以用前面的定義好的函數(shù)來導(dǎo)入數(shù)據(jù)
香蕉檢測(cè)數(shù)據(jù)集中，目標(biāo)的類別數(shù)為1童社。 定義好模型后求厕，我們需要初始化其參數(shù)并定義優(yōu)化算法。
device, net = d2l.try_gpu(), TinySSD(num_classes=1)
trainer = torch.optim.SGD(net.parameters(), lr=0.2, weight_decay=5e-4)
定義損失函數(shù)和評(píng)價(jià)函數(shù)
目標(biāo)檢測(cè)有兩種類型的損失扰楼。 第一種有關(guān)錨框類別的損失：我們可以簡(jiǎn)單地復(fù)用之前圖像分類問題里一直使用的交叉熵?fù)p失函數(shù)來計(jì)算呀癣； 第二種有關(guān)正類錨框偏移量的損失：預(yù)測(cè)偏移量是一個(gè)回歸問題。 但是弦赖，對(duì)于這個(gè)回歸問題项栏，我們?cè)谶@里不使用平方損失，而是使用
范數(shù)損失蹬竖，即預(yù)測(cè)值和真實(shí)值之差的絕對(duì)值沼沈。 掩碼變量bbox_masks令負(fù)類錨框和填充錨框不參與損失的計(jì)算。 最后案腺，我們將錨框類別和偏移量的損失相加庆冕，以獲得模型的最終損失函數(shù)。
cls_loss = nn.CrossEntropyLoss(reduction='none')
bbox_loss = nn.L1Loss(reduction='none')
def calc_loss(cls_preds, cls_labels, bbox_preds, bbox_labels, bbox_masks):
batch_size, num_classes = cls_preds.shape[0], cls_preds.shape[2]
cls = cls_loss(cls_preds.reshape(-1, num_classes),
cls_labels.reshape(-1)).reshape(batch_size, -1).mean(dim=1)
bbox = bbox_loss(bbox_preds * bbox_masks,
bbox_labels * bbox_masks).mean(dim=1)
return cls + bbox
我們可以沿用準(zhǔn)確率評(píng)價(jià)分類結(jié)果劈榨。 由于偏移量使用了范數(shù)損失，我們使用平均絕對(duì)誤差來評(píng)價(jià)邊界框的預(yù)測(cè)結(jié)果晦嵌。這些預(yù)測(cè)結(jié)果是從生成的錨框及其預(yù)測(cè)偏移量中獲得的同辣。
def cls_eval(cls_preds, cls_labels):
# 由于類別預(yù)測(cè)結(jié)果放在最后一維拷姿，argmax需要指定最后一維。
return float((cls_preds.argmax(dim=-1).type(
cls_labels.dtype) == cls_labels).sum())
def bbox_eval(bbox_preds, bbox_labels, bbox_masks):
return float((torch.abs((bbox_labels - bbox_preds) * bbox_masks)).sum())
訓(xùn)練模型
在訓(xùn)練模型時(shí)旱函，我們需要在模型的前向傳播過程中生成多尺度錨框（anchors）响巢，并預(yù)測(cè)其類別（cls_preds）和偏移量（bbox_preds）。 然后棒妨，我們根據(jù)標(biāo)簽信息Y為生成的錨框標(biāo)記類別（cls_labels）和偏移量（bbox_labels）踪古。 最后，我們根據(jù)類別和偏移量的預(yù)測(cè)和標(biāo)注值計(jì)算損失函數(shù)券腔。為了代碼簡(jiǎn)潔伏穆，這里沒有評(píng)價(jià)測(cè)試數(shù)據(jù)集。
num_epochs, timer = 20, d2l.Timer()
animator = d2l.Animator(xlabel='epoch', xlim=[1, num_epochs],
legend=['class error', 'bbox mae'])
net = net.to(device)
for epoch in range(num_epochs):
# 訓(xùn)練精確度的和纷纫，訓(xùn)練精確度的和中的示例數(shù)
# 絕對(duì)誤差的和枕扫，絕對(duì)誤差的和中的示例數(shù)
metric = d2l.Accumulator(4)
net.train()
for features, target in train_iter:
timer.start()
trainer.zero_grad()
X, Y = features.to(device), target.to(device)
# 生成多尺度的錨框，為每個(gè)錨框預(yù)測(cè)類別和偏移量
anchors, cls_preds, bbox_preds = net(X)
# 為每個(gè)錨框標(biāo)注類別和偏移量
bbox_labels, bbox_masks, cls_labels = d2l.multibox_target(anchors, Y)
# 根據(jù)類別和偏移量的預(yù)測(cè)和標(biāo)注值計(jì)算損失函數(shù)
l = calc_loss(cls_preds, cls_labels, bbox_preds, bbox_labels,
bbox_masks)
l.mean().backward()
trainer.step()
metric.add(cls_eval(cls_preds, cls_labels), cls_labels.numel(),
bbox_eval(bbox_preds, bbox_labels, bbox_masks),
bbox_labels.numel())
cls_err, bbox_mae = 1 - metric[0] / metric[1], metric[2] / metric[3]
animator.add(epoch + 1, (cls_err, bbox_mae))
print(f'class err {cls_err:.2e}, bbox mae {bbox_mae:.2e}')
print(f'{len(train_iter.dataset) / timer.stop():.1f} examples/sec on '
f'{str(device)}')
預(yù)測(cè)目標(biāo)
在預(yù)測(cè)階段辱魁，我們希望能把圖像里面所有我們感興趣的目標(biāo)檢測(cè)出來烟瞧。在下面，我們讀取并調(diào)整測(cè)試圖像的大小染簇，然后將其轉(zhuǎn)成卷積層需要的四維格式参滴。
X = torchvision.io.read_image('./data/banana.jpg').unsqueeze(0).float()
img = X.squeeze(0).permute(1, 2, 0).long()
使用下面的multibox_detection函數(shù)，我們可以根據(jù)錨框及其預(yù)測(cè)偏移量得到預(yù)測(cè)邊界框锻弓。然后砾赔，通過非極大值抑制來移除相似的預(yù)測(cè)邊界框。
def predict(X):
net.eval()
anchors, cls_preds, bbox_preds = net(X.to(device))
cls_probs = F.softmax(cls_preds, dim=2).permute(0, 2, 1)
output = d2l.multibox_detection(cls_probs, bbox_preds, anchors)
idx = [i for i, row in enumerate(output[0]) if row[0] != -1]
return output[0, idx]
output = predict(X)
最后弥咪，我們篩選所有置信度不低于0.9的邊界框过蹂，做為最終輸出。
def display(img, output, threshold):
d2l.set_figsize((5, 5))
fig = d2l.plt.imshow(img)
for row in output:
score = float(row[1])
if score < threshold:
continue
h, w = img.shape[0:2]
bbox = [row[2:6] * torch.tensor((w, h, w, h), device=row.device)]
d2l.show_bboxes(fig.axes, bbox, '%.2f' % score, 'w')
display(img, output.cpu(), threshold=0.9)
小結(jié)
單發(fā)多框檢測(cè)是一種多尺度目標(biāo)檢測(cè)模型聚至】嵘祝基于基礎(chǔ)網(wǎng)絡(luò)塊和各個(gè)多尺度特征塊，單發(fā)多框檢測(cè)生成不同數(shù)量和不同大小的錨框扳躬，并通過預(yù)測(cè)這些錨框的類別和偏移量檢測(cè)不同大小的目標(biāo)脆诉。
在訓(xùn)練單發(fā)多框檢測(cè)模型時(shí)，損失函數(shù)是根據(jù)錨框的類別和偏移量的預(yù)測(cè)及標(biāo)注值計(jì)算得出的贷币。
