20190722_CVPR2019_[特征點]D2-Net

文章：D2-Net: A Trainable CNN for Joint Description and Detection of Local Features
鏈接：https://arxiv.org/abs/1905.03561
作者：Mihai Dusmanu胸嘁，……，Marc Pollefeys
機構：ETH，Microsoft，JSPS KAKENHI
摘要的摘要：傳統(tǒng)的特征方法是先檢測關鍵點再提取描述子（detect-then-describe）夺鲜，本文則是使用一個CNN網(wǎng)絡赎败，輸入原始圖片 $I$ ，尺寸為 $h \times w$ 吝沫，輸出Feature Map呻澜，為3D張量 $F=\mathcal{F}\left( I \right)$ ， $F\in \mathbb{R}^{h\times w\times n}$ 惨险， $n$ 為channel數(shù)羹幸，再從Feature Map里同時提取關鍵點和描述子（detect-and-describe）。并且在一些場景看著效果不錯辫愉，如下圖栅受。

圖1

1. 描述子

$\mathbfii6levq_{ij}=F_{ij:},\mathbfywktidu\in \mathbb{R}^n \tag{1}$
實際上，本文使用歸一化的描述子： $\mathbf{\hatmoc51ll}_{ij}=\mathbfap5jtww_{ij}/\lVert \mathbfskuuaz0_{ij} \rVert _2$ .

2. 特征點

定義2D響應：
$D^k=F_{::k},D^k\in \mathbb{R}^{h\times w} \tag{2}$
Hard feature detection. 判斷 $(i,j)$ 是一個detection：在 $D_{ij}^{1},D_{ij}^{2},...D_{ij}^{n}$ 中找到響應最大的那一層 $D_{ij}^{k}$ 恭朗，再判斷在 $k$ 層 $D_{ij}^{k}$ 是否是一個局域響應最大屏镊，如是，則 $(i,j)$ 是一個detection痰腮，如圖2而芥。
$\left( i,j \right) \,\,\text{is a }\det\text{ection }\Longleftrightarrow \,\,D_{ij}^{k}\,\,\text{is a local }\max\text{. in }\,D^k, \text{with }k=\underset{t}{\text{arg }\max}\,\,D_{ij}^{t} \tag{3}$

圖2

Soft feature detection. Hard feature detection是一個非0即1的判斷，因此只適用于Testing階段膀值，在Training階段需要soft一下來做back-propagation棍丐。思路就是給各個點定義score值（感覺有點類似于分類中的概率值）。

3. 聯(lián)合訓練

ground truth為給定的匹配點對集合 $\mathcal{C}$ 虫腋，損失函數(shù)為：
$\mathcal{L}\left( I_1,I_2 \right) =\sum_{c\in \mathcal{C}}{\frac{s_{c}^{\left( 1 \right)}s_{c}^{\left( 2 \right)}}{\sum_{q\in \mathcal{C}}{s_{q}^{\left( 1 \right)}s_{q}^{\left( 2 \right)}}}}m\left( p\left( c \right) ,n\left( c \right) \right) \tag{13}$
具體詳見paper骄酗，大意就是最小化正確匹配距離，最大化錯誤匹配距離悦冀，同時提高關鍵點的得分趋翻。

4. 其他

使用VGG16，fine-tuning盒蟆。
項目在Github上開源踏烙，https://github.com/mihaidusmanu/d2-net。

最后編輯于：2019.07.23 11:42:53

?著作權歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者