學(xué)號：17020150042

姓名：宗澤民

原文鏈接：https://www.cnblogs.com/ronny/p/3886013.html

【嵌牛導(dǎo)讀】尺度空間理論

【嵌牛鼻子】尺度空間理論

【嵌牛正文】

1. 特征的不變性

何謂特征鸽素？

每個(gè)物體剥懒，我們總可以用一些詞語或部件來描述它评抚，比如人臉的特征：兩個(gè)眼睛沃斤、一個(gè)鼻子和一個(gè)嘴巴。對于圖像而言颅悉，我們需要計(jì)算機(jī)去理解圖像衔统，描述圖像就需要計(jì)算機(jī)去取得圖像的特征提针，對圖像比較全面的描述即一個(gè)二維矩陣藕甩，矩陣內(nèi)的每個(gè)值代表圖像的亮度施敢。有時(shí)候我們需要讓計(jì)算機(jī)更簡化的來描述一個(gè)圖像，抓住一些顯著特征辛萍，這些特征要具有一些良好的性質(zhì)悯姊，比如局部不變性羡藐。局部不變性一般包括兩個(gè)方面：尺度不變性與旋轉(zhuǎn)不變性贩毕。

- 尺度不變性：人類在識別一個(gè)物體時(shí)，不管這個(gè)物體或遠(yuǎn)或近仆嗦，都能對它進(jìn)行正確的辨認(rèn)辉阶，這就是所謂的尺度不變性。尺度空間理論經(jīng)常與生物視覺關(guān)聯(lián)瘩扼，有人也稱圖像局部不變性特征為基于生物視覺的不變性方法谆甜。

- 旋轉(zhuǎn)不變性：當(dāng)這個(gè)物體發(fā)生旋轉(zhuǎn)時(shí)，我們照樣可以正確地辨認(rèn)它集绰，這就是所謂的旋轉(zhuǎn)不變性规辱。

2. 局部不變特征

全局特征：從整個(gè)圖像中抽取的特征。較多的運(yùn)用在圖像檢索領(lǐng)域栽燕，如圖像顏色直方圖罕袋。

局部特征：從圖像的局部區(qū)域中抽取的特征（這個(gè)局部區(qū)域往往是圖像中的一個(gè)像素及它周圍的鄰域）改淑。

一種好的局部特征應(yīng)該具有下面的特性：

????1)可重復(fù)性：同一個(gè)物體在不同時(shí)間，不同角度拍到圖像中浴讯，檢測到的特征對應(yīng)的越多越好朵夏。

????2)獨(dú)特性：特征在該物體上表現(xiàn)為獨(dú)特性，能與場景下其他物體區(qū)分榆纽。

????3)局部性：特征往往是物體某個(gè)局部的特點(diǎn)仰猖，這樣才可以避免遮擋時(shí)不能匹配的問題。

????4)數(shù)量性：檢測到的特征數(shù)目一定要多奈籽，密集度最好能在一定程度上反映圖像的內(nèi)容饥侵。

????5)準(zhǔn)確性：得到的特征應(yīng)該能被精確定位，能夠精確到像素衣屏。

????6)高效性：特征檢測算法運(yùn)算要快爆捞。

為了研究圖像的尺度不變特征，我們需要先從圖像的尺度空間理論開始勾拉。

3. 圖像尺度空間理論

當(dāng)用一個(gè)機(jī)器視覺系統(tǒng)分析未知場景時(shí)煮甥，計(jì)算機(jī)沒有辦法預(yù)先知識圖像中物體尺度，因此藕赞，我們需要同時(shí)考慮圖像在多尺度下的描述成肘，獲知感興趣物體的最佳尺度。

所以在很多時(shí)候斧蜕，我們會(huì)在將圖像構(gòu)建為一系列不同尺度的圖像集双霍，在不同的尺度中去檢測我們感興趣的特征。比如：在Harr特征檢測人臉的時(shí)候批销，因?yàn)槲覀儾⒉恢缊D像中人臉的尺寸洒闸，所以需要生成一個(gè)不同大小的圖像組成的金字塔，掃描其中每一幅圖像來尋找可能的人臉均芽。

3.1 金字塔分辨率

圖像金字塔化的一般步驟：首先丘逸，圖像經(jīng)過一個(gè)低通濾波器進(jìn)行平滑（這個(gè)步驟會(huì)使圖像變模糊，好像模仿人的視覺中遠(yuǎn)處的物體沒有近處的清晰的原理）掀宋，然后深纲，對這個(gè)平滑后的圖像進(jìn)行抽樣（一般抽樣比例在水平和豎直方向上都為1/2），從而得到一系列的縮小的圖像劲妙。

假設(shè)高斯金字塔的第?ll?層圖像為GlGl湃鹊，則有：

式中，N為高斯金字塔頂層 撥動(dòng)號镣奋；Rl和Gl分別為高斯金字塔第ll層的行數(shù)和列數(shù)币呵；ω(m,n)是一個(gè)二維可分離的5×5窗口函數(shù)，表達(dá)式為：

寫成上面的形式是為了說明侨颈，二維窗口的卷積算子余赢，可以寫成兩個(gè)方向上的1維卷積核（二項(xiàng)核）的乘積掸驱。上面卷積形式的公式實(shí)際上完成了2個(gè)步驟：1）高斯模糊；2）降維没佑。

按上述步驟生成的G0,G1,…,GN就構(gòu)成了圖像的高斯金字塔毕贼，其中G0為金字塔的底層(與原圖像相同)，GN為金字塔的頂層蛤奢」硌ⅲ可見高斯金字塔的當(dāng)前層圖像是對其前一層圖像先進(jìn)行高斯低通濾波，然后做隔行和隔列的降采樣(去除偶數(shù)行與偶數(shù)列)而生成的啤贩。當(dāng)前層圖像的大小依次為前一層圖像大小的1/4待秃。

下面是用OpenCV中的圖像金字塔相關(guān)函數(shù)寫的一個(gè)生成圖像金字塔的示例程序。程序中痹屹，不但生成了圖像金字塔章郁，而且生成了圖像的拉普拉斯金字塔（接下來的內(nèi)容）。

3.2 圖像的拉普拉斯金字塔

將Gl進(jìn)行內(nèi)插（這里內(nèi)插用的不是雙線性而是用的與降維時(shí)相同的濾波核）得到放大圖像G?l志衍，使G?l的尺寸與Gl?1的尺寸相同暖庄，表示為：

上面的系數(shù)4，是因?yàn)槊看文軈⑴c加權(quán)的項(xiàng)楼肪，的權(quán)值和為4/256培廓，這個(gè)與我們用的ω的值有關(guān)。

式中春叫，

令

式中肩钠，N為拉普拉斯金字塔頂層號，LPl是拉普拉斯金字塔分解的第l層圖像暂殖。

由LP0,LP1,…,LPl,…,LPN構(gòu)成的金字塔即為拉普拉斯金字塔价匠。它的每一層圖像是高斯金字塔本層圖像與其高一級的圖像經(jīng)內(nèi)插放大后圖像的差，此過程相當(dāng)于帶通濾波呛每，因此拉普拉斯金字塔又稱為帶通金字塔分解踩窖。

下圖為小貓圖像的拉普拉斯金字塔圖像：

3.3 為什么用高斯核

圖像的金字塔化能高效地（計(jì)算效率也較高）對圖像進(jìn)行多尺度的表達(dá)，但它缺乏堅(jiān)實(shí)的理論基礎(chǔ)莉给，不能分析圖像中物體的各種尺度（雖然我們有小貓的金字塔圖像毙石，我們還是不知道原圖像內(nèi)小貓的大辛凇）颓遏。

信號的尺度空間剛提出是就是通過一系列單參數(shù)、寬度遞增的高斯濾波器將原始信號濾波得到到組低頻信號滞时。那么一個(gè)很明顯的疑問是：除了高斯濾波之外叁幢，其他帶有參數(shù)t的低通濾波器是否也可以用來生成一個(gè)尺度空間。

后來Koenerink坪稽、Lindeberg[Scale-space theory in computer vision]曼玩、Florack等人用精確的數(shù)學(xué)形式通過不同的途徑都證明了高斯核是實(shí)現(xiàn)尺度變換的唯一變換核鳞骤。

雖然很多研究者從可分性、旋轉(zhuǎn)不變性黍判、因果性等特性推出高斯濾波器是建立線性尺度空間的最優(yōu)濾波器豫尽。然后在數(shù)字圖像處理中，需要對核函數(shù)進(jìn)行采樣顷帖，離散的高斯函數(shù)并不滿足連續(xù)高斯函數(shù)的的一些優(yōu)良的性質(zhì)美旧。所以后來出現(xiàn)了一些非線性的濾波器組來建立尺度空間，如B樣條核函數(shù)贬墩。

使用高斯濾波器對圖像進(jìn)行尺度空間金塔塔圖的構(gòu)建榴嗅，讓這個(gè)尺度空間具有下面的性質(zhì)：

1）加權(quán)平均和有限孔徑效應(yīng)

信號在尺度t上的表達(dá)可以看成是原信號在空間上的一系列加權(quán)平均，權(quán)重就是具有不同尺度參數(shù)的高斯核陶舞。

信號在尺度t上的表達(dá)也對應(yīng)于用一個(gè)無方向性的孔徑函數(shù)（特征長度為σ=√t）來觀測信號的結(jié)果嗽测。這時(shí)候信號中特征長度小于σ的精細(xì)結(jié)構(gòu)會(huì)被抑制[理解為一維信號上小于σ的波動(dòng)會(huì)被平滑掉。]肿孵。

2）層疊平滑

也叫高斯核族的半群（Semi-Group）性質(zhì)：兩個(gè)高斯核的卷積等同于另外一個(gè)不同核參數(shù)的高斯核卷積唠粥。

這個(gè)性質(zhì)的意思就是說不同的高斯核對圖像的平滑是連續(xù)的。

3）局部極值遞性

這個(gè)特征可以從人眼的視覺原理去理解停做，人在看一件物體時(shí)厅贪，離得越遠(yuǎn)，物體的細(xì)節(jié)看到的越少雅宾，細(xì)節(jié)特征是在減少的养涮。

高斯核對圖像進(jìn)行濾波具有壓制局部細(xì)節(jié)的性質(zhì)。

4）尺度伸縮不變性

這里只是一個(gè)公式推導(dǎo)的問題眉抬，對原來的信號加一個(gè)變換函數(shù)贯吓，對變換后的信號再進(jìn)行高斯核的尺度空間生成，新的信號的極值點(diǎn)等特征是不變的蜀变。

3.4 尺度的選擇[經(jīng)驗(yàn)之談]

一般我們采集到的圖像中悄谐，我們并不知道我們感興趣的目標(biāo)在圖像中的尺度，在這樣的情況下库北，我們對圖像進(jìn)行分析時(shí)就無法選擇合適的參數(shù)爬舰，比如邊緣檢測，可能由于參數(shù)不當(dāng)寒瓦，而造成過多的局部細(xì)節(jié)情屹。

如下圖所示：紅色圓圈內(nèi)的斑點(diǎn)的大小（直徑）比例對應(yīng)著兩幅圖像之間尺度比例（scale ratio）杂腰。如果對兩幅圖像采用相同的固定尺度的LoG檢測器檢測垃你，很難將這兩個(gè)斑點(diǎn)檢測出來。LoG檢測器相當(dāng)于一個(gè)匹配濾波器，只有當(dāng)LoG的尺度與圖片中斑點(diǎn)結(jié)構(gòu)尺度相當(dāng)時(shí)才會(huì)有較強(qiáng)的響應(yīng)惜颇。如果用與左圖中斑點(diǎn)結(jié)構(gòu)相當(dāng)大小尺度LoG算子皆刺，在中的大斑點(diǎn)的對應(yīng)的LoG響應(yīng)很小不能被檢測出來，反之亦然凌摄。因此固定尺度的LoG斑點(diǎn)檢測器不具有尺度不變性羡蛾。使用尺度空間進(jìn)行多尺度檢測可以將兩幅圖像中不同尺度的斑點(diǎn)檢測出來。但是由于斑點(diǎn)結(jié)構(gòu)是在一定尺度范圍之內(nèi)存在的锨亏，比如用5~8尺度的LoG可能都能檢測出來右邊圖像中的斑點(diǎn)結(jié)構(gòu)林说，所以在尺度空間中進(jìn)行斑點(diǎn)檢測會(huì)有重復(fù)檢測的缺點(diǎn)。

在實(shí)際操作中屯伞，我們需要定義一個(gè)特征響應(yīng)函數(shù)腿箩，在不同的尺度空間上尋找一個(gè)極值點(diǎn)。比如小貓的金字塔圖像分析時(shí)劣摇，我們定義了一個(gè)大小為[w,h]的小貓的模板珠移，用這個(gè)模板去與金字塔系列圖像匹配，一定有匹配度最佳（即特征響應(yīng)最強(qiáng)）末融。

需要注意的是钧惧，圖像結(jié)構(gòu)往往是在粗糙的尺度上被檢測到，此時(shí)位置信息未必是最準(zhǔn)確的勾习，因此通常圖像的尺度分析包含兩個(gè)階段：首先在粗尺度上進(jìn)行特征（結(jié)構(gòu)）檢測浓瞪，然后再在細(xì)尺度上進(jìn)行精確定位。

參考資料：

[1] OpenCv教程巧婶，圖像金字塔

[2] 計(jì)算機(jī)視覺——算法與應(yīng)用 3.5節(jié) 金字塔與小波

[3] 現(xiàn)代數(shù)字圖像 1.1節(jié) 圖像多分辨率真金字塔

[4] OpenCv的5種圖像內(nèi)插方法