CVPR2014
《cross-scale cost aggregation for stereo matching》
這篇文章我這里就簡(jiǎn)稱CSCA，作者提供了詳細(xì)的源代碼宏邮，效果還不錯(cuò)敦姻，速度也可以赊琳，具有一定的實(shí)用價(jià)值韩肝。
1.立體匹配的概念
立體匹配的意思是基于同一場(chǎng)景得到的多張二維圖诈悍，還原場(chǎng)景的三維信息祸轮，一般采用的圖象是雙目圖像，這種叫做場(chǎng)景三維圖像侥钳。
目前适袜，立體匹配領(lǐng)域，主要有兩個(gè)評(píng)測(cè)網(wǎng)站慕趴，
一個(gè)是痪蝇，KITTI（http://www.cvlibs.net/datasets/kitti/eval_stereo_flow.php?benchmark=stereo）
另一個(gè)是鄙陡，middlebury（http://vision.middlebury.edu/stereo/）
兩個(gè)網(wǎng)站上的算法都交叉冕房，但又不完全一樣躏啰，相對(duì)來說，KITTI更好一點(diǎn)耙册，對(duì)算法的性能評(píng)測(cè)更好给僵，雖然時(shí)間測(cè)算的并不準(zhǔn)確（CSCA竟然要140s）。
下面是立體匹配的最基本的步驟：
1详拙、代價(jià)計(jì)算帝际。計(jì)算左圖一個(gè)像素和右圖一個(gè)像素之間的代價(jià)。
2饶辙、代價(jià)聚合蹲诀。一般基于點(diǎn)之間的匹配很容易受噪聲的影響，往往真實(shí)匹配的像素的代價(jià)并不是最低弃揽。所以有必要在點(diǎn)的周圍建立一個(gè)window脯爪，讓像素塊和像素塊之間進(jìn)行比較，這樣肯定靠譜些矿微。代價(jià)聚合往往是局部算法或者半全局算法才會(huì)使用痕慢，全局算法拋棄了window采用基于全圖信息的方式建立能量函數(shù)。
3涌矢、深度賦值掖举。這一步可以區(qū)分局部算法與全局算法，局部算法直接優(yōu)化代價(jià)聚合模型娜庇。而全局算法要建立一個(gè)能量函數(shù)塔次，能量函數(shù)的數(shù)據(jù)項(xiàng)往往就是代價(jià)聚合公式，例如DoubleBP名秀。輸出的是一個(gè)粗略的視差圖俺叭。
4、結(jié)果優(yōu)化泰偿。對(duì)上一步得到的粗估計(jì)的視差圖進(jìn)行精確計(jì)算熄守，策略有很多，例如plae fitting BP耗跛，動(dòng)態(tài)規(guī)劃等裕照。
這可以看作為一種全局算法框架，通過融合現(xiàn)有的局部算法调塌，大幅提高了算法效果晋南。
2.論文貢獻(xiàn)
文獻(xiàn)《cross-scale cost aggregation for stereo matching》有三大貢獻(xiàn)，第一羔砾，設(shè)計(jì)了一種一般化的代價(jià)聚合模型负间，可將現(xiàn)有算法作為其特例偶妖。第二，考慮到了多尺度交互（multi-scale interaction）政溃，形式化為正則化項(xiàng)趾访，應(yīng)用于代價(jià)聚合（cost aggregation）。第三董虱，提出了一種框架扼鞋，可以融合現(xiàn)有多種立體匹配算法。
這篇文章一直強(qiáng)調(diào)利用了不同尺度圖像“間”的信息愤诱。不同于一般的立體匹配算法云头，只采用了同樣尺度下，圖像的“內(nèi)”部結(jié)構(gòu)信息淫半，CSCA利用了多尺度信息溃槐，多尺度從何而來？其實(shí)說到底科吭，就是簡(jiǎn)單的對(duì)圖像進(jìn)行高斯下采樣昏滴，得到的多幅成對(duì)圖像（一般是5副），就代表了多尺度信息砌溺。為什么作者會(huì)這么提影涉，作者也是從生物學(xué)的角度來啟發(fā)，他說人類就是這么一個(gè)有粗到精的觀察習(xí)慣（coarse-to-line）规伐。
該文獻(xiàn)生成的稠密的視差圖蟹倾，基本方法也是逐像素的（pixelwise），分別對(duì)每個(gè)像素計(jì)算視差值猖闪，并沒有采用慣用的圖像分割預(yù)處理手段鲜棠，如此看來運(yùn)算量是比較可觀的。
3.算法流程
算法流程如下：
其實(shí)培慌，這篇文章的論述是非常清晰的豁陆，上圖是自己理解的一份流程圖，下面我根據(jù)這份流程圖吵护，對(duì)文章脈絡(luò)進(jìn)行說明盒音，對(duì)關(guān)鍵的公式進(jìn)行解釋：
1、對(duì)文章左右兩幅圖片進(jìn)行高斯下采樣馅而，得到多尺度圖像祥诽。
2、計(jì)算匹配代價(jià)瓮恭，這個(gè)是基于當(dāng)前像素點(diǎn)的雄坪，通常代價(jià)計(jì)算這一步并不重要，主要方法有CEN屯蹦，CG维哈，GRD等幾種绳姨，論文中給出了GRD，公式如下所示：
