Abstact:
新一代的有源3D距離傳感器探越,例如飛行時間相機狡赐,能夠以視頻幀速率記錄全幀深度圖。不幸的是钦幔,捕獲的數(shù)據(jù)通常被噪聲嚴(yán)重污染枕屉,并且傳感器僅具有相當(dāng)有限的圖像分辨率。因此鲤氢,我們通過用來自高分辨率攝像機的數(shù)據(jù)上采樣范圍信息來呈現(xiàn)用于實時增強范圍數(shù)據(jù)的質(zhì)量和增加空間分辨率的流水線搀擂。
我們的算法是一種自適應(yīng)多側(cè)向上采樣濾波器拐纱,其考慮實時深度數(shù)據(jù)的固有噪聲性質(zhì)。因此哥倔,我們可以大大提高重建質(zhì)量秸架,提高數(shù)據(jù)的分辨率到視頻傳感器的分辨率,并防止不想要的人工產(chǎn)物像紋理復(fù)制成幾何咆蒿。我們的技術(shù)已經(jīng)被設(shè)計以實現(xiàn)深度圖質(zhì)量的改進东抹,同時保持實時應(yīng)用的高計算效率。通過在GPU上實現(xiàn)我們的方法沃测,創(chuàng)建具有視頻相機分辨率的實時3D相機是可行的
NAFD
A New Filter for Noise Aware Depth Upsampling
為了滿足深度超分辨率和對噪聲實時3D傳感器(如飛行時間相機)的去噪的特定要求缭黔,我們提出了一種用于深度上采樣(NAFDU)的新的多橫向噪聲過濾器。 我們的目標(biāo)是在數(shù)據(jù)匹配我們的假設(shè)的那些區(qū)域中保持雙向上采樣的有益特性,并且防止在那些標(biāo)準(zhǔn)雙向上采樣可能導(dǎo)致錯誤紋理復(fù)制的區(qū)域中的偽像。 NAFDU過濾器采用以下形式:
f朱沃,g和h都是高斯函數(shù)斋配,α(ΔΩ)是混合函數(shù)。
f就是JBF,通過下采樣的低分辨圖像的高斯函數(shù)(color圖像以(i碱呼,j)為中心與整數(shù)倍的采樣間隔的像素值的差)
g是BF這個是以距離為高斯函數(shù)(對low resolution image)
h 是將low resolution imresize 變成high resolution image ,再將low resolution 中的window中的像素值與high resolution image 中的(i,j)中心求差,以上描述是h中的變量的求法喊儡,再將差值代入高斯函數(shù),就得到了h函數(shù)稻据。
權(quán)重
ΔΩ是最大和最小灰度值之間的差值
ε控制過渡區(qū)域的寬度
τ控制在什么最小 - 最大差值處的混合間隔應(yīng)該居中艾猜。
上面的內(nèi)容有時候用以下的形式:
alpha = 1- tau/(var(depth_sec(:))+tau)
其實噪聲感知就是通過這個權(quán)重來進行體現(xiàn)
DataSet
http://vision.middlebury.edu/stereo/data/