姓名：王天宇
學(xué)號(hào)：20181213976
學(xué)院：物理與光電工程學(xué)院
【嵌牛導(dǎo)讀】
三維重建是指對(duì)三維物體建立適合計(jì)算機(jī)表示和處理的數(shù)學(xué)模型,是在計(jì)算機(jī)環(huán)境下對(duì)其進(jìn)行處理彬碱、操作和分析其性質(zhì)的基礎(chǔ),也是在計(jì)算機(jī)中建立表達(dá)客觀世界的虛擬現(xiàn)實(shí)的關(guān)鍵技術(shù)搂橙。
物體三維重建是計(jì)算機(jī)輔助幾何設(shè)計(jì)(CAGD)、計(jì)算機(jī)圖形學(xué)(CG)魂拦、計(jì)算機(jī)動(dòng)畫、計(jì)算機(jī)視覺蚁吝、醫(yī)學(xué)圖像處理宇立、科學(xué)計(jì)算和虛擬現(xiàn)實(shí)、軟件算法研究與嵌入式系統(tǒng)設(shè)計(jì)領(lǐng)域的共性問題和核心技術(shù)步势。
【嵌牛鼻子】
基于多光譜機(jī)器視覺的針對(duì)高反光無紋理目標(biāo)的三維重建
【嵌牛提問】
如何應(yīng)對(duì)低紋理氧猬、高反光目標(biāo)在重建過程中的數(shù)據(jù)丟失、重建完成率低等問題坏瘩？
【嵌牛內(nèi)容】
對(duì)于傳統(tǒng)的基于視覺成像的目標(biāo)三維重建方法盅抚，紋理稀疏甚至缺失會(huì)造成難以提取到足夠的特征點(diǎn)，使得恢復(fù)結(jié)果只能得到邊緣輪廓等部分信息倔矾；大面積的耀光會(huì)造成圖像傳感器飽和﹐丟失耀光處的數(shù)據(jù)信息妄均，造成恢復(fù)結(jié)果會(huì)出現(xiàn)大面積的數(shù)據(jù)空洞。
如果僅僅依靠偏振成像哪自，對(duì)目標(biāo)進(jìn)行三維重建丰包，有著法線方向的二義性，即不確定性問題壤巷，只能得到在像素坐標(biāo)下的相對(duì)深度信息邑彪。因此，利用偏振成像獲得的目標(biāo)表面的幾何信息再結(jié)合其它手段來解決方向二義性或者轉(zhuǎn)化為絕對(duì)深度成為近幾年計(jì)算機(jī)視覺的熱點(diǎn)問題隙笆。
而利用偏振成像技術(shù)對(duì)目標(biāo)進(jìn)行三維重建锌蓄，需要對(duì)目標(biāo)表面所有微元的法向量進(jìn)行求解，即對(duì)方位角和天頂角進(jìn)行求解撑柔。在根據(jù)菲涅耳原理瘸爽、折射定律以及偏振度的定義構(gòu)建的關(guān)系中求解天頂角時(shí)，表面材料的折射率n是求解天頂角的過程中一個(gè)非常重要的先驗(yàn)信息铅忿。但在實(shí)際應(yīng)用中剪决，對(duì)于許多非合作目標(biāo)的測(cè)量、陌生環(huán)境中的目標(biāo)的探測(cè)等檀训，目標(biāo)表面的材料特性通常是未知的柑潦，此時(shí)天頂角、偏振度和目標(biāo)表面折射率間的關(guān)系是一個(gè)欠定方程峻凫，即我們無法在只知道偏振度的情況下獲取天頂角渗鬼。
為了解決實(shí)際應(yīng)用中缺失的目標(biāo)表面材料特性的先驗(yàn)信息，趙永強(qiáng)等人于2018年提出基于多波段偏振成像的三維重建方法荧琼，利用柯西色散方程將折射率展開為關(guān)于波長(zhǎng)的有理函數(shù)
譬胎，待求解的是波長(zhǎng)
的系數(shù)差牛。隨著不同波長(zhǎng)數(shù)量的逐漸增加，色散方程的數(shù)量將超過未知變量的數(shù)量堰乔，使得天頂角和入射角的求解變成正定的問題偏化。將色散方程代入表示天頂角和偏振度之間關(guān)系的方程中，便轉(zhuǎn)化為非線性最小二乘問題镐侯，利用線性搜索或置信區(qū)間的方法便可以同時(shí)估計(jì)出天頂角和色散方程系數(shù)的最優(yōu)解侦讨。得到天頂角后，便可以根據(jù)幾何原理獲得法向量苟翻，同時(shí)獲得物體的折射系數(shù)韵卤，并對(duì)目標(biāo)表面進(jìn)行重建。
在損失函數(shù)中加入柯西色散方程作為折射率的約束袜瞬，利用這個(gè)約束可以將損失函數(shù)變?yōu)橛蠱+1個(gè)變量的方程怜俐，當(dāng)色散方程系數(shù)的個(gè)數(shù)M使得M+1≤N時(shí)（N為不同波段的數(shù)量）身堡，就可以用線性搜索或置信區(qū)間的手段求解非線性最小二乘問題邓尤。
作為驗(yàn)證，趙永強(qiáng)等人搭建了偏振圖像采集系統(tǒng)贴谎，分別以石膏圓柱汞扎、蘋果、瓷碗和衛(wèi)星模型作為重建目標(biāo)擅这。以水平方向?yàn)閰⒖汲浩牵謩e獲得線偏振片處于0°、45°仲翎、90°及135°時(shí)的偏振圖像痹扇，并從每一幅圖像中分理出RGB三個(gè)波段，使得每一個(gè)波段都有四幅偏振圖像溯香，組成多波段偏振圖像鲫构。
考慮到目標(biāo)表面的耀光、光斑等雜散光分量具有強(qiáng)偏振效應(yīng)玫坛，可以近似為部分線偏振光结笨；漫反射分量起偏效應(yīng)弱，可近似為無偏光湿镀；并且雜散光在不同的波段也有著不同的偏振態(tài)炕吸。因此為了避免目標(biāo)受到雜散光的干擾，影響重建的準(zhǔn)確性勉痴，首先對(duì)重構(gòu)的目標(biāo)圖像進(jìn)行了基于多波段偏振的去耀光預(yù)處理赫模，提高目標(biāo)三維重構(gòu)的視覺性能。
基于偏振多光譜的耀光去除預(yù)處理方法主要包含以下幾個(gè)步驟：
第一步：構(gòu)建聯(lián)合偏振光譜特征向量進(jìn)行雜散光檢測(cè)蒸矛，結(jié)合線偏振度及強(qiáng)度信息對(duì)雜散光區(qū)域進(jìn)行有效準(zhǔn)確的檢測(cè)瀑罗。
第二步：獲取最大最小偏振光譜差分圖像（單通道無耀光圖像）扫外。經(jīng)過分析，最大廓脆、最小偏振光譜差分圖像僅與目標(biāo)的漫反射分量有關(guān)筛谚，而與鏡面雜散光無關(guān)。因此停忿，利用0°驾讲、45°、90°3個(gè)偏振方向的光譜差分圖像席赂，進(jìn)行線性加權(quán)吮铭，生成單通道無耀光圖像SSF，避免了耀光颅停、光斑等雜散光的干擾谓晌，同時(shí)保留目標(biāo)原有信息,能有效地引導(dǎo)后續(xù)雜散光的分離抑制。
第三步：基于最大癞揉、最小偏振光譜差分圖像纸肉，實(shí)現(xiàn)雜散光分量分離。對(duì)于前兩步中檢測(cè)到的雜散光區(qū)域像素點(diǎn)喊熟，可在單通道無耀光圖像SSF中尋求其強(qiáng)度值最接近的漫反射像素點(diǎn)柏肪，將此漫反射像素點(diǎn)原有的色彩強(qiáng)度作為雜散光像素點(diǎn)的漫反射色彩強(qiáng)度〗媾疲基于以上策略烦味，提出一種全局處理的最小二乘系數(shù)分解算法。該算法在SSF圖像進(jìn)行全局遍歷搜尋壁拉，對(duì)檢測(cè)到的雜散光區(qū)域?qū)崿F(xiàn)有效引導(dǎo)反射系數(shù)分離谬俄，最終得到準(zhǔn)確的雜散光分離結(jié)果。石膏圓柱弃理、蘋果溃论、瓷碗和衛(wèi)星模型的試驗(yàn)結(jié)果分別如圖所示。
對(duì)比實(shí)驗(yàn)結(jié)果案铺，可以看出蔬芥，傳統(tǒng)的雙目三維重構(gòu)方法由于需要豐富的紋理信息及對(duì)反光特性的依賴，對(duì)于高反光控汉，紋理單一甚至缺失這一類特殊目標(biāo)笔诵，如石膏圓柱、沒有花紋的瓷碗姑子、蘋果等乎婿，無法提取豐富的特征點(diǎn)，從而導(dǎo)致重構(gòu)結(jié)果出現(xiàn)大面積的數(shù)據(jù)空洞街佑，無法很好地恢復(fù)目標(biāo)的表面特性谢翎，而基于多波段偏振的三維重構(gòu)方法不需要依賴目標(biāo)表面的紋理信息捍靠，僅需要利用偏振和光譜的信息，得到了目標(biāo)表面完整的三維信息森逮，同時(shí)還能進(jìn)一步對(duì)目標(biāo)三維結(jié)構(gòu)和折射率進(jìn)行聯(lián)合估計(jì)榨婆。
趙永強(qiáng)等人提出的基于多波段偏振的三維重構(gòu)方法對(duì)圖像的光譜和偏振信息進(jìn)行提取，輔以攝影測(cè)量和機(jī)器視覺技術(shù)褒侧，實(shí)現(xiàn)了對(duì)高反光無紋理這類特殊目標(biāo)的三維重構(gòu)良风，同時(shí)解決了無法僅從菲涅爾理論實(shí)現(xiàn)天頂角和折射率同步估計(jì)的問題，為三位重構(gòu)提供了更大的平臺(tái)和可能性闷供，提高了這項(xiàng)技術(shù)的應(yīng)用范圍和應(yīng)用價(jià)值烟央。
