論文名稱:Efficient 3D Room Shape Recovery From a Single Panorama
Github地址:https://github.com/YANG-H/Panoramix
算法核心筆記
一型雳、約束圖中的五種頂點(diǎn)
Graph G=(V缨称,E) 將所有線和超像素編碼為頂點(diǎn) V。
如圖一所示硫眯,兩種類型的線和三種超像素被認(rèn)為對(duì)應(yīng)于預(yù)處理中施加的不同自由度(DOF)遮糖。
? ? ? ? DOF = 1 的線條只能在固定方向的兩條固定光線上滑動(dòng)嫌变,
? ? ? ? DOF = 2 的線條是自由的璃饱。
? ? ? ? DOF = 1 的超像素具有已知的平面法線胖笛,它只能在其視錐內(nèi)滑動(dòng)眠副;例如画切,水平(地板/天花板)超像素的法線固定為垂直。
? ? ? ? DOF = 2 的超像素被限制為與已知方向平行囱怕;例如霍弹,垂直(墻)超像素的平面必須與垂直方向平行。
? ? ? ? DOF = 3 的超像素不施加方向限制光涂。
二、約束圖
兩種約束:連接性(connectivity)約束Econ 和共面性(coplanarity)約束Ecop忘闻。
連接性約束在頂點(diǎn)之間表現(xiàn)出四種連接方式钝计,如圖二。
? ? ? ?共享相同邊界的相鄰超像素之間的連接齐佳;
? ? ? ?具有不同方向的線的交點(diǎn)私恬;
? ? ? ?具有相同方向的線的共線性;
? ? ? ?相鄰線與超像素之間的連接炼吴。
共面性約束只關(guān)注可能位于同一平面上的超像素面本鸣。?
三荣德、頂點(diǎn)參數(shù)化
? ? ? ?文章的目標(biāo)是預(yù)測(cè)觀察點(diǎn)所有可見(jiàn)表面的深度,通過(guò)假設(shè)每個(gè)超像素內(nèi)的表面平面度童芹,可以簡(jiǎn)化任務(wù)以推斷超像素的平面方程涮瞻。
? ? ? ?將 Xi 表示為對(duì)頂點(diǎn) i ∈V 的未知參數(shù)進(jìn)行編碼的向量,并使用 Ci 表示 i 的已知值的集合假褪。令 dfi 為 i 的自由度署咽。表1列出了擬議的超像素參數(shù)化,其中 i 代表每個(gè)超像素生音。
? ? ? ?(1)如果 dfi=1宁否,則令 ni 為其平面和 Ci 的單位法線向量。定義 Xi=(1/di)缀遍,其中 di 表示從平面到視點(diǎn)的距離慕匠。
? ? ? ?(2)如果 dfi=2,則 Ci={ui}域醇,其中 ui 為表面平面必須平行的單位方向向量台谊。定義 Xi=(ai,bi)?冤寿,它對(duì)應(yīng)于平面方程 aix+biy+ciz=1 的 (ai,bi青伤,ci) 中的兩個(gè)參數(shù)。
? ? ? ?(3)如果 dfi=3殴瘦,則Ci為空狠角,因?yàn)閷?duì)其方向沒(méi)有限制。Xi 直接定義為與平面參數(shù)相對(duì)應(yīng)的 (ai,bi,ci)?蚪腋。
? ? ? ?許多參數(shù)化方法可用于這些超像素。例如屉凯,我們可以簡(jiǎn)單地定義 Xi=(di) 如果 dfi=1立帖,或者定義 Xi=(θi,di)?,如果 dfi=2悠砚,其中 θi 表示沿 ui 方向的旋轉(zhuǎn)角度晓勇,di是其平面到視點(diǎn)的距離。
? ? ? ?如表1所示灌旧,文章對(duì)超像素進(jìn)行參數(shù)化處理因?yàn)閺奶岢龅某袼貐?shù) Xi 到其平面系數(shù) Πi=(ai绑咱,bi,ci)? 可以進(jìn)行線性變換枢泰。轉(zhuǎn)換矩陣 Pi 列在表1的第四欄中描融。所有這些矩陣都滿足 Πi=(ai,bi衡蚂,ci)?=PiXi窿克。
? ? ? ?對(duì)于線段,文章建議使用其支撐平面來(lái)編碼其空間布置毛甲。線的支撐平面由兩個(gè)要求定義:
? ? ? ?(1)它必須在空間中包含該線年叮,
? ? ? ?(2)它必須正交于穿過(guò)視點(diǎn)并包含線的平面。
? ? ? ?例如丽啡,圖3中的線(P1i谋右,P2i)的支撐平面應(yīng)始終包含相應(yīng)的3D線,并且應(yīng)正交于包含射線 OP1i 和 OP2i 的平面补箍。
? ? ? ? 3D中的提升線與其支撐平面之間存在一對(duì)一的對(duì)應(yīng)關(guān)系改执,并且它們共享相同的DOF值。 因此坑雅,我們可以將線視為超像素的退化形式辈挂,并使用表1所示的相同方法對(duì)其進(jìn)行參數(shù)化。
? ? ? ?特別地裹粤,如圖3所示终蒂,對(duì)于 DOF=1 的線 i=(P1i,P2i),表1中的 ni 表示其支撐平面的法線拇泣。 對(duì)于 DOF=2 的線 i噪叙,表1中的 ui 表示包含線 i 并通過(guò)視點(diǎn) O 的平面的法線。
四睁蕾、約束求解CLLS
? ? ? ?Econ下的所有類型的連接約束都具有相同的目標(biāo):使某些連接點(diǎn)上兩個(gè)頂點(diǎn)的深度相等。
? ? ? ?如圖4所示债朵,如果約束是兩個(gè)相鄰超像素之間或一條線與一個(gè)超像素之間的連接子眶,則其連接點(diǎn)對(duì)應(yīng)于全景圖中邊界或線上的公共像素。
? ? ? ?如果約束是兩條線之間的交點(diǎn)或共線關(guān)系序芦,則其連接點(diǎn)對(duì)應(yīng)于全景圖中這兩條(延伸)線共享的點(diǎn)臭杰。
五藏杖、遮擋識(shí)別
? ? ? ?由于約束因素将塑,確定限制因素Econ和Ecop仍然具有挑戰(zhàn)性。 房間遮擋可能被檢測(cè)到的線段覆蓋蝌麸,并且傾向于遵循相干規(guī)則点寥。 例如圖5,如果在 li 上存在任何遮擋来吩,則遮擋的側(cè)面可能會(huì)沿 li保持連貫敢辩。