[原創(chuàng)]Panoramix算法筆記

論文名稱:Efficient 3D Room Shape Recovery From a Single Panorama

Github地址:https://github.com/YANG-H/Panoramix


算法核心筆記


一型雳、約束圖中的五種頂點(diǎn)

Graph G=(V缨称,E) 將所有線和超像素編碼為頂點(diǎn) V。

如圖一所示硫眯,兩種類型的線和三種超像素被認(rèn)為對(duì)應(yīng)于預(yù)處理中施加的不同自由度(DOF)遮糖。

? ? ? ? DOF = 1 的線條只能在固定方向的兩條固定光線上滑動(dòng)嫌变,

? ? ? ? DOF = 2 的線條是自由的璃饱。

? ? ? ? DOF = 1 的超像素具有已知的平面法線胖笛,它只能在其視錐內(nèi)滑動(dòng)眠副;例如画切,水平(地板/天花板)超像素的法線固定為垂直。

? ? ? ? DOF = 2 的超像素被限制為與已知方向平行囱怕;例如霍弹,垂直(墻)超像素的平面必須與垂直方向平行。

? ? ? ? DOF = 3 的超像素不施加方向限制光涂。


圖1. 約束圖中的五種頂點(diǎn)庞萍。

二、約束圖

兩種約束:連接性(connectivity)約束Econ 和共面性(coplanarity)約束Ecop忘闻。

連接性約束在頂點(diǎn)之間表現(xiàn)出四種連接方式钝计,如圖二。

? ? ? ?共享相同邊界的相鄰超像素之間的連接齐佳;

? ? ? ?具有不同方向的線的交點(diǎn)私恬;

? ? ? ?具有相同方向的線的共線性;

? ? ? ?相鄰線與超像素之間的連接炼吴。

共面性約束只關(guān)注可能位于同一平面上的超像素面本鸣。?


圖2. 連接性約束。四種圖例說(shuō)明了四種連接方式硅蹦。


三荣德、頂點(diǎn)參數(shù)化

? ? ? ?文章的目標(biāo)是預(yù)測(cè)觀察點(diǎn)所有可見(jiàn)表面的深度,通過(guò)假設(shè)每個(gè)超像素內(nèi)的表面平面度童芹,可以簡(jiǎn)化任務(wù)以推斷超像素的平面方程涮瞻。

? ? ? ?將 Xi 表示為對(duì)頂點(diǎn) i ∈V 的未知參數(shù)進(jìn)行編碼的向量,并使用 Ci 表示 i 的已知值的集合假褪。令 dfi 為 i 的自由度署咽。表1列出了擬議的超像素參數(shù)化,其中 i 代表每個(gè)超像素生音。

? ? ? ?(1)如果 dfi=1宁否,則令 ni 為其平面和 Ci 的單位法線向量。定義 Xi=(1/di)缀遍,其中 di 表示從平面到視點(diǎn)的距離慕匠。

? ? ? ?(2)如果 dfi=2,則 Ci={ui}域醇,其中 ui 為表面平面必須平行的單位方向向量台谊。定義 Xi=(ai,bi)?冤寿,它對(duì)應(yīng)于平面方程 aix+biy+ciz=1 的 (ai,bi青伤,ci) 中的兩個(gè)參數(shù)。

? ? ? ?(3)如果 dfi=3殴瘦,則Ci為空狠角,因?yàn)閷?duì)其方向沒(méi)有限制。Xi 直接定義為與平面參數(shù)相對(duì)應(yīng)的 (ai,bi,ci)?蚪腋。


表1. 參數(shù)化頂點(diǎn)丰歌。

? ? ? ?許多參數(shù)化方法可用于這些超像素。例如屉凯,我們可以簡(jiǎn)單地定義 Xi=(di) 如果 dfi=1立帖,或者定義 Xi=(θi,di)?,如果 dfi=2悠砚,其中 θi 表示沿 ui 方向的旋轉(zhuǎn)角度晓勇,di是其平面到視點(diǎn)的距離。

? ? ? ?如表1所示灌旧,文章對(duì)超像素進(jìn)行參數(shù)化處理因?yàn)閺奶岢龅某袼貐?shù) Xi 到其平面系數(shù) Πi=(ai绑咱,bi,ci)? 可以進(jìn)行線性變換枢泰。轉(zhuǎn)換矩陣 Pi 列在表1的第四欄中描融。所有這些矩陣都滿足 Πi=(ai,bi衡蚂,ci)?=PiXi窿克。

? ? ? ?對(duì)于線段,文章建議使用其支撐平面來(lái)編碼其空間布置毛甲。線的支撐平面由兩個(gè)要求定義:

? ? ? ?(1)它必須在空間中包含該線年叮,

? ? ? ?(2)它必須正交于穿過(guò)視點(diǎn)并包含線的平面。

? ? ? ?例如丽啡,圖3中的線(P1i谋右,P2i)的支撐平面應(yīng)始終包含相應(yīng)的3D線,并且應(yīng)正交于包含射線 OP1i 和 OP2i 的平面补箍。

? ? ? ? 3D中的提升線與其支撐平面之間存在一對(duì)一的對(duì)應(yīng)關(guān)系改执,并且它們共享相同的DOF值。 因此坑雅,我們可以將線視為超像素的退化形式辈挂,并使用表1所示的相同方法對(duì)其進(jìn)行參數(shù)化。

? ? ? ?特別地裹粤,如圖3所示终蒂,對(duì)于 DOF=1 的線 i=(P1i,P2i),表1中的 ni 表示其支撐平面的法線拇泣。 對(duì)于 DOF=2 的線 i噪叙,表1中的 ui 表示包含線 i 并通過(guò)視點(diǎn) O 的平面的法線。


圖3:線的支撐平面霉翔。


四睁蕾、約束求解CLLS

? ? ? ?Econ下的所有類型的連接約束都具有相同的目標(biāo):使某些連接點(diǎn)上兩個(gè)頂點(diǎn)的深度相等。

? ? ? ?如圖4所示债朵,如果約束是兩個(gè)相鄰超像素之間或一條線與一個(gè)超像素之間的連接子眶,則其連接點(diǎn)對(duì)應(yīng)于全景圖中邊界或線上的公共像素。

? ? ? ?如果約束是兩條線之間的交點(diǎn)或共線關(guān)系序芦,則其連接點(diǎn)對(duì)應(yīng)于全景圖中這兩條(延伸)線共享的點(diǎn)臭杰。


圖4:連接點(diǎn)以紅色顯示。全景圖中的每個(gè)連接點(diǎn)都代表一個(gè)空間上的視圖方向谚中,沿著該方向渴杆,兩個(gè)相關(guān)頂點(diǎn)的深度應(yīng)相等。


五藏杖、遮擋識(shí)別

? ? ? ?由于約束因素将塑,確定限制因素Econ和Ecop仍然具有挑戰(zhàn)性。 房間遮擋可能被檢測(cè)到的線段覆蓋蝌麸,并且傾向于遵循相干規(guī)則点寥。 例如圖5,如果在 li 上存在任何遮擋来吩,則遮擋的側(cè)面可能會(huì)沿 li保持連貫敢辩。


圖5:遮擋的連貫性。(a)線 li 附近的分段超像素弟疆。(b)和(c)說(shuō)明了相鄰超像素的可能遮擋狀態(tài)戚长,其中F表示前面的表面,B表示后面遮擋的表面怠苔⊥基于邏輯,(b)中所示的情況比(c)中的情況更合理柑司。
最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
  • 序言:七十年代末迫肖,一起剝皮案震驚了整個(gè)濱河市,隨后出現(xiàn)的幾起案子攒驰,更是在濱河造成了極大的恐慌蟆湖,老刑警劉巖,帶你破解...
    沈念sama閱讀 206,968評(píng)論 6 482
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件玻粪,死亡現(xiàn)場(chǎng)離奇詭異隅津,居然都是意外死亡诬垂,警方通過(guò)查閱死者的電腦和手機(jī),發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 88,601評(píng)論 2 382
  • 文/潘曉璐 我一進(jìn)店門(mén)伦仍,熙熙樓的掌柜王于貴愁眉苦臉地迎上來(lái)结窘,“玉大人,你說(shuō)我怎么就攤上這事充蓝』扌” “怎么了?”我有些...
    開(kāi)封第一講書(shū)人閱讀 153,220評(píng)論 0 344
  • 文/不壞的土叔 我叫張陵棺克,是天一觀的道長(zhǎng)。 經(jīng)常有香客問(wèn)我线定,道長(zhǎng)娜谊,這世上最難降的妖魔是什么? 我笑而不...
    開(kāi)封第一講書(shū)人閱讀 55,416評(píng)論 1 279
  • 正文 為了忘掉前任斤讥,我火速辦了婚禮纱皆,結(jié)果婚禮上,老公的妹妹穿的比我還像新娘芭商。我一直安慰自己派草,他們只是感情好,可當(dāng)我...
    茶點(diǎn)故事閱讀 64,425評(píng)論 5 374
  • 文/花漫 我一把揭開(kāi)白布铛楣。 她就那樣靜靜地躺著近迁,像睡著了一般。 火紅的嫁衣襯著肌膚如雪簸州。 梳的紋絲不亂的頭發(fā)上鉴竭,一...
    開(kāi)封第一講書(shū)人閱讀 49,144評(píng)論 1 285
  • 那天,我揣著相機(jī)與錄音岸浑,去河邊找鬼搏存。 笑死,一個(gè)胖子當(dāng)著我的面吹牛矢洲,可吹牛的內(nèi)容都是我干的璧眠。 我是一名探鬼主播,決...
    沈念sama閱讀 38,432評(píng)論 3 401
  • 文/蒼蘭香墨 我猛地睜開(kāi)眼读虏,長(zhǎng)吁一口氣:“原來(lái)是場(chǎng)噩夢(mèng)啊……” “哼责静!你這毒婦竟也來(lái)了?” 一聲冷哼從身側(cè)響起掘譬,我...
    開(kāi)封第一講書(shū)人閱讀 37,088評(píng)論 0 261
  • 序言:老撾萬(wàn)榮一對(duì)情侶失蹤泰演,失蹤者是張志新(化名)和其女友劉穎,沒(méi)想到半個(gè)月后葱轩,有當(dāng)?shù)厝嗽跇?shù)林里發(fā)現(xiàn)了一具尸體睦焕,經(jīng)...
    沈念sama閱讀 43,586評(píng)論 1 300
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡藐握,尸身上長(zhǎng)有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 36,028評(píng)論 2 325
  • 正文 我和宋清朗相戀三年,在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了垃喊。 大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片猾普。...
    茶點(diǎn)故事閱讀 38,137評(píng)論 1 334
  • 序言:一個(gè)原本活蹦亂跳的男人離奇死亡,死狀恐怖本谜,靈堂內(nèi)的尸體忽然破棺而出初家,到底是詐尸還是另有隱情,我是刑警寧澤乌助,帶...
    沈念sama閱讀 33,783評(píng)論 4 324
  • 正文 年R本政府宣布溜在,位于F島的核電站,受9級(jí)特大地震影響他托,放射性物質(zhì)發(fā)生泄漏掖肋。R本人自食惡果不足惜,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 39,343評(píng)論 3 307
  • 文/蒙蒙 一赏参、第九天 我趴在偏房一處隱蔽的房頂上張望志笼。 院中可真熱鬧,春花似錦把篓、人聲如沸纫溃。這莊子的主人今日做“春日...
    開(kāi)封第一講書(shū)人閱讀 30,333評(píng)論 0 19
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽(yáng)紊浩。三九已至,卻和暖如春疗锐,著一層夾襖步出監(jiān)牢的瞬間郎楼,已是汗流浹背。 一陣腳步聲響...
    開(kāi)封第一講書(shū)人閱讀 31,559評(píng)論 1 262
  • 我被黑心中介騙來(lái)泰國(guó)打工窒悔, 沒(méi)想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留呜袁,地道東北人。 一個(gè)月前我還...
    沈念sama閱讀 45,595評(píng)論 2 355
  • 正文 我出身青樓简珠,卻偏偏與公主長(zhǎng)得像阶界,于是被迫代替她去往敵國(guó)和親。 傳聞我的和親對(duì)象是個(gè)殘疾皇子聋庵,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 42,901評(píng)論 2 345

推薦閱讀更多精彩內(nèi)容