LayoutNet: Reconstructing the 3D Room Layout from a Single RGB Image

本文為原文翻譯厨埋，原文地址：https://arxiv.org/abs/1803.08999

Abstract

我們提出了一種算法唠帝，可以從一張圖像中預測房間的布局翁脆，該圖像可以將全景圖和透視圖圖像筑悴，長方體布局以及更一般的布局（例如“ L”形房間）進行概括车酣。 我們的方法直接在全景圖像上運行督勺，而不是像最近的作品一樣分解為透視圖像洛搀。 我們的網絡架構類似于RoomNet蔬墩，但是我們展示了一些改進译打，這些改進包括基于消失點對圖像進行對齊，預測多個布局元素(角拇颅、邊界奏司、大小和平移)，以及將一個受約束的曼哈頓布局與結果預測進行擬合樟插。我們的方法在速度和精度上與現有的其他工作在全景圖上進行了比較韵洋，在透視圖像上實現了最佳的精度竿刁，并可以處理長方體和更一般的曼哈頓的布局。

1. Introduction

通過一個應用程序（例如機器人技術和虛擬/增強現實）搪缨，從一個圖像估計房間的3D布局是一個重要的目標食拜。房間布局指定了相對于攝像機中心的墻壁的位置，方向和高度副编。布局可以表示為一組投影的角位置或邊界负甸，也可以表示為3D網格。現有工作適用于該問題的特殊情況痹届，例如根據透視圖或全景圖預測長方體形的布局呻待。

我們展示了LayoutNet，這是一種深度卷積神經網絡（CNN）队腐，可從單個視角或全景圖像估計室內場景的3D布局（圖1）蚕捉。我們的方法在全景圖的速度和準確性上具有很好的對比，并且在透視圖圖像中是最好的香到。我們的方法還可以推廣到非立方體的曼哈頓布局鱼冀，例如“ L”形的房間。 可以從以下網址獲得代碼：https://github.com/zouchuhang/LayoutNet悠就。

我們的LayoutNet方法分三個步驟運行（圖2）千绪。 首先，我們的系統分析消失點并將圖像與地板對齊（第3.1節(jié)）梗脾。根據我們的實驗荸型，這種對齊方式可以確保墻壁邊界為垂直線，并大大減少了誤差炸茧。第二步瑞妇，使用帶有編碼器-解碼器結構和跳過連接的CNN，直接在圖像上預測拐角（布局交界處）和邊界概率圖（第3.2節(jié)）梭冠。角和邊界分別提供了房間布局的完整表示辕狰。我們發(fā)現，在單個網絡中共同預測它們會帶來更好的估計控漠。最后蔓倍，優(yōu)化3D布局參數以適合預測的角和邊界（第3.4節(jié)）。我們優(yōu)化過程中最終的3D布局損失很難通過網絡反向傳播盐捷，但是在訓練過程中3D參數的直接回歸可以作為有效的替代方法偶翅，從而鼓勵進行預測以最大程度地提高最終結果的準確性。

我們的貢獻是:

·? 我們提出了一種更通用的RGB圖像到布局算法碉渡，該算法適合于具有曼哈頓布局的透視圖和全景圖聚谁。 我們的系統在全景圖像的速度和準確性方面具有很好的對比，并且在透視圖像方面達到了第二好的水平滞诺，同時也是最快的形导。

·??我們展示了使用預先計算的消失點提示环疼，幾何約束和后處理優(yōu)化所獲得的收益，表明深層網絡方法仍然受益于顯式的幾何提示和約束朵耕。 我們還表明秦爆，將目標添加到直接回歸3D布局參數可以更好地預測用于求解最終預測布局的邊界和角。

·? 我們擴展了斯坦福2D-3D數據集的注釋憔披，提供了可用于將來工作的房間布局注釋。

2. Related Work

在過去十年中爸吮，單視圖房間布局估計一直是研究的一個活躍主題芬膝。 Delage等在“曼哈頓世界”假設下，將水平相機拍攝的透視圖圖像中的地板/墻壁邊界擬合以創(chuàng)建3D模型形娇。曼哈頓世界的假設是所有墻壁彼此成直角并垂直于地板锰霜。 cuboid模型是一種特殊情況，其中四面墻壁桐早，天花板和地板將房間圍起來癣缅。 Lee等產生方向圖，基于檢測到的線段生成布局假設哄酝，并從其中選擇最適合的布局友存。 Hedau等通過求解三個消失點，采樣與那些消失點一致的布局陶衅，并基于邊緣和幾何上下文的一致性選擇最佳布局屡立，來恢復長方體布局。隨后的工作遵循類似的方法搀军，改進了布局生成膨俐，對布局進行評分的功能以及合并了對象假設或其他上下文。最新的方法訓練深度網絡特征以將像素分類為布局表面（墻壁罩句，地板焚刺，天花板），邊界门烂，角或是它們的組合乳愉。

幾乎所有這些作品都旨在從透視RGB圖像生成長方體形的布局。一些作品還可以處理全景圖像诅福。 張等提出了一種PanoContext數據集和方法匾委，可以從360°全景圖像中估算房間的布局（稍后會詳細介紹）。楊等根據邊緣提示氓润，Geometrical Context和其他先驗從全景圖中恢復布局赂乐。徐等根據表面方向估計和對象假設估計布局。其他工作從多張圖像或RGBD圖像恢復室內布局咖气，其中估計嚴重依賴于從傳感器或多視圖約束獲得的3D點挨措。Rent3D利用了已知的平面圖挖滤。我們的方法通過直接在單個RGB等矩形全景圖上估算布局來簡化重建。我們的最終輸出是稀疏而緊湊的曼哈頓平面布局浅役，該布局由每面墻到相機的距離斩松，高度和布局旋轉參數化。

我們的工作與PanoContext和RoomNet的目標最為相似觉既。PanoContext將設計用于透視圖圖像的框架擴展到全景圖惧盹，估計消失點，生成假設并根據方向圖瞪讼，幾何上下文和對象假設對假設進行評分钧椰。為了計算這些特征，PanoContext首先將全景圖像投影到多個重疊的透視圖像中符欠，然后將特征圖組合回全景圖像中嫡霞。我們的方法更直接：在根據消失點對齊全景圖像后，我們的系統使用深度網絡直接在全景圖像上預測邊界和拐角希柿。在這方面诊沪，我們類似于Room-Net，它使用深度網絡直接預測透視圖圖像中的布局角曾撤，并使用標簽指示哪些角是可見的端姚。我們的方法在某些方面與RoomNet不同。我們的方法適用于全景圖像盾戴。我們的方法在對齊步驟（RoomNet不執(zhí)行任何操作）以及邊界寄锐，角和3D長方體參數的多任務預測方面也有所不同。我們的最終推理僅限于產生曼哈頓3D布局尖啡。 RoomNet使用RNN來完善2D角位置預測橄仆，但這些預測可能與任何3D長方體布局不一致。我們的實驗表明衅斩，所有這些差異都可以改善結果盆顾。

更籠統地說，據我們所知畏梆，我們第一次提出了適用于透視圖和全景圖的方法您宪。我們還表明，我們的方法可以輕松地擴展到非立方體的曼哈頓布局奠涌。因此宪巨，我們的方法可以說是迄今為止從單個RGB圖像進行室內布局估計的最通用，最有效的方法溜畅。

3. Approach

我們首先描述從全景圖預測長方體布局的方法：對齊（第3.1節(jié)）捏卓，使用CNN預測角和邊界（第3.2和3.3節(jié)）以及優(yōu)化3D長方體參數（第3.4節(jié)）。然后慈格，我們描述修改以預測更一般的（非立方體）曼哈頓布局和透視圖圖像（第3.5節(jié)）怠晴。

3.1 全景圖像對齊

給定輸入為覆蓋360°水平視野的全景圖遥金，我們首先通過估計球形投影下的地板平面方向來對齊圖像，旋轉場景蒜田，然后將其重新投影為2D等矩投影稿械。 與Zhang等人的方法相似，我們在每個重疊的透視圖中使用線段檢測器（LSD）選擇長線段冲粤，然后使用霍夫變換對三個相互正交的消失方向進行投票美莫。此預處理步驟可簡化我們的網絡訓練。檢測到的候選曼哈頓線段還提供了改善性能的額外的輸入特征梯捕。

3.2? 網絡結構

LayoutNet網絡如圖2所示茂嗓。該網絡遵循編碼器-解碼器策略。

深度全景編碼器：輸入是6通道特征圖：使用3.1節(jié)的對齊方法將分辨率為512×1024(透視圖像為512×512)的單個RGB全景圖與位于三個正交消失方向上的曼哈頓線段特征圖拼接在一起科阎。編碼器包含7個卷積層，內核大小為3×3忿族。 每個卷積后跟一個ReLU操作和一個下采樣因子為2的最大池化層锣笨。第一個卷積包含32個特征，在每次卷積后我們將尺寸加倍道批。 這種深層結構可確保從高分辨率圖像中更好地學習特征错英，并有助于簡化解碼步驟。我們在每個卷積層之后嘗試了BN隆豹，但是觀察到了較低的準確性椭岩。 我們還探索了一種替代結構，該結構為輸入圖像和曼哈頓線應用了單獨的編碼器璃赡，但是與我們當前較簡單的設計相比判哥，性能沒有增加。

2D布局解碼器：解碼器由兩個分支組成碉考，如圖2所示塌计。頂部分支是布局邊界圖（mE）預測器，以與輸入相同的分辨率將瓶頸特征解碼為2D特征圖侯谁。mE是全景圖上的墻-墻锌仅、天花板-墻、墻-地板邊界的三通道概率預測墙贱，包括可見邊界和遮擋邊界热芹。 邊界預測器包含7層最近鄰上采樣操作，每層后面都有一個內核大小為3×3的卷積層惨撇，特征大小從2048減少了一半伊脓。最后一層是Sigmoid操作。我們受U-Net結構的啟發(fā)向每個卷積層添加跳過連接串纺，以防止上采樣步驟的預測結果發(fā)生偏移丽旅。底部的分支椰棘，即2D布局拐角圖（mC）預測器，遵循與邊界圖預測器相同的結構榄笙，另外邪狞，還接收來自每個卷積層的頂層分支的跳過連接。這源于直覺茅撞，即布局邊界暗示了拐角位置帆卓，特別是對于遮擋拐角的情況。我們在實驗中（第4節(jié)）表明米丘，聯合預測有助于提高兩個圖的準確性剑令，從而獲得更好的3D重建結果。我們用全卷積層進行了實驗拄查，而不是采用上采樣加卷積結構吁津，但是觀察到棋盤偽影，性能較差堕扶。

3D布局回歸器：從2D角和邊界到3D布局參數的映射函數在數學上很簡單碍脏，但很難學習。 因此稍算，我們?yōu)?D布局參數訓練回歸器典尾，目的是產生更好的拐角和邊界，而不是為了回歸器本身糊探。 如圖2所示钾埂，3D回歸器將兩個預測的2D映射的級聯作為輸入，并預測3D布局的參數科平。假設接地平面在x-z軸上對齊褥紫，我們使用6個參數對布局進行參數化：寬度Sw，長度Sl瞪慧，高度Sh故源，平移T =（tx，tz）和旋轉角r在x-z平面上汞贸。 回歸器遵循一個編碼器結構绳军，具有7個卷積層，內核大小為3x3矢腻，每個卷積后跟一個ReLU操作和一個下采樣因子為2的最大池化層门驾。通過輸入4個特征通道的層，卷積特征的大小增加了一倍多柑。接下來的四個全連接層的大小分別為1024奶是、256、64和6，介于ReLU之間聂沙。 輸出1x6特征向量d = {Sw秆麸，Sl，Sh及汉，tx沮趣，tz，r}是我們預測的3D長方體參數坷随。 請注意房铭，回歸器輸出三維布局的參數，這些參數可以被投影回二維圖像温眉，這是一種端到端的預測方法缸匪。我們觀察到3D回歸器不準確（與表1中的其他結果相比，PanoContext數據集中的拐角誤差為3.36％）类溢，但將其包含在損耗目標中往往會稍微改善網絡的預測凌蔬。 直連3D回歸器失敗的原因是，2D中的微小位置偏移會在3D形狀中產生很大差異闯冷，從而使網絡難以訓練龟梦。

損失函數： 網絡的總損失函數在等式1中：

損失是mE和mC中預測像素概率與ground truth的二元交叉熵誤差之和，加上3D長方體參數d到ground truth d'的歐式距離窃躲。p是mE中一個像素的概率，?p是mE中p的ground truth钦睡。q是mC中的像素概率蒂窒，?q是ground truth。 n是mE和mC中的像素數荞怒，即圖像分辨率洒琢。請注意，RoomNet方法使用L2損失進行拐角預測褐桌。我們在第四小節(jié)討論了兩個不同的損失的性能衰抑。α，β和τ是每個損失項的權重荧嵌。 在我們的實驗中呛踊，我們將α=β=1并將τ= 0.01。

3.3? 訓練細節(jié)

我們的LayoutNet預測拐角和邊界的像素概率啦撮，并對3D布局參數進行回歸谭网。我們發(fā)現，隨機初始化網絡的聯合訓練有時無法收斂赃春。因此愉择，我們分別訓練每個子網絡，然后一起共同訓練它們。 對于2D布局預測網絡锥涕，我們首先訓練布局邊界預測任務以初始化網絡的參數衷戈。對于3D布局回歸器，我們首先使用ground truth布局邊界和角作為輸入來訓練網絡层坠，然后將其與2D布局解碼器連接殖妇，然后端到端訓練整個網絡。

輸入的曼哈頓線圖是3通道0-1張量窿春。我們將每個3D長方體參數標準化為訓練樣本之間的零均值和標準差拉一。我們使用ADAM來更新網絡參數，其學習速率為e-4旧乞，α= 0.95和?= e-6蔚润。 用于訓練2D布局預測網絡的批處理大小為5，而對于用于訓練3D回歸器的批處理大小更改為20尺栖。 整個端到端培訓使用的批處理大小為20嫡纠。

平滑ground truth：我們的目標2D邊界和拐角圖是在圖像上具有細曲線或點的二進制圖。 這使訓練更加困難延赌。例如除盏，如果網絡預測拐角位置稍微偏離ground truth，則將產生巨大的損失挫以。因此者蠕，我們放大ground truth邊界和拐角圖4倍，然后使用20×20的高斯核對圖像進行平滑處理掐松。請注意踱侣，即使經過平滑處理，目標圖像仍包含約95％的零值大磺，因此我們將背景像素的反向傳播梯度通過乘以0.2重新加權抡句。

數據增強：我們使用水平旋轉，左右翻轉和亮度變化來增強訓練樣本杠愧。水平旋轉范圍是0°-360°待榔。亮度隨γ值在0.5-2之間變化。對于透視圖像流济，我們在圖像平面上應用±10°旋轉锐锣。

3.4? 3D布局優(yōu)化

初始2D拐角預測是從我們的網絡輸出的拐角概率圖獲得的。首先绳瘟，將響應匯總到各行中刺下，以獲得每一列的匯總響應。然后稽荧，在列響應中找到局部最大值橘茉，局部最大值之間的距離至少為20個像素工腋。最后，沿著選定的列找到兩個最大的峰畅卓。這些2D角可能無法滿足Manhattan的限制擅腰，因此我們執(zhí)行優(yōu)化以細化估計值。

給定預測的拐角位置翁潘，我們可以直接恢復相機的位置和3D布局趁冈，在一個縮放和平移的范圍內，通過假設底部的角在同一個地面平面上拜马，而頂部的角直接在底部的角上渗勘。我們可以進一步將布局形狀限制為曼哈頓，以便相交的墻是垂直的俩莽，例如旺坠，在俯視圖中像長方體或“ L”形。 對于全景圖像扮超，通過利用全景圖的列對應于相機的旋轉角度的特性取刃，可以輕松地合并曼哈頓約束。 我們將自頂向下視圖中的布局坐標參數化為2D點Lv = {v1 =（0出刷，0）璧疗，v2 =（x1，y1）馁龟，... 崩侠，vN =（xN，yN）}坷檩。v1解決了翻譯歧義，| v1? v2 | = 1設置刻度淌喻。 因為假定布局為曼哈頓，所以相鄰的頂點將共享一個坐標值雀摘，這進一步減少了自由參數的數量裸删。 我們根據Farin等人的啟發(fā)，根據以下廣義能量最小化來恢復攝像機位置vc = {xc阵赠，yc}和Lv：

其中vi涯塔，vj是成對的相鄰頂點，并且βij =

是攝像機vc在vi和vj之間的旋轉角度清蚀。 我們將αij表示為vi和vj之間圖像上像素方向的水平距離除以全景圖的長度匕荸。 請注意，此L2最小化也適用于曼哈頓的一般布局枷邪。 我們使用LBFGS 來求解方程解決等式2榛搔。

我們將天花板初始化為3D較高角落高度的平均值（均值），然后根據拐角和邊界信息使用以下得分來評估3D布局候選者L：

其中C表示L的2D投影角位置。L的基數為＃walls×2践惑。我們將圖像上的附近角連接起來腹泌，以獲得Le為投影墻-天花板邊界的集合，Lf為投影墻-地板邊界的集合（每個都有#walls基數）? ）尔觉。? Pcorner（·）表示預測的mC上的像素方向概率值凉袱。 Pceil（·）和Pfloor（·）表示mE的概率。 第二和第三項在每個邊界le∈Le和lf∈Lf中取對數似然響應的最大值侦铜。Wjunc专甩，Wceil和Wfloor是術語權重，我們使用網格搜索分別將其設置為1.0钉稍、0.5和1.0涤躲。這一權重與墻-地板拐角經常被遮擋的觀察結果一致，預測的邊界可以幫助改善布局重建嫁盲。我們發(fā)現在評分函數中增加墻-墻邊界的幫助較小篓叶，因為預測的垂直角對已經揭示了墻體邊界信息。

直接優(yōu)化式 3在計算上是昂貴的羞秤，因為我們會對2D投影進行懲罰缸托，但不能直接對3D屬性進行懲罰。在這種情況下瘾蛋，我們將對候選布局形狀進行采樣俐镐，并根據公式3選擇最佳的評分結果。我們使用行搜索來刪除候選編號哺哼，以加快優(yōu)化速度佩抹。 算法1演示了該過程。在每個步驟中取董，我們通過將一個墻的位置移動到相機中心距離的±%10以內來采樣候選布局棍苹。然后根據相同的抽樣策略對每個候選人的上限和下限進行優(yōu)化，并根據公式3進行評分茵汰。一旦我們通過移動其中一個墻找到了得分最高的布局枢里，我們就固定這個墻的位置，移動到下一個墻并再次執(zhí)行抽樣蹂午。根據我們的邊界預測栏豺，我們從最不可靠的那堵墻開始《剐兀總共采樣了～1000個布局候選對象奥洼。優(yōu)化步驟花費不到30秒為每個圖像，并產生更好的3D布局晚胡，如第4節(jié)所示灵奖。

3.5? 擴展

經過小的修改嚼沿，我們的網絡，最初設計用于從全景圖預測長方體布局桑寨，也可以從全景圖預測更一般的曼哈頓布局伏尼，從透視圖像預測長方體布局。

一般曼哈頓布局:?為了實現更一般的布局尉尾，我們包括了超過四面墻可見的訓練示例(例如“L”形房間)爆阶，這適用于大約10%的示例。然后沙咏，我們通過對第六大的墻-墻邊界進行閾值化來決定是生成四面墻還是六面墻辨图。具體來說，沿著拐角圖第六大列的平均概率至少為0.05肢藐。換句話說故河，如果有證據表明有超過四道墻，我們的系統就會產生更多的墻;否則生成4吆豹。由于可用的測試集沒有很多超過四面墻的例子鱼的，我們在4.2節(jié)和補充材料中展示了我們額外捕獲的樣本的定性結果。

我們嘗試過預測凹/凸標簽作為拐角圖預測的一部分以獲得單個解痘煤，但是觀察到了退化的2D預測凑阶。 因此，我們列舉了所有可能的形狀（例如 對于具有六面墻的房間衷快，將有六種變化）宙橱，然后選擇得分最高的一種。 我們發(fā)現這種啟發(fā)式搜索非常有效蘸拔，因為它在一個小的離散集中進行搜索破托。 對于非立方體布局督惰，我們不使用3D參數回歸器進行訓練抛蚤。

透視圖圖像：在透視圖圖像上進行預測時旧蛾，我們跳過對齊和優(yōu)化步驟，而是直接在圖像上預測角和邊界邓萨。 我們也不使用3D回歸器分支地梨。 網絡會預測一個3通道邊界布局圖，其中包括天花板-墻先誉，墻-墻湿刽，和墻-地板的邊界的烁，并且拐角圖中每個可能的拐角都有8個通道褐耳。 由于透視圖圖像的視野較小，可見角的數量也有所變化渴庆，因此我們添加了一個小的解碼分支來預測房間的布局類型铃芦，類似于RoomNet雅镊。 預測器具有4個全連接（fc）層，其中包含1024刃滓、256仁烹、64和11個節(jié)點，中間之間有ReLU操作咧虎。 然后卓缰，預測的布局類型將確定檢測到哪些角，并將這些角定位為拐角圖中最可能的位置砰诵。 我們使用交叉熵損失來共同訓練布局邊界和拐角預測器征唬。 為了簡化訓練，類似于3.3節(jié)中的過程茁彭。我們首先訓練邊界/拐角預測器总寒，然后添加類型預測器分支并將所有組件一起訓練。

4. 實驗

實驗部分不作詳細介紹理肺，只放圖摄闸。

5 結論

我們提出了LayoutNet，這是一種從單個全景圖或透視圖圖像預測房間布局的算法妹萨。 我們的方法放寬了通常假定的長方體布局限制年枕，并適用于非長方體布局（例如“ L”形空間）。 我們演示了基于消失點和Manhattan約束的預對齊如何大大改善定量結果眠副。 我們的方法直接在全景圖像上運行（而不是分解為透視圖圖像）画切，并且是透視圖任務的最新技術。 未來的工作包括擴展以處理任意房間布局囱怕，合并對象檢測以更好地估計房間形狀以及恢復從單個圖像恢復的完整3D室內模型霍弹。