NeRF2NeRF（Pairwise Registration of Neural Radiance Fields蜜自，神經(jīng)輻射場的成對配準）該論文提出了一種新的3D配準方法，該方法直接在從圖像集合中預訓練的神經(jīng)輻射場( NeRFs )上操作。具體來說傅是，文章尋求解決從兩個(不同)場景中對齊部分重疊幾何圖形的任務樱溉，只需要給定少量的幾個關鍵點實現(xiàn)兩個物體的配準的解決方案。匹配稀疏的關鍵點只會導致近似的匹配刊驴，因此我們定義了一個優(yōu)化來精確地完成對齊。為了實現(xiàn)這一點寡润，我們引入表面場S作為可以從NeRF中提取的幾何表示捆憎，而不是將NeRF轉換為經(jīng)典的幾何表示，如點云或多邊形網(wǎng)格梭纹。
1躲惰、摘要
該文介紹了一種神經(jīng)輻射場的成對配準技術，這個技術擴展了經(jīng)典的ICP配準算法变抽。NeRF不對光照和顏色進行分解础拨，因此為了使配準對光照具有不變性，我們引入了"表面場"的概念-（一個從預訓練的NeRF模型中提取的場绍载，它衡量了點在物體表面的可能性）诡宗。
然后，該文將nerf2nerf配準作為一個穩(wěn)健的優(yōu)化击儡，迭代地尋求一個剛性變換塔沃，使兩個場景的表面場對齊。我們通過引入一個預訓練的NeRF場景數(shù)據(jù)集來評估我們的技術的有效性- -文章的合成場景能夠對經(jīng)典的配準技術進行定量的評估和比較阳谍，而我們的真實場景則證明了我們的技術在真實場景中的有效性蛀柴。
總體來說螃概，就是文章引入了“表面場”的概念來解決NeRF和NeRF之間的問題的匹配的問題。
2鸽疾、簡介
作者首先介紹了不同的三維重建的方法谅年，然后引出了一個問題：在不依賴轉換工具(NeRF2Mesh)和經(jīng)典工具的情況下，如何適應3D幾何處理中的一些基本工具肮韧？作者考慮了以下幾個問題：
（1）如何從預訓練的NeRF中提取幾何3D表示融蹂？
文章使用了“表面場”的概念來作為點云和多邊形網(wǎng)格的代替。這個表面場的概念就是空間中的點位于物體表面的可能性弄企。
（2）如何在不同的光照條件下超燃，采集到兩個場景并進行配準？
在不同的光照條件下是不能夠依賴radiance comparisons（我認為是神經(jīng)輻射場的輻射進行匹配）拘领，由于色彩信息在不同場景中不一致導致照明和顏色不能分開意乓。作者希望通過表面場及其對光照的不變性來解決這個問題。
（3）怎么樣進行兩個NeRF的配準约素？
雖然NeRF的表示本質上是歐拉的届良，并且大多數(shù)的匹配算法都是假設成一種拉格朗日的表示方法。本文將介紹一種不依賴于隱式到顯式轉換的配準技術
文章還構建了數(shù)據(jù)集圣猎，相同物體在不同場景下的場景和圖片士葫，并在這個數(shù)據(jù)集上評估了nerf2nerf算法，并將其性能與依賴于轉換到經(jīng)典表示的管道進行了比較送悔。
3慢显、相關工作
這里主要包含兩個部分：第一個是NeRF局部配準和全局配準的方法欠啤，第二個是NeRF的基本原理
（1）局部配準和全局配準
局部配準：基本上都是ICP算法的變種荚藻，例如：robust ICP等
ICP算法介紹：ICP（Iterative Closest Point）點云配準
全局配準：
（2）NeRF的基礎知識
NeRF的基本原理在其他的文章中有介紹：NeRF基本原理及概念
4、具體實施方法
（1）一些定義
首先要匹配兩個NeRF就需要場景里面都有一個共享的子結構洁段，也就是說兩個NeRF場景里面包含同樣的一個對象应狱。然后我們需求一個T∈SE（3），使得兩個場景的某些共享子結構對齊祠丝。
其中B(0,r)是以原點為圓心疾呻，半徑為r的歐式圓，D為R3空間中單位向量的子集纽疟。在不失一般性的情況下罐韩，本文假設域具有相同的規(guī)模，并且具有半徑為r的有界域污朽，以原點為中心。對兩個場景不做進一步的假設龙考，例如知道共享子結構的范圍或相同的光照配置蟆肆。方法僅假設在優(yōu)化期間可以訪問Ra和Rb（即矾睦，用于訓練 NeRF 的圖像不可用），這樣就可以將神經(jīng)場配準問題表述為two-term energy的迭代優(yōu)化:
（2）表面場（surface field）or 光不變配準
文章提出了 surface field 用于估計某空間坐標位于物體表面的可能性炎功。這是由于沒有假設場景中的光線配置是相同的枚冗，無法使用亮度項比較來進行評價兩個場的對齊效果。使用 NeRF 和它的亮度公式來進行生成場景中幾何圖形（在 NeRF 中與密度場相關）精確的3D表示蛇损。給定空間 x 中的一個點赁温，并假設半徑為 δ 的密度恒定的歐式球，可以把 surface field 定義為任何攝像機穿過 x 的射線集中一個表面的可能性的最大值淤齐，公式如下：
個人認為股囊，這其實就像是一個濾波，對圖像進行過濾更啄。保留了圖像的表面信息稚疹，把圖像中間的雜訊去掉了。在在同一個射線上祭务，兩個不同的方向内狗，找到不透明度值變化較大的部分，將中間不透明的部分設置為0义锥，剩下的就是表面場了柳沙。
（3）配準策略
由于Sε (x)是一個分類為 {0,1} 的場，會導致梯度為 0 或梯度爆炸而不好微分拌倍，通過將 categorical field 與各向同性均值為 0 的高斯函數(shù)進行卷積可以解決：
（4）采樣Sampling
文章提出了 Metropolis-Hastings sampling 抽樣方法偎行，在優(yōu)化迭代過程中，更新樣本集 A(t) ——即 A(0)←Qa贰拿，每 N=20 更新一次蛤袒。算法流程圖如圖所示。
5膨更、實驗結果和總結
文章證明了轉換為點云這種有損轉換是不必要的妙真，并且直接在神經(jīng)場上操作不僅是可能的，而且比依賴于這種轉換的經(jīng)典管道性能更好荚守。為了實現(xiàn)這一目標珍德，本文引入了表面場的概念，將其作為一種幾何表示矗漾，可以從 NeRF 中提取锈候，并且對照明配置是不變的。然后敞贡，以 ICP 的“風格”將 nerf2nerf 配準正式化為一個穩(wěn)健的優(yōu)化問題泵琳，并在一個新的數(shù)據(jù)集上徹底分析了其性能。將來可以有很多方法可以進行擴展，比如實現(xiàn)具有二階收斂性的求解器获列、到自動定義關鍵點而不是依賴用戶干預的技術谷市、從深度配準的思想集成等。
參考博客：
【1】https://blog.csdn.net/Yong_Qi2015/article/details/129106778
【2】https://www.nxrte.com/jishu/32684.html#:~:text=%E6%9C%AC%E6%96%87%E4%BB%8B%E7%BB%8D%E4%BA%86%E4%B8%80%E7%A7%8D%E7%94%A8%E4%BA%8E%E7%A5%9E%E7%BB%8F%E5%9C%BA%E6%88%90%E5%AF%B9%E9%85%8D%E5%87%86%E7%9A%84%E6%8A%80%E6%9C%AF%EF%BC%8C%E8%AF%A5%E6%8A%80%E6%9C%AF%E6%89%A9%E5%B1%95%E4%BA%86%E7%BB%8F%E5%85%B8%E7%9A%84%E5%9F%BA%E4%BA%8E%E4%BC%98%E5%8C%96%E7%9A%84%E5%B1%80%E9%83%A8%E9%85%8D%E5%87%86%EF%BC%88%E5%8D%B3ICP%EF%BC%89%EF%BC%8C%E4%BB%A5%E5%9C%A8%E7%A5%9E%E7%BB%8F%E8%BE%90%E5%B0%84%E5%9C%BA%EF%BC%88NeRF%EF%BC%89%E4%B8%8A%E6%93%8D%E4%BD%9C%E2%80%94%E2%80%94%E4%BB%8E%E6%A0%A1%E5%87%86%E5%9B%BE%E5%83%8F%E9%9B%86%E5%90%88%E4%B8%AD%E8%AE%AD%E7%BB%83%E7%9A%84%E7%A5%9E%E7%BB%8F3D%E5%9C%BA%E6%99%AF%E8%A1%A8%E7%A4%BA%E3%80%82,NeRF%E4%B8%8D%E5%88%86%E8%A7%A3%E5%85%89%E7%85%A7%E5%92%8C%E9%A2%9C%E8%89%B2%EF%BC%8C%E5%9B%A0%E6%AD%A4%E4%B8%BA%E4%BA%86%E4%BD%BF%E9%85%8D%E5%87%86%E5%AF%B9%E5%85%89%E7%85%A7%E4%B8%8D%E5%8F%98%EF%BC%8C%E6%9C%AC%E6%96%87%E5%BC%95%E5%85%A5%E4%BA%86%E2%80%9C%E8%A1%A8%E9%9D%A2%E5%9C%BA%E2%80%9D%E7%9A%84%E6%A6%82%E5%BF%B5%E2%80%94%E2%80%94%E4%BB%8E%E9%A2%84%E5%85%88%E8%AE%AD%E7%BB%83%E7%9A%84NeRF%E6%A8%A1%E5%9E%8B%E4%B8%AD%E6%8F%90%E5%8F%96%E7%9A%84%E5%9C%BA%EF%BC%8C%E8%AF%A5%E6%A8%A1%E5%9E%8B%E6%B5%8B%E9%87%8F%E7%82%B9%E5%9C%A8%E7%89%A9%E4%BD%93%E8%A1%A8%E9%9D%A2%E4%B8%8A%E7%9A%84%E5%8F%AF%E8%83%BD%E6%80%A7%E3%80%82%20%E7%84%B6%E5%90%8E%EF%BC%8C%E5%B0%86nerf2nerf%E9%85%8D%E5%87%86%E8%A7%86%E4%B8%BA%E4%B8%80%E7%A7%8D%E7%A8%B3%E5%81%A5%E7%9A%84%E4%BC%98%E5%8C%96%EF%BC%8C%E8%AF%A5%E6%96%B9%E6%B3%95%E8%BF%AD%E4%BB%A3%E5%9C%B0%E5%AF%BB%E6%B1%82%E5%AF%B9%E9%BD%90%E4%B8%A4%E4%B8%AA%E5%9C%BA%E6%99%AF%E7%9A%84%E8%A1%A8%E9%9D%A2%E5%9C%BA%E7%9A%84%E5%88%9A%E6%80%A7%E5%8F%98%E6%8D%A2%E3%80%82
【3】https://zhuanlan.zhihu.com/p/608584018
論文地址：https://arxiv.org/abs/2211.01600
