Estimating the Natural Illumination Conditions from a Single Outdoor Image閱讀筆記

源碼：https://github.com/jflalonde/illuminationSingleImage

摘要：給定一張室外圖像良价，提出了一種估計(jì)場景可能的照明天劍的方法。特別是，計(jì)算了太陽位置和課件度的概率分布肢簿。該方法依賴于可以從圖像的不同部分提取弱提示的組合：天空舆乔、垂直表面、地面瑰妄、圖像中的凸出對象翅楼。雖然沒有單個提示可以單獨(dú)可靠地估計(jì)照明，但是每個提示都可以增強(qiáng)其他提示以產(chǎn)生更可靠的照明估計(jì)忍法。這與在600萬張照片的數(shù)據(jù)集上計(jì)算出的數(shù)據(jù)驅(qū)動先驗(yàn)相結(jié)合。在帶有標(biāo)注太陽位置的網(wǎng)絡(luò)攝像頭數(shù)據(jù)上顯示定量結(jié)果榕吼，并從互聯(lián)網(wǎng)上下載消費(fèi)型的照片顯示定量和定性結(jié)果饿序。基于估計(jì)的照明羹蚣，展示了如何將合成的3D對象插入場景中原探，以及如何在保持照明一致性的同時在圖像之間傳遞外觀。

關(guān)鍵詞：照明估計(jì)顽素；數(shù)據(jù)驅(qū)動咽弦；陰影檢測；場景理解胁出；圖像合成

1.概要

場景的外觀在很大程度上取決于當(dāng)前的照明條件型型。是晴天還是陰天，早上還是中午全蝶，晴朗還是朦朧闹蒜？一個對光挑剔的學(xué)生（Claude Monet），在《大視野問題》中觀察到抑淫，“景觀本身并不存在绷落，但是周圍的環(huán)境使他栩栩如生，對我而言始苇，只有周圍的氣氛才能賦予主體真正的價值砌烁。”光照是從像素到圖像理解的關(guān)鍵變量之一催式。
雖然在實(shí)驗(yàn)室環(huán)境中建模和使用照明方面已經(jīng)完成了許多工作函喉，但對于“野外”（即在典型的室外場景中）的了解卻很少。實(shí)際上蓄氧，大多數(shù)視覺應(yīng)用程序?qū)⒄彰鞒绦蛞暈橐环N討厭的東西-而不是信號源函似。

在本文中，我們提出了一種從單個室外圖像估計(jì)自然光照（太陽位置和能見度）的方法喉童。可以肯定的是撇寞，即使對于人類顿天，這也是一項(xiàng)極其艱巨的任務(wù)[6]。實(shí)際上蔑担，在一般情況下牌废，該問題受到嚴(yán)重限制，盡管某些圖像可能具有足夠的信息以進(jìn)行合理精確的估計(jì)啤握，但其他圖像則完全沒有信息意義鸟缕。因此，我們將采用一種概率方法排抬，使用給定圖像中可用的盡可能多的信息來估計(jì)照明參數(shù)懂从，并產(chǎn)生最大似然解（見圖1）。

一個合成的3-D雕像被放置在圖像（a）中蹲蒲，照明估計(jì)一致番甩。為了實(shí)現(xiàn)這種類型的操作，開發(fā)了一種方法届搁，利用來自天空缘薛、陰影、投影和可見行人的信息來估計(jì)可能的太陽位置的分布（b）卡睦，并能夠生成合成的天空模型（c）

那么在單個圖像中可以獲得哪些有關(guān)照明的信息呢宴胧？不幸的是，沒有簡單的答案表锻。當(dāng)我們?nèi)祟悎?zhí)行這項(xiàng)任務(wù)時恕齐，我們從圖像的不同部分尋找線索。天空的外觀可以告訴我們是晴天還是陰天（即能否直接看見太陽）浩嫌。在晴朗的日子里檐迟，天空可能對太陽的位置給出了一些微弱的暗示。地面的陰影再次告訴了我們太陽的能見度码耐。而垂直結(jié)構(gòu)投射的陰影方向可以告訴我們太陽的方向追迟。表面在不同方向的相對陰影（例如，兩個建筑立面成直角）也可以粗略的指示太陽方向骚腥，因此陰影對填充場景的凸出對象也有影響（例如行人敦间、汽車、電線桿等）束铭。

該方法基于將一些直覺實(shí)現(xiàn)為一組照明提示廓块。更確切地說，天空的顏色變化契沫，地面上的陰影带猴，垂直表面的相對投射以及凸面物體（行人）上的強(qiáng)度變化是這項(xiàng)工作中使用的四個提示。當(dāng)然懈万，每個單獨(dú)采用都是相對弱和不可靠的拴清。天空可能完全飽和靶病，甚至可能在圖像中不存在。地面可能看不見口予，沒有任何陰影投射結(jié)構(gòu)娄周，或者沒有任何可識別的凸面物體。同樣沪停，由于缺少適當(dāng)?shù)谋砻婊虮砻娣瓷渲g的巨大差異煤辨，因此可能無法獲取陰影信息。此外木张。計(jì)算這些提示將不可避免地導(dǎo)致更多的噪音和錯誤（錯誤檢測到陰影或行人众辨，分割不良，相機(jī)參數(shù)不正確等）舷礼。因此泻轰，在這項(xiàng)工作中，將從這些微弱的線索中獲得的信息結(jié)合在一起且轨，同時應(yīng)用一組由數(shù)據(jù)驅(qū)動的先驗(yàn)數(shù)據(jù)，對一組600萬張互聯(lián)網(wǎng)照片進(jìn)行計(jì)算虚婿。

結(jié)果部分將在（第3.2節(jié)和第6節(jié)）顯示旋奢，可以以83.5%的準(zhǔn)確的估算太陽可見度，并且在極具挑戰(zhàn)性的測試集中然痊，組合估計(jì)能見度能夠成功40%（55%）真實(shí)世界圖像的一個八分圓（象限）內(nèi)定位太陽至朗，因此其表現(xiàn)由于任何獨(dú)立獲取得線索。雖然這表明了從單個圖像估計(jì)照明是多么地困難剧浸，但是仍堅(jiān)信著對于許多應(yīng)用任然是一個有用的結(jié)果锹引。例如，僅僅知道太陽位置在你的左邊摸個地方唆香，就足以讓一個點(diǎn)拍相機(jī)自動調(diào)整它的參數(shù)嫌变，或者讓一個汽車檢車器越策到右邊有陰影的汽車。

1.1相關(guān)工作

光源的顏色和幾何形狀可以通過在場景中放置探針直接觀察躬它。但是遺憾的是腾啥，捕捉的大多數(shù)照片中都不存在此類探測器，因此冯吓，不得不在場景本身尋找線索倘待。在計(jì)算機(jī)視覺中，將在這里概述相關(guān)工作组贺。

顏色恒定 這些方法提取對光源顏色不敏感的場景表示凸舵。為此，一些作品要么在不同光源顏色下導(dǎo)出場景外觀之間的轉(zhuǎn)換失尖，要么將圖像轉(zhuǎn)換成對光源顏色不敏感的顏色空間啊奄。工作集中在室外照明的互補(bǔ)表示（太陽和能見度）

基于模型的反射率和照明估計(jì) 一些工作估計(jì)照明（光的方向和位置）渐苏，結(jié)合基于模型估計(jì)物體形狀和反射（朗博，雙色差增热，拖拉斯麻雀）整以，該工作不依賴于室外表面的特定反射率模型，也不依賴與3D幾何的精確估計(jì)峻仇。

陰影提取和分析 許多工作使用一副或者多副圖像來檢測和去除陰影公黑，提取的陰影也被用于在受限制或者網(wǎng)絡(luò)攝像頭中估計(jì)太陽方向。但是摄咆，當(dāng)陰影在圖像中的大小太小或形狀復(fù)雜和模糊時凡蚜，他們對照明的信息是很微弱的，有人提出了一種結(jié)合陰影吭从、投影和鏡面反射信息的技術(shù)朝蜘，用于估計(jì)單個圖像中的多個光源方向，但是其方法僅局限于桌面類對象涩金。本文的工作第一次谱醇，結(jié)合陰影線索和其他的半信息線索，以更好地估計(jì)照明從一個單一的一般室外場景圖像步做。

基于時移序列的光照估計(jì) Sunkavalli等人通過將場景反射率的光度模型擬合到室外場景的延時序列副渴，開發(fā)出估計(jì)太陽方向和場景幾何體的技術(shù)。Lalonde等人利用基于物理的天空外觀模型從時間點(diǎn)序列估計(jì)太陽相對于觀察方向的位置全度。我們將使用相同的天空模型煮剧，但從單個圖像中恢復(fù)完整天空穹頂?shù)淖钣锌赡艿谋硎荆ㄌ炜胀庥^、太陽位置和太陽可見性）将鸵。最后勉盅，Lalonde等人使用顏色和強(qiáng)度的多變量直方圖以及場景幾何的粗略分類來匹配不同場景的照明。然而顶掉，它們的線索是全局性的草娜，不能用來匹配太陽的方向。這使得他們的方法不適合三維物體插入一喘。

2 自然照明的表現(xiàn)

由于其在任何室外環(huán)境中的主導(dǎo)作用驱还，了解自然光在許多領(lǐng)域（如計(jì)算機(jī)視覺和圖形）以及其他研究領(lǐng)域（如生物學(xué)[25]、建筑[56]凸克、太陽能[48]和遙感[24]）都具有至關(guān)重要的意義议蟆。因此，研究人員提出了許多不同的自然光照表現(xiàn)形式萎战，以適應(yīng)各自的應(yīng)用咐容。我們在這里概述了流行的表示法，我們將其分為三大類：“基于物理的”蚂维、“基于環(huán)境地圖的”和“統(tǒng)計(jì)的”戳粒。我們通過描述我們在這項(xiàng)工作中使用的表示法來總結(jié)這一部分路狮。
2.1 基于物理的表示
在這里，最流行的物理表達(dá)方式是“數(shù)學(xué)模型”蔚约。它們通常來源于以下方程（改編自[61]）奄妨，該方程將地面光譜輻照度L（λ）分別建模為太陽和天空輻射 $E_{sun}$ 和 $E_{s k y}$ 天空的函數(shù)：

$\begin{aligned} L(\lambda)=& K E_{s u n}\left(\theta_{s}, \phi_{s}, \lambda\right) \cos \left(\theta_{s}\right) +\int_{\phi=0}^{2 \pi} \int_{\theta=0}^{\frac{\pi}{2}} E_{s k y}(\theta, \phi, \lambda) \cos (\theta) \sin (\theta) d \theta d \phi \end{aligned}$

其中K是一個二元常數(shù)，它解釋了太陽到地表路徑中物體的遮擋苹祟，而 $E_{s k y}$ 則是整個天空半球的積分砸抛。雖然（1）看起來很簡單，但它的復(fù)雜性在于描述太陽和天空的輻射分量树枫，這些分量取決于大氣散射的形式和數(shù)量直焙。因此，人們提出了各種各樣的模擬太陽和天空的方法砂轻；我們在此總結(jié)一些與我們的工作最相關(guān)的方法奔誓。

太陽作為室外的主要光源，已經(jīng)得到了廣泛的研究搔涝。例如厨喂，在建筑設(shè)計(jì)中，太陽的相對位置是建筑物熱增量和輻射計(jì)算中的一個重要因素庄呈，而輻射計(jì)算決定了每個房間內(nèi)接收到的自然光的數(shù)量[68]杯聚。了解太陽在地面上傳遞的能量量對于預(yù)測光伏電池可產(chǎn)生的電量也至關(guān)重要[48]。因此抒痒，已經(jīng)提出了太陽光在大氣中傳輸?shù)母呔任锢砟Ｐ停ü剑?）中的 $E_{sun}$ ）[2,32]。

物理學(xué)家也早已研究了室外的第二個主要光源颁褂，即天空故响。 Perez等人[51]介紹了最流行的基于物理的天空模型之一,并且是根據(jù)測量的天空亮度構(gòu)建的。該模型已在圖形中用于重新照明建筑模型[71]颁独，并開發(fā)了有效的天空渲染算法[53]彩届。這也是我們自己用來了解天空外觀的模型（請參見第4.1節(jié)）。最近顯示誓酒，可以從靜態(tài)攝像機(jī)捕獲的圖像序列中估計(jì)該模型的某些參數(shù)樟蠕，在該攝像機(jī)中可見天空[43]。

在計(jì)算機(jī)視覺中靠柑，Sato和Ikeuchi [60]使用類似于（1）的模型以及簡單的反射率模型來估計(jì)自然照明下物體的形狀寨辩。這導(dǎo)致了在室外色彩再現(xiàn)中的應(yīng)用，這些色彩可以從單個室外圖像5表示和分類[5]歼冰，監(jiān)視[67]和機(jī)器人[46]中重新估計(jì)自然照明條件靡狞。 [47]在顏色恒定域中也使用了相同模型的類似味道。由于物理模型具有許多參數(shù)隔嫡，因此從圖像中恢復(fù)它們并非易事甸怕。因此甘穿，研究人員訴諸于簡化假設(shè)，近似或使用圖像序列[65]梢杭，以使估算問題更易于處理温兼。

2.2環(huán)境圖表示

另一種表示形式是基于精確測量和直接存儲從各個方向進(jìn)入的點(diǎn)處接收到的自然光的數(shù)量。與“基于物理的”表示相反武契，此處沒有尋找緊湊的公式募判，并且所有信息都明確存儲。最初由Blinn和Newell [4]在計(jì)算機(jī)圖形學(xué)社區(qū)中引入以對發(fā)亮的對象進(jìn)行重新照明吝羞，然后由Debevec [13,14]進(jìn)一步開發(fā)了該表示形式（在社區(qū)中也稱為“光探測器”）兰伤，以將虛擬對象現(xiàn)實(shí)地插入真實(shí)圖像。通常使用配備了全向鏡頭（或球面鏡）的高質(zhì)量钧排，高動態(tài)范圍的相機(jī)來捕獲它敦腔，并且需要進(jìn)行精確的校準(zhǔn)。 Stumpfel等 [63]最近提出采用這種表示法將一整天的天空捕獲為環(huán)境地圖格式恨溜，并將其用于渲染和重新照明[15]符衔。

與它的“基于物理的”對應(yīng)物相比，“環(huán)境圖”表示沒有參數(shù)可估計(jì)：直接測量即可糟袁。但是判族，除了需要大量內(nèi)存外，它的主要缺點(diǎn)是捕獲感興趣的場景需要物理訪問项戴。因此形帮，它不能用于已經(jīng)拍攝的圖像。

2.3 統(tǒng)計(jì)表示

自然光照的第三種表現(xiàn)形式來源于數(shù)據(jù)挖掘和降維技術(shù)周叮。這個想法是從自然光照測量數(shù)據(jù)集中提取低維趨勢辩撑。這種“統(tǒng)計(jì)”或“數(shù)據(jù)驅(qū)動”的表示通常是通過收集大量觀測數(shù)據(jù)獲得的，這些觀測數(shù)據(jù)要么來自世界各地采集的真實(shí)世界照明的物理測量值[30]，或者通過使用物理模型生成樣本[61]—并執(zhí)行維度縮減技術(shù)（例如PCA）來發(fā)現(xiàn)哪些維度解釋了樣本中的大部分方差。

最早提出這種想法的人之一是Judd等人送漠。[30]师抄，至今仍被認(rèn)為是對日光最好的實(shí)驗(yàn)分析之一[61]。他們的研究考慮了622個在可見光譜中測量到的日光樣本，觀察到其中大多數(shù)可以通過三個固定函數(shù)的線性組合精確地逼近。隨后，Slater和Healey[61]報(bào)告說棕叫，基于合成生成的光譜照明輪廓數(shù)據(jù)集，7維PCA表示法捕獲了可見光和近紅外光譜中自然光照光譜分布的99%方差奕删。Dror等人谍珊。[17] 使用一組HDR環(huán)境圖作為輸入進(jìn)行了類似的研究。

從那時起，光照的線性表示在許多應(yīng)用中取得了成功砌滞，尤其是在從已知幾何體的圖像中聯(lián)合估計(jì)光照和反射率方面侮邀。著名的是，Ramamoorthi和Hanrahan[54]使用了反射和照明的球面諧波表示（頻域中為線性）贝润，并將它們的相互作用表示為卷積绊茧。最近，Romeiro和Zickler[57]還使用線性照明基礎(chǔ)打掘，通過邊緣化真實(shí)世界照明條件的數(shù)據(jù)庫來推斷材料屬性华畏。

2.4 自然光照的直觀表示

所有先前的表示都假設(shè)用于捕捉照明的攝像機(jī)（或其他傳感方式）具有非常高的質(zhì)量-照明輻射和傳感器讀數(shù)之間必須存在線性關(guān)系，它們具有高動態(tài)范圍等尊蚁。
-圖像中包含的物體很少亡笑，很容易辨認(rèn)。然而横朋，在互聯(lián)網(wǎng)上發(fā)現(xiàn)的大多數(shù)消費(fèi)型照片不遵守這些規(guī)則仑乌，我們必須處理采集過程中的問題，如非線性琴锭、漸暈晰甚、壓縮和調(diào)整偽影大小、有限動態(tài)范圍决帖、離焦模糊等厕九。此外，由于透視投影地回。這些問題使得以前的光照表示很難從這些圖像中估計(jì)出來扁远。

相反，我們建議使用一種更易于理解這些圖像類型的表示法刻像。該模型關(guān)注室外照明的主要來源：太陽穿香。我們使用兩個變量來模擬太陽：
$V$ 可見性，或是否在場景中發(fā)光绎速；
$S$ 相對于攝像機(jī)的角度位置。在球坐標(biāo)系中焙蚓， $S=\left(\Delta \theta_{s}, \Delta \phi_{s}\right)$ 纹冤，其中 $\Delta \theta_{s}=\theta_{s}-\theta_{c}$ 且 $\Delta \phi_{s}=\phi_{s}-\phi_{c}$ ( $s$ 和 $c$ 表示太陽和相機(jī)，僅當(dāng) $V$ =1時指定 $S$ 购公，當(dāng) $V$ =0時未定義萌京。)

與現(xiàn)有的方法相比，這種自然光照的表示更簡單直觀宏浩，因此更適合于單圖像的解釋知残。例如，如果“太陽可見性V”為0（例如比庄，當(dāng)天氣陰時）求妹，則太陽相對位置S未定義乏盐。實(shí)際上，如果太陽沒有照射到場景上制恍，那么場景中所有對象都將由天空這一區(qū)域光源照亮父能。在這種情況下，恢復(fù)太陽方向是沒有用的净神，但是何吝，如果V為1，則知道太陽位置S非常重要鹃唯，因?yàn)樗?fù)責(zé)照明效果爱榕，例如投射陰影、著色坡慌、鏡面反射等黔酥，這些效果可能會強(qiáng)烈影響場景的外觀。圖2示意性地說明了論文模型八匠。

圖2 自然光照的直觀表示絮爷。（a）照明I使用兩個變量建模：1）太陽能見度V，它指示太陽是在場景上照耀還是被遮擋物（如云）遮擋梨树；2）其相對于相機(jī)的角度位置S=（?θS坑夯，?φS）。在整個論文中抡四，輸入圖像的太陽位置概率P（S）如（b）被顯示（c）柜蜈，就好像觀看者正朝上看一樣（中心點(diǎn)是天頂），相機(jī)的視野被畫在底部指巡。概率用從藍(lán)色（低概率）到紅色（高概率）的色階表示淑履。在本例中，最大似然太陽位置（黃色圓圈）估計(jì)在相機(jī)的右后方藻雪。我們有時通過插入一個虛擬的太陽刻度盤（紅色的棍子在（b）中）并繪制其對應(yīng)于太陽位置的陰影來說明結(jié)果秘噪。

3 太陽可見否

使用上述表示法，論文估計(jì) $P(I \mid \mathcal{I})$ 勉耀，即給定單個圖像 $\mathcal{I}$ 的照明參數(shù) $I$ ,的概率分布指煎。由于本文的表示僅在太陽位置 $S$ 可見時才定義，因此本文建議首先估計(jì)太陽能見度 $V$ :
$P(I \mid \mathcal{I})=P(S, V \mid \mathcal{I})=P(S \mid V, \mathcal{I}) P(V \mid \mathcal{I})$
在本節(jié)中便斥，論文將介紹如何估計(jì)給定圖像的太陽能見度變量的分布 $P(V \mid \mathcal{I})$ 至壤。論文的其余部分將集中于我們?nèi)绾喂烙?jì) $P(S \mid V=1, \mathcal{I})$ ，即枢纠，如果確定太陽位置是可見的像街，它的概率分布。論文提出了一種有監(jiān)督的學(xué)習(xí)方法來學(xué)習(xí) $P(V \mid \mathcal{I})$ ，在這種方法中镰绎，分類器根據(jù)人工標(biāo)記的圖像數(shù)據(jù)集計(jì)算的特征進(jìn)行訓(xùn)練脓斩。論文首先描述為該任務(wù)開發(fā)的特性，然后提供有關(guān)所用分類器的詳細(xì)信息跟狱。

3.1 預(yù)測太陽可見度的太陽提示

當(dāng)陽光照射在場景上時俭厚，通常會在圖像中產(chǎn)生明顯的效果。參照圖3的第一個和最后一個圖像驶臊。當(dāng)太陽可見時（圖3a）挪挤，它將創(chuàng)建硬陰影的陰影邊界，與陽光照射和陰影區(qū)域相對應(yīng)的明亮和黑暗區(qū)域关翎，高度飽和的顏色和晴朗的天空扛门。另一方面，當(dāng)太陽被遮擋時（圖3e）纵寝，顏色暗淡论寨，天空灰暗或飽和，沒有可見的陰影爽茴。

圖3 對單幅圖像應(yīng)用太陽能見度分類器估計(jì)P（V | I）的結(jié)果葬凳，按概率降序排序。

論文根據(jù)這些直覺來設(shè)計(jì)太陽能見度特征室奏。首先將圖像分成三個主要的幾何區(qū)域：地面 $G$ 火焰、天空 $S$ 和用于幾何特征分類器[27]垂直表面 $V$ 。論文在計(jì)算一下一組特征時使用這些特征胧沫。
亮區(qū)和暗區(qū)：我們計(jì)算地面G上兩個簇中最亮的部分的平均強(qiáng)度昌简，其中k=2用k-means進(jìn)行聚類；垂直面V也是如此绒怨；
飽和色：論文在飽和度和有價值的顏色通道中計(jì)算場景的4維邊緣標(biāo)準(zhǔn)化直方圖（G∪V）纯赎。為了增加相機(jī)之間的曝光，白平衡和伽瑪響應(yīng)函數(shù)變化的魯棒性南蹂，論文遵循[12]犬金，并且還計(jì)算了歸一化對數(shù)RGB空間中場景的4維直方圖；
天空：如果可見天空六剥，我們以RGB計(jì)算其平均顏色;
對比度：論文使用[33]中提出的對比度度量（直方圖擴(kuò)展的度量）晚顷，僅針對場景像素（G U V）計(jì)算得出；
陰影：論文應(yīng)用[40]的陰影檢測方法仗考，并計(jì)算屬于地面的像素分?jǐn)?shù).

這些特征在一個20維向量中被連接，在接下來描述的學(xué)習(xí)框架中使用词爬。

3.2 太陽能見度分類器

論文采用了一種經(jīng)典的監(jiān)督學(xué)習(xí)方法秃嗜，首先在一組人工標(biāo)記的訓(xùn)練圖像上預(yù)計(jì)算圖像特征，然后將其輸入分類器。現(xiàn)在锅锨，我們將提供更多關(guān)于用于預(yù)測太陽在圖像中是否可見的學(xué)習(xí)設(shè)置的詳細(xì)信息叽赊。

論文從LabelMe數(shù)據(jù)集[58]中隨機(jī)選擇了室外圖像，分為965個用于訓(xùn)練的圖像和425個用于測試的圖像必搞。由于從同一文件夾中拍攝的LabelMe圖像可能來自同一位置或由同一臺相機(jī)拍攝必指，因此仔細(xì)劃分了訓(xùn)練集和測試集，以避免文件夾重疊恕洲。將 $V$ 視為二進(jìn)制變量塔橡，然后我們將每個圖像手動標(biāo)記為 $V$ = 1（如果陽光照耀著場景），否則為 $V$ = 0霜第。請注意葛家， $V$ 的這種二進(jìn)制表示形式只是物理現(xiàn)象的粗略近似：實(shí)際上，太陽可能具有部分可見性（例如泌类，由于部分遮擋的云）癞谒。但是在實(shí)踐中，發(fā)現(xiàn)從單個圖像中估計(jì)太陽可見性的連續(xù)值甚至對人類來說都是極其困難的刃榨。此外弹砚，精確測量該值需要昂貴的設(shè)備，而現(xiàn)有圖像數(shù)據(jù)庫中不可用枢希。
論文發(fā)現(xiàn)利用這個訓(xùn)練數(shù)據(jù)集訓(xùn)練一個二元線性支持向量機(jī)分類器桌吃，并在測試集上評估其性能。論文使用libsvm包[7]晴玖，并使用[52]中的sigmoid擬合方法將支持向量機(jī)得分轉(zhuǎn)換為概率读存。總的來說呕屎，論文發(fā)現(xiàn)這種方法對各種圖像都有很好的效果让簿，得到的分類標(biāo)準(zhǔn)化測試分類準(zhǔn)確率為83.5%，完整的混淆矩陣如表1所示秀睛。定性結(jié)果如圖3所示尔当。

表1 太陽能見度分類器的混淆矩陣□灏玻總體而言椭迎，分類標(biāo)準(zhǔn)化分類準(zhǔn)確率為83.5%。

現(xiàn)在有了一個分類器 $P(V \mid \mathcal{I})$ 來確定太陽在圖像中是否可見田盈，論文考慮如何估計(jì)表示中的剩余因子（2）：太陽位置S上的分布假設(shè)太陽是可見的 $P(S \mid V=1, \mathcal{I})$ 畜号。

4 預(yù)測太陽方向的圖像提示

當(dāng)太陽可見時，它的位置以非常不同的方式影響場景的不同部分允瞧。在論文的方法中简软，關(guān)于太陽位置的信息是從圖像的四個主要部分（天空像素S蛮拔、地面像素G、垂直表面像素V和屬于行人P的像素）捕獲有關(guān)太陽位置的信息痹升。為了以這種方式分割圖像建炫，我們使用了Hoiem等人[27]的方法與Felszenswalb等人 [18]的行人檢測器一起返回了圖像的像素標(biāo)記。返回潛在行人位置的邊界框疼蛾。這些檢測器還包括它們各自輸出的置信度的度量肛跌。
論文使用兩個參數(shù)表示太陽位置S = {θs，φs}：θs是太陽天頂角察郁，φs是相對于相應(yīng)相機(jī)的方位角衍慎。本節(jié)描述了如何分別在給定天空，陰影绳锅，垂直表面上的陰影以及檢測到的行人情況下計(jì)算這些參數(shù)的分布西饵。之后，在第5部分將看到如何結(jié)合這些線索來估計(jì)給定的整個圖像中的太陽位置鳞芙。

4.1天空

為了估計(jì)天空中太陽的位置角眷柔，我們從Lalonde等人 [43]的工作中得到啟發(fā)。它顯示了基于物理的天空模型[51]可用于從一系列天空圖像中估計(jì)攝像機(jī)相對于太陽的最大似然取向原朝。但是驯嘱，我們現(xiàn)在僅處理單個圖像。如果現(xiàn)在暫時假定天空是完全晴朗的喳坠，那么我們的解決方案是離散化參數(shù)空間鞠评，并嘗試為每個參數(shù)設(shè)置擬合天空模型。為此壕鹉，我們假設(shè)天空像素強(qiáng)度si∈S在給定太陽位置的情況下是條件獨(dú)立的剃幌，并且根據(jù)以下生成模型，Perez天空模型[51] g（·）的函數(shù)晾浴，圖像坐標(biāo)（ui 负乡，si的相機(jī)焦距fc和天頂角（相對于垂直方向）θc：

$s_{i} \sim \mathcal{N}\left(k g\left(\theta_{s}, \phi_{s}, u_{i}, v_{i}, f_{c}, \theta_{c}\right), \sigma_{s}^{2}\right)$

其中 $\mathcal{N}\left(\mu, \sigma^{2}\right)$ 是均值 $u$ ，方差 $σ^2$ 的正態(tài)分布脊凰； $k$ 是未知的比例因子（有關(guān)詳細(xì)信息抖棘，請參見[43]）。我們通過計(jì)算獲得太陽位置的分布狸涌。
$P\left(\theta_{s}, \phi_{s} \mid \mathcal{S}\right) \propto \exp \left(\sum_{s_{i} \in \mathcal{S}} \frac{-\left(s_{i}-k g\left(\theta_{s}, \phi_{s}, \ldots\right)\right)^{2}}{2 \sigma_{s}^{2}}\right)$
對于離散（θs切省，φs）空間中的每個面元，并適當(dāng)?shù)匾?guī)范化帕胆。請注意朝捆，由于式（3）和式（4）中的k是未知的，我們首先使用非線性最小二乘優(yōu)化方案為每個太陽位置點(diǎn)獨(dú)立地優(yōu)化k（有關(guān)天空模型的更多詳細(xì)信息懒豹，請參見[43]）芙盘。
如式（3）所示诊杆，天空模型g（·）還需要了解兩個重要的相機(jī)參數(shù)：天頂角θc和焦距fc。如果我們假設(shè)f c可以通過圖片的EXIF標(biāo)簽獲得何陆。然后通過在圖像中找到水平線 $v_h$ 來計(jì)算θc（假設(shè)相機(jī)沒有滾動角）。
我們通過一個簡單的近似方法豹储，避開了水平線估計(jì)的困難問題：選擇最低天空像素和最高地面像素之間的行作為地平線贷盲。請注意，本文中顯示的所有結(jié)果都是使用這種近似方法獲得的剥扣，我們發(fā)現(xiàn)這種方法在實(shí)踐中非常有效巩剖。圖4展示了利用天空線索獲得的太陽位置的分布。

圖4 光照僅來自天空钠怯。從輸入圖像（a）開始佳魔，我們使用[27]計(jì)算天空遮罩（b）。然后使用得到的天空像素來估計(jì)P（θs晦炊，φs | s）（c）鞠鲜。最大似然太陽位置用黃色圓圈表示。我們使用此位置在場景（d）中人工合成太陽刻度盤断国。

到目前為止贤姆，我們已經(jīng)假設(shè)天空是完全晴朗的，但情況并非總是如此稳衬！即使陽光照在場景上霞捡，天空也可能被云層覆蓋，因此使物理模型g（·）變得無用薄疚。為了解決這個問題碧信，我們將天空分為三類：晴朗，部分多云或完全陰街夭。為此砰碴，我們從從Flickr下載的圖像中為每個類別建立了一個代表天空的小型數(shù)據(jù)庫，并針對每個類別計(jì)算照明上下文特征[42]莱坎。然后衣式，我們在數(shù)據(jù)庫中找到k個最近的鄰居，并分配最常用的標(biāo)簽（我們使用k = 5）檐什。如果發(fā)現(xiàn)天空是陰天碴卧，則太陽位置分布P（θs，φs | S）保持均勻乃正。對于部分多云的場景住册，我們通過對天空像素進(jìn)行簡單的二進(jìn)制顏色分割來去除云（保持群集更接近藍(lán)色），并使前面描述的天空模型僅適合天空的晴朗部分瓮具。

4.2 垂直物體投射的地面陰影

垂直結(jié)構(gòu)投射到地面上的陰影基本上可以充當(dāng)“太陽刻度盤”荧飞，人類通常用它來確定太陽的方向[36]凡人。不幸的是，很難確定某個特定的陰影是否是由垂直的物體投射的叹阔。幸運(yùn)的是挠轴，事實(shí)證明，由于世界的統(tǒng)計(jì)數(shù)據(jù)（重力使許多物體直立起來）耳幢，大部分的長陰影實(shí)際上應(yīng)該是由垂直的物體產(chǎn)生的岸晦。因此，如果我們能探測到一組“又長又強(qiáng)”的陰影線（邊）睛藻，我們就可以在概率意義上使用它們來確定可能的太陽方位角（直到方向模糊）启上。雖然陰影也被用于通過用戶輸入[35]或網(wǎng)絡(luò)攝像頭[31]來估計(jì)太陽方向，但迄今為止還沒有一種技術(shù)能夠從單個圖像中自動完成店印。
用于從單個圖像中檢測陰影的大多數(shù)現(xiàn)有技術(shù)都是基于計(jì)算光照不變量的冈在，這些光照不變量是基于物理的，并且是各個像素值[22,20,21,47,66]或局部圖像鄰域中的值[49]的函數(shù)按摘。不幸的是包券，這些不變量的可靠計(jì)算需要寬動態(tài)范圍的高質(zhì)量圖像，高強(qiáng)度分辨率和相機(jī)輻射測量和顏色轉(zhuǎn)換的精確測量和補(bǔ)償炫贤。即使是這些圖像中的微小擾動（缺陷）也會導(dǎo)致不變量嚴(yán)重失效兴使。因此，它們不適合普通的消費(fèi)型照片照激，例如來自Flickr和Google的照片发魄，這些照片噪音很大，通常包含壓縮俩垃、調(diào)整大小和鋸齒效果励幼，以及由于自動增益控制和顏色平衡而產(chǎn)生的效果。由于目前的計(jì)算機(jī)視覺研究大多是針對消費(fèi)型的照片（甚至是質(zhì)量更差的手機(jī)照片）進(jìn)行的口柳，因此迫切需要一種能夠?qū)Υ祟悎D像進(jìn)行檢測的陰影檢測器苹粟。在這項(xiàng)工作中，我們使用了我們在[40]中介紹的陰影檢測方法跃闹，為了完整起見嵌削，我們在這里簡要總結(jié)。
我們的方法依賴于一個經(jīng)過訓(xùn)練的分類器望艺，通過使用在邊緣周圍的局部鄰域上計(jì)算的特征來識別地面陰影邊緣苛秕。所使用的特征是在三個顏色空間（RGB，LAB找默，[9]）中艇劫，在四個不同的尺度上，在每個邊的兩側(cè)計(jì)算的顏色強(qiáng)度比惩激。正如[72]所建議的店煞，我們還使用了每個邊兩側(cè)區(qū)域的紋理描述蟹演。使用Adaboost[10]的logistic回歸模型估計(jì)特征分布，其中20個16節(jié)點(diǎn)決策樹作為弱學(xué)習(xí)者顷蟀。這種分類方法提供了良好的特征選擇和輸出概率酒请，并已成功地應(yīng)用于其他各種視覺任務(wù)[27,28]。為了訓(xùn)練分類器鸣个，我們引入一個新的數(shù)據(jù)集蚌父，包含130多幅圖像，其中地面上的每個陰影邊界都被手動標(biāo)記[41]毛萌。最后，使用條件隨機(jī)場（CRF）來獲得更平滑的地面陰影輪廓[27]喝滞。

從得到的陰影邊界出發(fā)阁将，應(yīng)用[37]中的直線檢測算法，在li∈G上檢測出長陰影線右遭。讓我們考慮一條陰影線做盅。如果其在地平面上的方向表示為αi，則陰影線方向與太陽方位角之間的夾角為
$\angle\left(\alpha_{i}, \phi_{s}\right)=\min \left\{\angle\left(\alpha_{i}, \phi_{s}\right), \angle\left(\alpha_{i}+180^{\circ}, \phi_{s}\right)\right\}$
由于我們假設(shè)我們不知道是哪個物體投射了這個陰影窘哈，所以產(chǎn)生了180°的模糊性吹榴。這里 $\angle(\cdot, \cdot)$ 表示角差。我們通過檢測陰影邊界數(shù)據(jù)集[41]中74幅圖像的地面真實(shí)陰影邊界上的長線滚婉，獲得了 $P\left(\phi_{s} \mid \alpha_{i}\right)$ 的非參數(shù)估計(jì)值图筹，其中我們手動標(biāo)記了太陽方位角。從得到的1700條陰影線得到的分布如圖5a所示让腹。在 $\angle\left(\alpha_{i}, \phi_{s}\right)<5^{\circ}$ 處的最強(qiáng)峰值證實(shí)了我們的直覺远剩，即長陰影線與太陽方向一致。另一個較小的峰值似乎在 $\angle\left(\alpha_{i}, \phi_{s}\right)>85^{\circ}$ 時上升骇窍。這是由建筑物的屋頂線解釋的瓜晤，在我們的數(shù)據(jù)庫中很常見，它們投射出垂直于太陽方向的陰影（圖5b）腹纳。

圖5 陰影線如何預(yù)測太陽方位角痢掠？我們使用陰影邊界數(shù)據(jù)集[41]計(jì)算P（φs | 6（αi，φs））（a）的非參數(shù)估計(jì)嘲恍。從74張圖像中提取的1,700條陰影線用于估計(jì)分布足画。（b）來自陰影數(shù)據(jù)集的示例圖像，其中包含與太陽對齊并垂直于太陽的陰影（分別為路燈柱和車頂線）佃牛。為了可視化锌云，地面真實(shí)太陽方向由紅色桿及其陰影指示。

通過對每個陰影線進(jìn)行投票以選擇其首選的太陽方向吁脱，從而合并所有陰影線：

P\left(\phi_{s} \mid \mathcal{G}\right) \propto \sum_{l_{i} \in \mathcal{G}} P\left(\phi_{s} \mid \alpha_{i}\right)

當(dāng)然桑涎，在地面上計(jì)算陰影線方向αi需要知道相機(jī)的天頂角θc和焦距fc彬向。為此，我們使用上一節(jié)中獲得的估計(jì)值攻冷。圖6示出了僅使用陰影提示獲得的結(jié)果娃胆。

圖6 僅來自陰影的照明提示。從輸入圖像（a）開始等曼，我們使用[27]計(jì)算地面遮罩（b）里烦，使用[40]估計(jì)陰影邊界（以紅色顯示），最后提取長線[37]（以藍(lán)色顯示）禁谦。用長陰影線估計(jì)P（θs胁黑，φs | G）（c）。請注意州泊，僅陰影線就只能預(yù)測太陽相對方位角達(dá)180°的模糊度丧蘸。為了可視化，兩個最有可能的太陽位置（以黃色圓圈顯示）用于在場景（d）中人工合成太陽刻度盤遥皂。

4.3 在垂直表面上陰影

如果已知場景的大致幾何結(jié)構(gòu)力喷，則分析主表面上的陰影通常可以提供可能的太陽位置的估計(jì)演训。
例如弟孟，明亮的表面表示太陽可能指向其法線方向，或者至少指向附近样悟。當(dāng)然拂募，該推理還假設(shè)表面的反照率是已知的或相等的，但都不是正確的窟她。但是没讲，我們通過實(shí)驗(yàn)發(fā)現(xiàn)，在給定的圖像中礁苗，主要垂直表面的反射率通常相對相似（例如爬凑，同一所房屋的不同側(cè)面，或同一條街道上的相似房屋）试伙，而地面卻完全不同嘁信。因此，我們使用由[27]計(jì)算的三個粗糙的垂直表面方向（前疏叨，左和右）谢揪，并嘗試僅估計(jì)方位角方向巩掺。
直觀地說哲思，我們假設(shè)一個w i∈V的表面應(yīng)該預(yù)測太陽在它的前面民逼，如果它是明亮的。
相反，如果表面很暗单寂，太陽應(yīng)該在它后面贬芥。我們通過在幾何背景數(shù)據(jù)集中手動標(biāo)記太陽方位角，發(fā)現(xiàn)了表面平均亮度與相對于表面法線方向βi的相對太陽位置之間的映射關(guān)系[27]宣决。特別是蘸劈，我們了解了地表亮度bi與太陽在地表前面還是后面之間的關(guān)系，即 $\angle\left(\beta_{i}, \phi_{s}\right)$ 是小于還是大于90°尊沸。這是通過計(jì)算數(shù)據(jù)集中所有垂直表面的平均亮度威沫，并應(yīng)用logistic回歸來學(xué)習(xí) $P\left(\angle\left(\beta_{i}, \phi_{s} \mid b_{i}\right)<90^{\circ}\right)$ 。這有效地模擬了以下方式的概率：
$P\left(\angle\left(\beta_{i}, \phi_{s}\right)<90^{\circ} \mid b_{i}\right)=\frac{1}{1+e^{-\left(x_{1}+x_{2} b_{i}\right)}}$
其中洼专，學(xué)習(xí)后棒掠，x1=?3.35和x2=5.97。圖7顯示了用這種方法得到的計(jì)算數(shù)據(jù)點(diǎn)和擬合模型屁商。正如預(yù)期的那樣烟很，一個明亮的表面（高b i）預(yù)測太陽更可能在它的前面而不是后面，反之亦然棒假，對于暗表面（低bi）。實(shí)際上精盅，即使太陽照射在一個表面上帽哑，它的很大一部分可能由于遮擋而處于陰影中。因此叹俏，將亮度k的平均值k=2設(shè)為平均值妻枕。

圖7 垂直表面如何預(yù)測太陽？從幾何上下文數(shù)據(jù)集[27]粘驰，可以使用邏輯回歸來了解太陽在表面前方的概率與其平均亮度b i之間的映射屡谐。明亮的表面（高b i）預(yù)測太陽在它們的前面（高概率），反之亦然蝌数，黑暗表面（低b i）則相反愕掏。

為了模擬給定方向βi的垂直表面的太陽分布，我們使用：
$P\left(\phi_{s} \mid w_{i}\right) \sim\left\{\begin{array}{ll} \mathcal{N}\left(\beta_{i}, \sigma_{w}^{2}\right) & \text { if }(7) \geq 0.5 \\ \mathcal{N}\left(\beta_{i}+180^{\circ}, \sigma_{w}^{2}\right) & \text { if }(7)<0.5 \end{array}\right.$

式中顶伞， $\sigma_{w}^{2}$ 是指位于表面前面（后面）的高斯N的質(zhì)量分?jǐn)?shù)對應(yīng)于 $P\left(\angle\left(\beta_{i}, \phi_{s}\right)<90^{\circ} \mid b_{i}\right)$ 饵撑，如果它大于（小與）0.5，注意βi∈{?90?唆貌，90?滑潘，180?}，因?yàn)槲覀儍H假設(shè)3個粗糙的表面方向锨咙。我們通過將每個表面投票給其首選的太陽方向來組合每個表面：
$P\left(\phi_{s} \mid \mathcal{V}\right) \propto \sum_{w_{i} \in \mathcal{V}} P\left(\phi_{s} \mid w_{i}\right)$

圖8僅顯示了使用垂直表面上的陰影獲得的太陽方位角預(yù)測結(jié)果语卤。我們發(fā)現(xiàn)，這種提示通常可以幫助解決陰影線引起的歧義粹舵。

圖8 僅來自垂直表面的照明提示钮孵。從輸入圖像（a）開始，我們使用[27]計(jì)算垂直面遮罩（b）（藍(lán)色=向左齐婴，綠色=向右油猫，紅色=向前）。然后利用這些表面上像素強(qiáng)度的分布來估計(jì)P（θs柠偶，φs | V）（c）情妖。注意，在我們的工作中诱担，垂直表面不能預(yù)測太陽天頂角θs毡证。在這些示例中，將太陽天頂設(shè)置為45°以進(jìn)行可視化蔫仙。然后料睛，我們找到最可能的太陽位置（以黃色圓圈顯示），該位置用于人工合成場景中的太陽轉(zhuǎn)盤（d）摇邦。

4.4 行人
當(dāng)圖像中存在凸物體時恤煞，它們的外觀也可用于預(yù)測太陽在哪里[44]。這個想法的一個顯著例子是Bitouk等人[3] 的工作施籍，它使用面恢復(fù)面交換應(yīng)用程序中的照明居扒。然而，在我們考慮的圖像類型中丑慎，正面人臉的分辨率很少足夠（他們大多使用高分辨率特寫肖像）喜喂，但更多的是整個人。如圖9所示竿裂，當(dāng)陽光照射時玉吁，行人也表現(xiàn)出強(qiáng)烈的外觀特征，這取決于太陽的位置：陰影投射在腳上腻异，人體上存在水平強(qiáng)度梯度进副，衣服上的皺折很明顯等等。我們很容易說一個人是從左邊（圖9a）或是從右邊（圖9b）被照亮的悔常。

圖 9 看著這些行人敢会，很容易說（a）是從左側(cè)照明，（b）從右側(cè)照明这嚣。在這項(xiàng)工作中鸥昏，我們訓(xùn)練了一個分類器，根據(jù)行人的外貌來預(yù)測太陽方向姐帚。

因?yàn)橛行?yīng)用程序需要在圖像中檢測行人（特別是監(jiān)視或安全應(yīng)用程序）吏垮，它們是文獻(xiàn)[11,16,50,18]中備受關(guān)注的一類物體，因此存在許多有效的探測器。在這一部分中膳汪，我們提出一種新的方法來估計(jì)太陽相對于攝像機(jī)的方位角唯蝶，給定圖像中的行人邊界框。在我們的工作中遗嗽，使用[18]來檢測行人粘我，它使用標(biāo)準(zhǔn)的梯度直方圖（HOG）特征[11]進(jìn)行檢測。探測器在高精度痹换、低召回設(shè)置下運(yùn)行征字，以確保只使用非常可靠的檢測娇豫。
我們采用一種監(jiān)督學(xué)習(xí)的方法來預(yù)測給定行人的太陽位置匙姜。特別是，從LabelMe數(shù)據(jù)集[58]中選擇了一組2000張隨機(jī)圖像冯痢，其中包含行人的地面真實(shí)位置氮昧，我們還手動標(biāo)記地面真實(shí)太陽方位角。為了使問題更容易處理浦楣，太陽方位角φs∈[?180?袖肥，180?]的空間離散為四個間隔為90?的空間：[?180?，?90?]振劳，?90?椎组，0?等等。然后我們訓(xùn)練一個多類支持向量機(jī)分類器澎迎，該分類器使用與檢測相同的HOG特征庐杨。然而选调，現(xiàn)在的區(qū)別在于夹供，分類器是以邊界框中是否存在行人為條件的，因此它可以有效地學(xué)習(xí)不同的特征權(quán)重仁堪，這些權(quán)重只捕捉光照引起的效果哮洽。在實(shí)際應(yīng)用中，多類支持向量機(jī)被實(shí)現(xiàn)為四個一對所有二值支持向量機(jī)分類器弦聂。支持向量機(jī)的訓(xùn)練是用libsvm庫[7]完成的鸟辅，每個訓(xùn)練庫的輸出通過非線性最小二乘s-sigmoid擬合過程進(jìn)行歸一化[52]，以獲得每個類的概率莺葫。

當(dāng)然匪凉，光照對行人的影響如圖9所示，并且發(fā)動分類器捕獲當(dāng)行人被太陽照到的時候捺檬。然而再层，由于建筑物或場景結(jié)構(gòu)經(jīng)常在地面上投射出大陰影，行人很可能處于陰影中。為此聂受，我們訓(xùn)練另一個二元SVM分類器來預(yù)測行人是否處于陰影中蒿秦。該二值分類器使用在邊界框區(qū)域計(jì)算的簡單特征，例如HSV和RGB顏色空間中的粗略5-bin直方圖蛋济，以及整個邊界框內(nèi)定向梯度的直方圖來捕捉對比度棍鳖。這種簡單的“陽光下行人”分類器的分類精度超過82%。圖10示出僅使用自動檢測到的日照行人獲得的太陽方位角估計(jì)結(jié)果碗旅。

圖10 僅來自行人的照明提示渡处。從輸入圖像（a）開始，我們使用[18]（b）的檢測器檢測行人扛芽。通過運(yùn)行基于行人的照度預(yù)測器骂蓖，并通過投票框架組合所有預(yù)測，這些檢測中的每一個都用于估計(jì)P（φs | P）（c）川尖。最可能的太陽方位角（以黃色圓圈顯示）用于人工合成場景中的太陽轉(zhuǎn)盤（d）登下。出于顯示目的，最可能的太陽天頂設(shè)置為45°叮喳。

與前面的提示一樣被芳，我們通過給每個行人一個首選的太陽方向投票，計(jì)算給定一個行人p i的太陽方位角的概率P（φs | pi）：公式（10）

P\left(\phi_{s} \mid \mathcal{P}\right) \propto \sum_{p_{i} \in \mathcal{P}} P\left(\phi_{s} \mid p_{i}\right)

5 估計(jì)太陽位置

既然我們已經(jīng)具備了可以在圖像上計(jì)算的幾個特征馍悟，我們將展示如何將它們組合起來以獲得更可靠的估計(jì)畔濒。因?yàn)槊總€線索都可能非常弱，甚至可能在任何給定的圖像中都不可用锣咒，因此我們將它們組合在一個概率框架中侵状，以捕捉與每個線索相關(guān)聯(lián)的不確定性。

5.1線索組合

給定整個圖像I并假設(shè)太陽是可見的毅整，我們有興趣估計(jì)太陽位置 $S=\left\{\theta_{s}, \phi_{s}\right\}$ 上的分布 $P(S \mid V=1, \mathcal{I})$ （請參閱第3節(jié)）趣兄。我們在上一節(jié)中看到，圖像 $I$ 分為在天空 $S$ 上計(jì)算的特征悼嫉，地面上的陰影 $\mathcal{G}$ 艇潭，垂直表面 $\mathcal{V}$ 和行人 $\mathcal{P}$ ，因此我們應(yīng)用貝葉斯規(guī)則并寫出公式（11）
$P(S \mid \mathcal{S}, \mathcal{G}, \mathcal{V}, \mathcal{P}) \propto P(\mathcal{S}, \mathcal{G}, \mathcal{V}, \mathcal{P} \mid S) P(S)$

我們采用樸素貝葉斯（Naive Bayes）假設(shè)戏蔑，在給定照明條件的情況下蹋凝，圖像像素在條件上獨(dú)立，并且圖像的每個區(qū)域 $(P(\mathcal{S}), P(\mathcal{G}), P(\mathcal{V}),$ and $P(\mathcal{P}))$ 的先驗(yàn)條件在各自的領(lǐng)域內(nèi)是統(tǒng)一的总棵。兩次應(yīng)用貝葉斯規(guī)則鳍寂，我們得到公式（12）
$P(S \mid \mathcal{S}, \mathcal{G}, \mathcal{V}, \mathcal{P}) \propto P(S \mid \mathcal{S}) P(S \mid \mathcal{G}) P(S \mid \mathcal{V}) P(S \mid \mathcal{P}) P(S)$

在圖11中說明了根據(jù)（12）組合線索的過程。我們已經(jīng)介紹了如何計(jì)算條件 $P(S \mid \mathcal{S})情龄，P(S \mid \mathcal{G}), P(S \mid \mathcal{V}),$ and $P(S \mid \mathcal{P})$ 在4.1迄汛、4.2候味、4.3和4.4節(jié)中。現(xiàn)在隔心，我們看一下如何計(jì)算太陽位置本身的先前 $P(S)$ 白群。

圖11 結(jié)合從圖像（a）計(jì)算出的光照特征可以得到更可靠的最終估計(jì)（b）。我們展示了（c）到（f）是如何估計(jì)的在第4節(jié)硬霍，以及我們?nèi)绾斡糜?jì)算（g）在5.2節(jié)帜慢。為了可視化不同線索之間的相對置信度，（c）到（g）中的所有概率圖都繪制在同一色標(biāo)上唯卖。

5.2數(shù)據(jù)驅(qū)動的照明先驗(yàn)

先驗(yàn) $P(S)=P\left(\theta_{s}, \phi_{s}\right)$ 捕捉室外場景中典型的太陽位置×涣幔現(xiàn)在，我們繼續(xù)展示如何在一個大的消費(fèi)型照片數(shù)據(jù)集的情況下計(jì)算它拜轨。
太陽位置 $\left(\theta_{s}, \phi_{s}\right)$ 取決于相機(jī)的緯度 $L$ 抽减、方位角 $\phi_{c}$ 、日期 $D$ 和以當(dāng)?shù)貢r區(qū)表示的時間 $T$ ：公式（13）
$P\left(\theta_{s}, \phi_{s}\right)=P\left(f\left(L, D, T, \phi_{c}\right)\right)$

其中橄碾， $f(\cdot)$ 是[55]中定義的非線性函數(shù)卵沉。為了估計(jì)式（13），我們可以從 $P\left(L, D, T, \phi_{c}\right)$ 采樣點(diǎn)法牲，并使用 $f(\cdot)$ 恢復(fù) $\theta_{s}$ 和 $\phi_{s}$ 史汗。但是，估計(jì)此分布目前不可行拒垃，因?yàn)樗枰哂幸阎鄼C(jī)方向 $\phi_{c}$ 的圖像停撞，而這些圖像尚未大量可用。另一方面悼瓮，確實(shí)存在帶有地理和時間標(biāo)簽的圖像戈毒，并且可以在照片共享網(wǎng)站（例如Flickr）上廣泛使用。來自[23]的600萬張圖像的數(shù)據(jù)庫用于計(jì)算經(jīng)驗(yàn)分布 $P（L横堡，D埋市，T）$ 。我們通過從分布 $P（L翅萤，D恐疲，T）P（\phi_{c}）$ 中隨機(jī)抽樣100萬個點(diǎn)來計(jì)算（13）腊满，假設(shè) $\phi_{c}$ 在 $\left[-180^{\circ}, 180^{\circ}\right]$ 區(qū)間內(nèi)是均勻的套么。因此，（13）在 $\phi_{s}$ 維上是平坦的碳蛋，并且被邊緣化胚泌。

圖12c示出了 $P（\theta_{s},\phi_{s}）$ 的4個估計(jì)，這些估計(jì)以稍微不同的變化來計(jì)算肃弟。首先玷室，將地球上位置和一天中的時間的統(tǒng)一采樣用作基線比較零蓉。其他三個先驗(yàn)使用數(shù)據(jù)驅(qū)動信息。考慮到日期和時間分布不均勻穷缤，可以降低拍攝太陽接近地平線（ $\theta_{s}$ 接近 $\left.90^{\circ}\right)$ ）的可能性敌蜂。有趣的是，紅色和綠色曲線幾乎完全重疊津肛，這表明三個變量 $L$ 章喉， $D$ 和 $T$ 似乎是獨(dú)立的。

該數(shù)據(jù)庫捕獲了最有可能在地球上拍攝照片的位置的分布身坐，這與將地球上的每個位置都視為具有相同可能性相比確實(shí)存在很大差異（如圖12a和12b所示）秸脱。在下一節(jié)中，我們將顯示這種區(qū)別對于改善我們的估算結(jié)果至關(guān)重要部蛇。
最后摊唇，請注意，在實(shí)踐中涯鲁，統(tǒng)一照相機(jī)方位角的假設(shè)可能不正確巷查，因?yàn)閮?yōu)質(zhì)攝影的基本經(jīng)驗(yàn)是將太陽朝后拍照。隨著額外的出現(xiàn)傳感器抹腿，例如數(shù)碼相機(jī)上的指南針吮便，這些數(shù)據(jù)必將在不久的將來可用。

圖12 陽天頂角上的照明先驗(yàn)（13）幢踏。地球可視化圖說明了（a）在GPS位置上的均勻采樣和（b）數(shù)據(jù)驅(qū)動的采樣髓需，在本工作中進(jìn)行了比較。數(shù)據(jù)驅(qū)動先驗(yàn)是從Flickr下載的6M圖像數(shù)據(jù)庫中獲悉的房蝉。（c）先驗(yàn)是通過在GPS位置和一天中的同一時間（青色）均勻采樣一百萬個點(diǎn)（1）來獲得的僚匆；從（2）僅邊界緯度分布P（L）（藍(lán)色）; （3）從數(shù)據(jù)（綠色）獲得的獨(dú)立邊際P（L）P（D）P（T）的乘積；（4）關(guān)節(jié)P（L搭幻，D咧擂，T），也從數(shù)據(jù)（紅色）獲得檀蹋。最后兩條曲線重疊松申，表明三個變量L，D和T確實(shí)似乎是獨(dú)立的俯逾。

6 評估與結(jié)果

我們將以三種不同的方式評估我們的技術(shù)贸桶。首先，我們使用從校準(zhǔn)的網(wǎng)絡(luò)攝像頭序列拍攝的圖像桌肴，定量評估太陽估計(jì)技術(shù)天頂角和方位角皇筛。其次，我們這次只對太陽放位角進(jìn)行了另一次的定量評估坠七，但是是從互聯(lián)網(wǎng)上下載的手動標(biāo)記的單個圖像數(shù)據(jù)集上執(zhí)行水醋。最后旗笔，我們還對單個圖像給出了幾個定性結(jié)果，證明了我們方法的性能拄踪。這些結(jié)果將表明蝇恶，盡管我們的方法不是很完美，但我們?nèi)阅軌蚶谜n間照明線索來推斷太陽惶桐。

6.1 使用網(wǎng)絡(luò)攝像頭進(jìn)行定量評估

我們使用了Lalonde等人[43]的技術(shù)艘包，從互聯(lián)網(wǎng)下載15個不同延時圖像序列中獲取984張圖像來估計(jì)太陽的位置。圖13a和13b顯示了我們的算法獨(dú)立地應(yīng)用于序列中的每個圖像耀盗，并將結(jié)果與 ground truth 進(jìn)行了比較想虎。
圖13 報(bào)告了不同情況下太陽位置估計(jì)誤差的累積直方圖：對 $\theta_{s}$ 進(jìn)行恒定預(yù)測（直線上升）僅使用5.2節(jié)的先驗(yàn)信息（我們測試了數(shù)據(jù)驅(qū)動先驗(yàn)和地球同意先驗(yàn)），僅場景提示叛拷，并且對這兩個先驗(yàn)也使用了組合度量 $P(\theta_{s},\phi_{s}|I)$ 舌厨。圖13突出顯示了性能誤差小于 $22.5^{\circ}$ (圖像的50%)和 $45^{\circ}$ (圖像的71%)，這些誤差對應(yīng)于準(zhǔn)確預(yù)測八分圓內(nèi)的太陽位置（例如忿薇。北裙椭，西北）或者象限（例如北與西）
對于不同的場景，線索對最終結(jié)果的貢獻(xiàn)不同署浩。例如揉燃，圖13a中的天空是沒有信息的，因?yàn)樗苄〗疃埃柨偸窃谙鄼C(jī)后面炊汤。它在圖13b中更具信息性，因?yàn)樗紦?jù)了更大的區(qū)域弊攘。行人可能出現(xiàn)在圖13a中抢腐，并且可能是有用的；但是在圖13b中襟交，他們太小迈倍，沒有任何用處。

圖13 使用從15個網(wǎng)絡(luò)攝像頭序列中采集的984張圖像進(jìn)行定量評估捣域，使用[43]校準(zhǔn)啼染。（a）馬德里和（b）梵蒂岡城的兩個示例圖像比較了使用我們估計(jì)的太陽位置（灰色）和地面實(shí)況（紅色）繪制的太陽撥盤。（c）不同方法的累積太陽位置誤差（估計(jì)值與地面真實(shí)方向之間的角度）焕梅。我們的結(jié)果迹鹅，結(jié)合了場景線索和數(shù)據(jù)驅(qū)動的光照先驗(yàn)，優(yōu)于其他方法丘侠。數(shù)據(jù)驅(qū)動的先驗(yàn)優(yōu)于地球統(tǒng)一先驗(yàn)（無論是單獨(dú)先驗(yàn)還是與場景線索相結(jié)合）徒欣，顯示了與可能的圖像位置保持一致的重要性逐样。選取一個常數(shù)θs=0的誤差至少為20°蜗字。

6.2 單幅圖像的定量評估

當(dāng)瀏覽流行的公共網(wǎng)絡(luò)攝像頭數(shù)據(jù)集[39,29]時打肝，人們很快就會意識到，在這種序列中捕捉到的場景類型與在單個圖像中捕捉到的場景類型本質(zhì)上是不同的挪捕。網(wǎng)絡(luò)攝像頭通常安裝在較高的有利位置粗梭，使他們可以廣泛地俯瞰自然或城市景觀等大規(guī)模全景。另一方面级零，單個圖像通常是在人眼水平拍攝的断医，在那里，像汽車奏纪、行人鉴嗤、灌木叢或樹木之類的地上“物體”占據(jù)了圖像的很大一部分。
此外序调，網(wǎng)絡(luò)攝像頭序列中的場景不會隨時間變化（僅考慮靜態(tài)攝像頭）醉锅，而是照明條件有所變化。但是发绢，在單張圖像中硬耍，場景和照明條件在一個圖像和另一個圖像之間都不同。在本節(jié)中边酒，我們在單個圖像的數(shù)據(jù)集上評估我們的方法经柴。誠然，這項(xiàng)任務(wù)比網(wǎng)絡(luò)攝像頭要困難得多墩朦，但是我們?nèi)匀幌Ｍ軌蛟诟鞣N各樣的城市和自然場景中提取有意義的信息坯认。

我們在此面臨的主要挑戰(zhàn)是在單一圖像中無法獲得地面真實(shí)太陽位置：到目前為止，還沒有這樣的公開數(shù)據(jù)集氓涣。此外鹃操，如第5.2所討論的，雖然GPS坐標(biāo)和圖像捕獲時間通常由現(xiàn)代攝像機(jī)記錄春哨，但攝像機(jī)方位角φc并非如此荆隘。我們從LabelMe數(shù)據(jù)集[58]中隨機(jī)選擇了300幅室外圖像，這些圖像中太陽似乎在照射場景（即沒有被云或非常大的建筑物遮擋）赴背，并手動標(biāo)記每個圖像中的太陽位置椰拒。標(biāo)簽是使用一個交互式圖形界面完成的，該界面類似于本文中使用的“虛擬太陽刻度盤”（如圖5b所示）凰荚，其中人類貼標(biāo)者的任務(wù)是定位陰影燃观，使其與感知到的太陽方向?qū)R。如果貼標(biāo)者判斷他或她無法在給定圖像中以足夠的精度識別太陽方向便瑟，則該圖像將從數(shù)據(jù)集中丟棄缆毁。在標(biāo)記過程之后，保留了239幅圖像以供評估到涂。此外脊框，我們還發(fā)現(xiàn)颁督，在沒有已知高度的物體的情況下，很難可靠地標(biāo)記太陽天頂角θs[36]浇雹，因此我們要求用戶僅標(biāo)記太陽方位角φs沉御。

圖14獨(dú)立地報(bào)告了每個提示的太陽方位估計(jì)誤差的累積直方圖（圖。14a至14d）昭灵，以及聯(lián)合（圖14e）吠裆。我們還報(bào)告了與當(dāng)前分別估計(jì)八分圓和四分之一圓內(nèi)的太陽方位角相對應(yīng)的誤差小于22.5°和45°的圖像百分比。由于每個提示在所有圖像中都不可用烂完，因此我們還報(bào)告了每個提示可用的圖像百分比试疙。
讓我們指出一些值得注意的觀察。

首先抠蚣，由于僅陰影線（圖14b）在方位角估計(jì)中具有180°的歧義效斑，因此我們將每個預(yù)測（相反）方向與地面真實(shí)太陽方位角之間的誤差保持為最小。這就解釋了為什么最小誤差為90°柱徙，并且因此不應(yīng)直接與其他提示進(jìn)行比較缓屠。垂直表面（圖14c）在我們數(shù)據(jù)集中99%的圖像中都是可用的，這表明我們的數(shù)據(jù)集可能有點(diǎn)偏向城市環(huán)境护侮，就像LabelMe目前的情況一樣敌完。其次，觀察行人如何獨(dú)立地成為最佳線索之一（圖14d）羊初。他們的表現(xiàn)是所有線索中最好的滨溉。然后，我們還觀察到长赞，在圖像中可見的行人數(shù)量與方位估計(jì)的質(zhì)量有直接的相關(guān)性：越多越好晦攒。例如，只有一個行人時得哆，平均誤差為41°脯颜，兩個行人的平均誤差為22°，三個或更多行人的平均誤差為20°贩据。最后栋操，整個系統(tǒng)（圖14e）估計(jì)出40.2%的圖像的太陽方位角在22.5°以內(nèi)，54.8%的圖像在45°以內(nèi)饱亮，這比獨(dú)立拍攝的任何線索都要好矾芙。

圖14 從LabelMe數(shù)據(jù)集[58]采集的239幅單幅圖像上的累積太陽方位角誤差（估計(jì)值與ground truth方位角之間的角度），以秒表示近上。4：（a）天空剔宪，（b）垂直物體投射在地面上的陰影，（c）垂直表面，以及（d）行人葱绒。（e）中的曲線圖顯示了將所有線索與太陽先驗(yàn)相結(jié)合而得到的結(jié)果感帅，如第節(jié)所述。5所示百分比表示測試集中有提示的圖像的分?jǐn)?shù)哈街。

6.3 單幅圖像定性評價

圖15展示了將我們的算法應(yīng)用于典型消費(fèi)性圖像的幾個示例結(jié)果留瞳，這些圖像是從6.2節(jié)中介紹的測試數(shù)據(jù)集獲得的拒迅。這些行按照估計(jì)誤差的降序排列骚秦。請注意我們的技術(shù)是如何恢復(fù)太陽參數(shù) $（\theta_{s},\phi{s}）$ 的整個分布，也捕捉了估計(jì)值的置信度璧微。當(dāng)一個線索很強(qiáng)時（即第5行第2列不同方向的垂直面之間的強(qiáng)度差異大）作箍，或當(dāng)4個線索相關(guān)時（如圖11所示），通常會獲得高置信度的情況前硫。另一方面胞得，高度雜亂的場景（圖15的第4行，第2列）通常會產(chǎn)生較低的可信度屹电，并且最有可能的太陽位置可能是不確定的阶剑。

圖15 從單個圖像估計(jì)太陽方向。在每個輸入圖像（第一列和第三列）中插入一個虛擬太陽刻度盤危号，其陰影對應(yīng)于相應(yīng)概率地圖P（θs牧愁，φs | I）（第二列和第四列）中的地圖太陽位置。地面真實(shí)太陽方位角以青色顯示外莲，由于該方位角不可用猪半，因此可使用45°的天頂角進(jìn)行可視化。

圖16 典型的失誤案例偷线。（a）首先磨确，主要的陰影線不是由細(xì)的垂直對象投射的，因此不會與太陽方向?qū)R声邦。（b）錯誤標(biāo)記垂直曲面方向會導(dǎo)致選擇錯誤的陰影方向乏奥。請注意，在本例中可見的行人不是高置信度檢測亥曹，因此未用于照度估計(jì)英融。（c）假陽性行人檢測會導(dǎo)致照明預(yù)測器失敗。（d）行人被正確地檢測到歇式，但被錯誤地歸類為“在陽光下”驶悟。（e）垂直面（紅色）錯誤地包圍了面向左側(cè)的側(cè)壁，導(dǎo)致分類器認(rèn)為太陽在攝像機(jī)后面材失。（f）輕云被誤認(rèn)為是晴空變幻痕鳍。在所有的情況下，其他的線索都沒有足夠的信心來彌補(bǔ)，因此產(chǎn)生了錯誤的估計(jì)笼呆。

圖16顯示了典型的失誤情況熊响。大多數(shù)陰影是由垂直對象投射的陰影的假設(shè)（請參見第4.2節(jié)）并不總是令人滿意的（圖16a）。在圖16b中诗赌，陰影被正確檢測汗茄，但是其他提示無法解決其方向上的歧義。無論是對行人（圖16c）還是垂直表面（圖16e）的錯誤檢測也會引起問題铭若。在圖16d中洪碳，“日照行人”分類器（第4.4節(jié)）錯誤地將陰影的行人標(biāo)識為處于陽光下，從而產(chǎn)生錯誤的太陽方向估計(jì)叼屠。最后瞳腌，輕云可能會錯誤地解釋為天空中的強(qiáng)度變化（圖16f）。

6.4 應(yīng)用：三維物體插入

現(xiàn)在我們將演示如何使用我們的技術(shù)將三維物體插入到一張具有真實(shí)燈光的照片中镜雨，這需要生成一個合理的環(huán)境地圖來照亮虛擬物體[13]嫂侍。環(huán)境地圖是空間中某一點(diǎn)上的全光函數(shù)的一個示例，它捕捉了在該點(diǎn)入射的整個球體的光線荚坞。它通常是通過從物體的角度拍攝高動態(tài)范圍（HDR）全景照片挑宠，或是將鏡像球放置在所需位置并拍攝。這樣的環(huán)境貼圖可以用作渲染合成對象的擴(kuò)展光源颓影。
僅給出圖像各淀，通常不可能恢復(fù)場景的真實(shí)環(huán)境圖，因?yàn)閳D像將僅包含整個圖的一小部分可見部分（并且從錯誤的角度來看）瞭空。我們建議使用自然光照模型從單個圖像估計(jì)高動態(tài)范圍環(huán)境圖揪阿。由于我們正在處理室外圖像，因此可以將環(huán)境圖分為兩部分：天空探測器和場景探測器。現(xiàn)在，我們詳細(xì)介紹為這兩個部分構(gòu)建逼真的真實(shí)環(huán)境圖的近似過程膏燃。

天空探測器可以使用4.2節(jié)的基于物理的天空模型g（·）生成艇挨。我們首先使用我們的方法來估計(jì)光照條件。考慮到最有可能的太陽位置和晴空像素，給定最可能的太陽位置和晴朗的天空像素，我們使用Lalonde等人[43]的技術(shù)鞭缭，通過以最小二乘法擬合其濁度t（捕獲大氣中散射程度的標(biāo)量值）來恢復(fù)最可能的天空外觀。這是通過式（14）得到
$t^{*}=\underset{t}{\arg \min } \sum_{s_{i} \in \mathcal{S}^{\prime}}\left(s_{i}-k g\left(\theta_{s}, \phi_{s}, t, \ldots\right)\right)^{2}$
其中 $s^{\prime}$ 是晴朗的天空像素魏颓，估計(jì)的渾濁度 $t^{*}$ 和攝像機(jī)參數(shù) $f_{c}$ 和 $\theta_{c}$ 允許我們使用g（·）并推斷整個半球的天空外觀岭辣，即使最初只有一小部分對攝像機(jī)可見。通過照明的圓形補(bǔ)兜楸ァ（比最大場景亮度亮 $10^{4}$ 倍）模擬太陽沦童。使用該技術(shù)獲得的示例性天空探測器如圖17b所示仑濒。
對于環(huán)境圖的底部（未顯示），我們使用Khan等人[34]的球形投影技術(shù)偷遗。在[39]中位于水平線下方的像素上墩瞳。使用現(xiàn)成的渲染軟件可以對逼真的3-D模型進(jìn)行調(diào)整（請參見圖17c）。請注意地面上的陰影氏豌，汽車上的陰影和反射與圖像的一致性喉酌。另一個示例如圖1所示。

圖17 3D對象重照明泵喘。我們使用我們的方法從單個圖像（a）計(jì)算出太陽位置并渲染最可能的天空外觀（b）泪电，然后使用[43]擬合天空參數(shù)。我們可以實(shí)際地將3D對象插入圖像（c）

涣旨、

7 討論

現(xiàn)在歪架，我們討論該方法的三個重要方面：太陽位置的分布股冗，如何利用可用信息的其他信息源以及線索之間的高級交互霹陡。

7.1太陽位置分布

定量評估在6.2節(jié)揭示了我們的方法成功地預(yù)測了測試集中40%的圖像在22.5°內(nèi)的方位角，其中55%的圖像在45°的范圍內(nèi)預(yù)測止状，而80%的圖像在90°的范圍內(nèi)預(yù)測到太陽方位角（見圖14e）烹棉。顯然，這離完美還很遙遠(yuǎn)怯疤。但是浆洗，我們認(rèn)為這對于不需要精確估算的應(yīng)用仍然是非常有用的結(jié)果。例如集峦，在某些情況下伏社，可能需要做的是正確識別太陽象限（誤差小于45°），或區(qū)分左右情況（誤差小于90°）塔淤，在這種情況下摘昌，我們的方法可以獲得合理的結(jié)果。但是生成這些結(jié)果的最有可能太陽位置實(shí)際上隱藏了我們方法的一個重要結(jié)果高蜂，而這個結(jié)果并沒有被評估所捕獲聪黎。

雖然在太陽位置估計(jì)中以角度誤差來報(bào)告結(jié)果是有道理的，但我們系統(tǒng)的實(shí)際“輸出”是太陽位置上的概率分布备恤。在這篇文章中稿饰，我們展示了那些用彩色圓圈表示太陽在每個位置的可能性，但沒有太多注意它們露泊。仔細(xì)觀察這些分布本身喉镰，可以發(fā)現(xiàn)關(guān)于估計(jì)的確定程度的非常有趣的觀察結(jié)果，這本身應(yīng)該是一個非常有用的結(jié)果惭笑。

圖18顯示了在實(shí)踐中出現(xiàn)的常見場景的示例侣姆。在圖18a中，我們觀察到場景中的強(qiáng)烈提示（明亮的表面，強(qiáng)烈的陰影铺敌，對行人的可見照明效果）導(dǎo)致估計(jì)值在太陽位置附近達(dá)到峰值汇歹，這與地面真相非常吻合。如圖18b所示偿凭，當(dāng)場景混亂時产弹，線索變得更難檢測，并且結(jié)果估計(jì)也不太可靠弯囊，這由概率圖中的藍(lán)色表示（圖中的所有顏色都在相同的比例上痰哨，使得比較起來很容易）。
當(dāng)有強(qiáng)烈的投射陰影匾嘱，但其他的線索較弱時斤斧，陰影模糊性仍然存在于太陽概率分布中，如圖18c和18d所示霎烙。最后撬讽，當(dāng)這些線索完全難以檢測或僅僅像圖18e和18f那樣不具信息性時，得到的估計(jì)值或多或少具有恒定概率悬垃。在這種情況下游昼，最大似然太陽位置，用來生成第6.2節(jié)的定量評價圖尝蠕。而虛擬太陽刻度盤用于可視化烘豌，是沒有意義的。更具代表性的評估結(jié)果的方法可以使用分布的置信度（如方差）看彼。

7.2 補(bǔ)償信息源

有時廊佩，相機(jī)的其他信息來源是可用的。例如靖榕，圖像文件中的EXIF頭通常包含諸如焦距（在本文中使用）标锄、圖像捕獲的日期和時間以及GPS位置等信息。我們現(xiàn)在討論在我們的工作環(huán)境中序矩，這些信息的可用性意味著什么鸯绿。如果圖像的捕獲日期和時間以及GPS位置可用，則可以使用大氣公式計(jì)算太陽的天頂角[55]簸淀。由于攝像機(jī)方位是未知的瓶蝴，這有效地限制了太陽在一個恒定的天頂波段，所以太陽在其他任何地方的概率可以很容易地設(shè)置為零租幕。最近的智能手機(jī)型號現(xiàn)在有一個額外的傳感器舷手，它的讀數(shù)也可以通過EXIF獲得：一個數(shù)字羅盤。這個指南針記錄相機(jī)的絕對方位劲绪，并且已經(jīng)被證明在基本的增強(qiáng)現(xiàn)實(shí)應(yīng)用中是有用的男窟。在記錄相機(jī)方位角的過程中盆赤，我們現(xiàn)在有了實(shí)際計(jì)算太陽相對于相機(jī)的位置所需的一切。當(dāng)然歉眷，這并不表示太陽是否可見（第3節(jié)）它也不提供有關(guān)天氣狀況的信息牺六，但可能是一個巨大的工具，用來捕捉具有地面真實(shí)太陽位置的圖像數(shù)據(jù)集汗捡。大量帶有注釋信息的圖像的可用性必將對提高我們對真實(shí)室外圖像照明的理解起到重要作用淑际。

7.3 線索間的高階交互作用

在第5節(jié)我們看到了如何將來自多個線索的預(yù)測結(jié)合起來，以獲得一個最終的扇住、更自信的估計(jì)春缕。我們依靠樸素貝葉斯假設(shè)，該假設(shè)指出所有提示在給定太陽方向的條件下都是獨(dú)立的艘蹋。盡管這種條件獨(dú)立性假設(shè)對于許多線索都具有直觀意義（例如锄贼，如果我們知道太陽的方向，則天空的外觀與地面上的陰影方向無關(guān)）女阀，但它并不適用于所有線索宅荤。在這里，我們討論了框架中出現(xiàn)的一些依賴關(guān)系强品，以及如何利用它們更好地捕獲線索之間的交互膘侮。

即使知道太陽的方向屈糊，物體與陰影之間仍然存在強(qiáng)烈的依存關(guān)系的榛。知道垂直物體（例如，行人）的位置后逻锐，我們便知道投射的陰影應(yīng)該在它們與地面的接觸點(diǎn)附近夫晌。同樣，知道陰影邊界在地面上的位置會限制行人的可能位置昧诱，因?yàn)樾腥吮仨毻断玛幱埃ㄈ绻麄冊陉柟庀拢?捕獲行人和陰影之間的這種相互作用將非常有益：由于我們知道行人是垂直物體晓淀，因此只需找到他們的陰影就足以很好地估計(jì)太陽位置，并且4.2節(jié)可以解決方向的模糊性盏档。

在垂直表面和地面上的陰影之間也存在著一種依賴關(guān)系凶掰，盡管這種依賴性可能較弱。垂直表面（如建筑物屋頂）的頂部水平邊緣也會在地面上投射陰影蜈亩。對建筑物和陰影之間的相互作用進(jìn)行推理懦窘，可以讓我們拋棄它們的陰影，它們通常指向太陽（4.2節(jié)）稚配。

另一個有趣的交叉線索依賴性出現(xiàn)在行人和垂直表面之間畅涂。由于大表面可能會產(chǎn)生較大的陰影區(qū)域，如果太陽來自大墻后面道川，而行人靠近墻午衰，則該行人很可能處于陰影中立宜，因此無法預(yù)測太陽的位置。
跨線索捕獲這些高層交互雖然有益臊岸，但也會增加用于解決問題的概率模型的復(fù)雜性橙数。圖19顯示了對應(yīng)于我們當(dāng)前方法的圖形模型（圖19a）與將捕獲這些依賴關(guān)系的新模型（圖19b）之間的比較。需要說明的是帅戒，模型的復(fù)雜度在集團(tuán)大小上是指數(shù)級的商模，這取決于圖像中線索的數(shù)量（例如，陰影線的數(shù)量蜘澜，行人的數(shù)量等）施流。在這樣的模型中學(xué)習(xí)和推理肯定會更具挑戰(zhàn)性。

8 結(jié)論

戶外照明會以復(fù)雜的方式影響場景的外觀鄙信。通常瞪醋，將照明與表面和材料特性弄混是一個難題。然而装诡，令人驚訝的是银受，許多在戶外拍攝的消費(fèi)級照片都包含豐富的照明提示，例如天空鸦采，地面陰影和垂直表面的陰影宾巍。我們的方法從這些線索中提取“集體智慧”，以估計(jì)太陽的能見度以及（如果認(rèn)為是可見的話）其相對于相機(jī)的位置渔伯。即使圖像中的照明信息很少顶霞，并且得出的估計(jì)值也很弱，我們相信對于許多應(yīng)用程序來說锣吼，它仍然是有用的結(jié)果选浑。例如，僅僅知道太陽在你左邊的某個地方玄叠，就足以讓一個點(diǎn)拍相機(jī)自動調(diào)整它的參數(shù)古徒，或者讓一個汽車檢測器預(yù)測到右邊有陰影的汽車。還可以利用一些附加信息來幫助進(jìn)行照明估計(jì)读恃。例如隧膘，GPS坐標(biāo)、一天中的時間和相機(jī)的方位在圖像中越來越多地被標(biāo)記寺惫。了解這些量可以進(jìn)一步限制太陽的位置疹吃，并增加我們估計(jì)的概率圖的可信度。我們將在未來探索這些途徑肌蜻。