作者：張晗禀综、蔡蘇
來源：教育新技術(shù)
物聯(lián)網(wǎng)智庫 整理發(fā)布
轉(zhuǎn)載請注明來源和出處
------ ? 【導(dǎo)讀】 ? ------
AR與VR如火如荼简烘，但是其中值得稱道的黑科技呢？
光場介紹
光場（Light Field）技術(shù)被業(yè)界認(rèn)為是未來的完美顯示技術(shù)定枷。那么孤澎，什么是光場呢？光場在哪里呢欠窒？
簡單地說覆旭，人們看自然界真實(shí)物體時看到的是光場（當(dāng)然是在有光情況下啦），而從普通顯示屏幕上看到的岖妄，物體的像型将，不是光場。人們會感覺到看真實(shí)物體時物體很“真實(shí)”荐虐，有立體感七兜，有遠(yuǎn)近感，人們打量一個物體時福扬，還會時不時地晃動腦袋腕铸，變換一下觀察方向，感受一下這個物體的立體結(jié)構(gòu)忧换。但是當(dāng)人們從屏幕上看物體的像時恬惯，雖然也能感覺到一定的立體感（明暗關(guān)系，遮擋關(guān)系起作用）亚茬，和真實(shí)物體沒法比酪耳，人們也不會看屏幕時變換光強(qiáng)方向，即使變化光強(qiáng)方向，看到的畫面也不會發(fā)生變化碗暗。
那么從屏幕中發(fā)射的光線和真實(shí)物體發(fā)射或反射的光線相比缺少了哪些內(nèi)容呢颈将？從拍照說起，屏幕的像就是人們給物體拍的照片言疗，缺少了光線的方向信息晴圾，在拍攝照片時通過凸透鏡將物體發(fā)射的光線搜集，匯聚到底片上噪奄，底片是平面死姚，會逐點(diǎn)記錄光線到達(dá)底片的顏色。
如果有兩條來自不同方向的光線勤篮，它們通過凸透鏡后都毒，打到底片上的同一位置，那么底片會把這兩條光線記錄在同一像素上碰缔，記錄下這兩條光線混合后的顏色账劲，但沒有記錄下這兩條光線的方向。既然拍照的時候沒有記錄下光線的方向金抡，屏幕顯示的時候也不可能還原出光線的方向瀑焦。（信息論，信息不能憑空創(chuàng)造出）梗肝。
屏幕顯示圖像時榛瓮，所有的光線都從屏幕（一個平面）發(fā)出，通過直線傳播到達(dá)眼睛巫击，人們要看清屏幕上的物體就要把眼睛聚焦到屏幕上榆芦。但真實(shí)的物體發(fā)出/發(fā)射的光線是從物體的各個位置發(fā)出的，并非從一個平面上發(fā)出喘鸟，光線攜帶了物體的立體信息匆绣，人們要看清真實(shí)物體時，眼睛需要聚焦到物體的真實(shí)表面上什黑。即使屏幕做的再復(fù)雜崎淳，也沒有真正的物體給人的感覺真實(shí)。
物體從各個位置發(fā)出的光線方向不同距離不同愕把，人有兩只眼睛拣凹，位置不同，接受的光線方向也不同恨豁，位置不同嚣镜，會產(chǎn)生雙目視察，移動視察橘蜜，聚焦模糊菊匿，通過大腦的處理付呕，人們能感受到物體的立體感。但從普通屏幕發(fā)出的光線是從一個平面發(fā)出的跌捆，到達(dá)眼睛的距離徽职，方向，基本相同佩厚，人的兩只眼睛看到的圖像基本相同姆钉，即使移動一下，改變觀察方法抄瓦，也不會有大的變化潮瓶，也不用根據(jù)物體表面各點(diǎn)的距離調(diào)節(jié)聚焦（直接聚焦到屏幕上即可）。所以大腦不能處理立體信息钙姊，自然沒有了立體感筋讨。
光場不是一個平面發(fā)出的光，是從整個三維立體空間發(fā)出的光摸恍，如果能記錄光線顏色，位置赤屋，方向立镶，并且能在顯示端還原出來，就是完整的光場技術(shù)类早，如果只能記錄出光場信息媚媒，則成為光場拍攝技術(shù)；如果能顯示出光場涩僻，就是光場顯示技術(shù)缭召。
光場理論
以上是對光場的通俗的解釋，光場也有嚴(yán)格的理論逆日，稱為5維全光學(xué)理論嵌巷，光線是從三維空間中的任意一點(diǎn)發(fā)出的，三維空間任意點(diǎn)可以用（X室抽，Y搪哪，Z）三個參數(shù)表示，光線是從這個點(diǎn)上發(fā)出的一條射線坪圾，射線在空間中的方向可以用（θ晓折，φ）兩個參數(shù)表示，那么表示空間中的光線的公式是L=F（X兽泄，Y漓概，Z，θ病梢，φ）成為5維全光函數(shù)胃珍。
圖 1五維全光學(xué)理論示意圖
光線還有波長（顏色），強(qiáng)度（亮度），偏振等等堂鲜，有很多維度栈雳，我們說的5D是光源的位置和光線的方向。沒有記錄顏色和亮度等等缔莲。普通的照片就是只記錄顏色亮度晚顷，光源位置的x,y，不記錄z和光線方向θ械媒，φ胸遇。如果記錄光線位置x,y和光線方向θ，φ读拆，顏色和亮度擅憔，但不記錄光源的距離，就是4D光場相機(jī)(比如 Lytro)檐晕。
4D 光場也可以兩個平面坐標(biāo)來表示暑诸，L=F（U，V辟灰，S个榕，T）其中，U芥喇，V和S西采，T分別是兩個互相平行的平面上的點(diǎn)，這是4D光場比較常見的表示方法继控。
圖 2四維全光學(xué)理論示意圖
Lytro光場相機(jī)原理
Lytro 主要命令是在圖像傳感器上貼了一張微凸透鏡膜械馆，里面是蜂窩狀微透鏡，數(shù)量大概十萬武通，光線從不同方向進(jìn)入微透鏡時霹崎，經(jīng)過折射會映射到微透鏡后面不同的像素上，就是說微透鏡完成了將光線方向轉(zhuǎn)換成屏幕位置的功能冶忱，然后用微透鏡后面圖像傳感器記錄下來
這樣 Lytro 就實(shí)現(xiàn)了用普通的圖像傳感器記錄光線方向的功能仿畸，成了光場相機(jī)。有很多精密算法朗和，從平面上把光線的方向還原出來错沽，判斷景物距離，實(shí)現(xiàn)先拍照后對焦眶拉，還有精密的加工工藝千埃。
圖 5光場相機(jī)拍攝的光場圖
【注：通俗來講，傳統(tǒng)的攝影器材通常只有一個景深范圍和焦點(diǎn)忆植，一般來說在調(diào)整好主要目標(biāo)的焦距后放可，背景會出現(xiàn)模糊的現(xiàn)象谒臼，而我們只能通過調(diào)整精神或縮小光圈的方式來拍攝。而Lytro采用的光場技術(shù)耀里，可以將多個物體捕捉到整個的場景中蜈缤，并且存在多個焦點(diǎn)，然后用戶可以在拍照完畢后期通過電腦進(jìn)行對焦處理冯挎，實(shí)現(xiàn)先拍攝后對焦底哥，獲得更到完美的拍攝效果。
如果還不明白房官，我們可以將其比喻成對樂器和弦的錄音趾徽。傳統(tǒng)相機(jī)就是每次只能錄下特定的旋律，而光場相機(jī)則是一次性將20個和弦都錄下翰守，然后再通過軟件將不同的旋律根據(jù)需求提取出來】
理論上 Lytro 相機(jī)可以對焦到無窮遠(yuǎn)孵奶，鏡頭景深做得很大，讓拍攝到的每個像素基本都是清晰的蜡峰，然后通過解算每個像素到相機(jī)的距離將對焦距離外的像素人為模糊掉了袁，實(shí)現(xiàn)全景深范圍內(nèi)的后對焦。并不是全部景深都可以先拍照后對焦的湿颅，有一個范圍载绿。
這張圖上中間顏色的部分就是可以后對焦的部分。如果這個范圍大肖爵，那么對焦的步長就大，不精細(xì)臀脏。否則就精細(xì)些劝堪。由于 Lytro 記錄數(shù)據(jù)量有限，不能連續(xù)選擇聚焦距離揉稚，圖中一個顏色就是一個步長秒啦，如果微透鏡尺寸大，或者每個微透鏡后面的圖像傳感器包含的像素多搀玖，步長就小余境，照片的分辨率就會低，相當(dāng)于 Lytro 將更多地資源記錄光線的方向灌诅。
這張圖就是先拍照和對焦的效果芳来。用 Lytro 光場相機(jī)拍下一張照片，然后可以輸出左邊的效果猜拾，也可以輸出右邊的效果即舌。因?yàn)閳D像傳感器的分辨率是有限的，而 Lytro 記錄顏色方向都是在同一個傳感器上挎袜，資源平衡問題出現(xiàn)了顽聂，如果更多地像素分配給顏色肥惭，尺寸會大，那么方向分辨率就低紊搪，聚焦的步長會大蜜葱。
【注：關(guān)于步長，個人理解是兩次對焦成像距離的變動長度】
圖 8 微透鏡陣列（放大版）
這是一個微透鏡陣列耀石，其實(shí)這個透鏡很大牵囤，不算微透鏡了，示意一下吧娶牌。Lytro 實(shí)現(xiàn)了光場記錄奔浅，只用于后對焦并沒有將光場顯示出來，這屬于光場拍攝技術(shù)產(chǎn)品诗良。
如果能將光場顯示出來汹桦，就不需要佩戴眼鏡，裸眼就能觀察到立體感圖像鉴裹，也不用跟蹤眼球舞骆，實(shí)現(xiàn)多人裸眼立體顯示，如果實(shí)現(xiàn)4d光場顯示就能呈現(xiàn)雙目視差径荔，移動視差督禽。5D 光場顯示就能呈現(xiàn)聚焦模糊。使用 Lytro 逆過程总处，光路可逆狈惫，我們能用Lytro圖像傳感器變成發(fā)光屏幕，將尺寸放大到顯示器大小鹦马，微透鏡也放大胧谈，張貼在屏幕上，屏幕上光線必須經(jīng)過微透鏡折射才能進(jìn)入人的眼睛荸频。
微透鏡入射和出射的光線方向是一致的菱肖，還原了拍攝光線的方向，還原了光場旭从。實(shí)際有很多包括加工精度等問題稳强。這種技術(shù)立體感很強(qiáng)，左右晃動腦袋時還可以看到不同的側(cè)面和悦，北航xR實(shí)驗(yàn)室對于4d光場重現(xiàn)裝置已經(jīng)試驗(yàn)成功退疫。
Magic Leap原理分析
Magic leap也是光場顯示技術(shù)，宣傳視頻上是用戶不需要戴眼鏡鸽素，但是從技術(shù)分析上來看蹄咖，還是需要的。
圖 9 4D光場重現(xiàn)的裝置示意圖
Magic Leap 輕便付鹿，圖像在小盒子里產(chǎn)生澜汤，通過光纖傳輸?shù)窖坨R蚜迅。普通的是像素點(diǎn)發(fā)光來顯示圖像，Magic Leap 使用的是光纖投影儀來顯示圖像的俊抵。
光纖的頂端會發(fā)出光線谁不，光線并不是靜止的，是通過壓電裝置驅(qū)動發(fā)生有規(guī)律的抖動徽诲，實(shí)現(xiàn)掃描功能刹帕，就像原來的電視機(jī)圖像都是電子束掃描出來的，這里是通過光纖振動掃描出來谎替。
Magic Leap 使用的光纖掃描儀很小偷溺，一個只能掃描出直徑大概一毫米的圖像，一個眼鏡需要很多個掃描儀排成陣列钱贯，合成尺寸足夠大的圖像挫掏。
圖 13光纖投影儀陣列的示意圖
使用原因是：Magic leap 想給人們展示大幅面的水平視角120度，垂直視角80度秩命，沒有紗窗效應(yīng)的光場圖像尉共，這樣需要極高的圖像分辨率
【注：所謂的紗窗效應(yīng)，即在像素不足的情況下弃锐，實(shí)時渲染引發(fā)的細(xì)線條舞動袄友、高對比度邊緣出現(xiàn)分離式閃爍】
人眼的角分辨率為一分來計算,,如果沒有紗窗效應(yīng),水平視角120度，垂直視角80度的圖像霹菊， 需要?7200*4800?約等于4兆的像素剧蚣。
【注：角分辨率的1'在這里就是指1/360度，目前公認(rèn)的數(shù)據(jù)是人眼在中等亮度情況下可分辨的最小分辨角為1.5'旋廷。目前科學(xué)界公認(rèn)的數(shù)據(jù)表明鸠按，觀看物體時，人能清晰看清視場區(qū)域?qū)?yīng)的分辨率為2169 X 1213柳洋。 再算上上下左右比較模糊的區(qū)域待诅，人眼分辨率是6000 X 4000叹坦。 那么熊镣，2169 X 1213是怎么計算出來的呢？
人觀看物體時募书，能清晰看清視場區(qū)域?qū)?yīng)的雙眼大約是35°（橫向）X 20°（縱向）绪囱。 同時人眼在中等亮度，中等對比度的為0.2mm莹捡，對應(yīng)的為0.688m鬼吵。 其中d與L滿足tg(θ/2)=d/2L，θ一般取值為1.5'篮赢，是一個很小的角齿椅。 將視場近似地模擬為地面為長方形的正錐體琉挖，其中錐體的高為h = L = 0.688m，θ1=35°（水平視角）涣脚，?θ2=20°（垂直視角）示辈。以0.0002m為一個點(diǎn)，可以得知底面長方形為2169 X 1213的分辨率遣蚀。
兆像素：一個兆像素(megapixel)是一百萬個像素矾麻，通常用于表達(dá)數(shù)碼相機(jī)的解析度。例如芭梯，一個相機(jī)可以使用2048×1536像素的解析度险耀，通常被稱為有“3.1百萬像素” (2048 × 1536 = 3,145,728)。
而且這么高的分辨率在小面積屏幕實(shí)現(xiàn)玖喘，一般的屏幕是不可以的甩牺，Magic Leap 光纖投影儀，投影儀需要?7mm*5mm芒涡，就可以放在眼鏡的一側(cè)柴灯。但是光線在側(cè)面，我們需要將光線從側(cè)面引到前面费尽，才能將畫面呈現(xiàn)到前面赠群。他們用一種特殊的光學(xué)元件：光子光場芯片，能夠把特定波長的光線從側(cè)面變化到前面旱幼，并投到眼睛查描，在視網(wǎng)膜上成像，通過電控制實(shí)現(xiàn)不同的圖像焦平面柏卤，模擬光線是從不同的距離發(fā)射過來的冬三。
【注：焦平面：過第一焦點(diǎn)（前焦點(diǎn)或物方焦點(diǎn)）且垂直于系統(tǒng)主光軸的平面稱第一焦平面，又稱前焦面或物方焦面】
圖 15焦平面
這時Magic Leap就實(shí)現(xiàn)了在光場中顯示z參數(shù)勾笆，能模擬光源到眼睛的距離，如果Magicleap能重現(xiàn)光的方向桥滨，就能進(jìn)行5d光差顯示窝爪，如同看真實(shí)物體一樣。
【編者注：其實(shí)前文中已經(jīng)敘述了齐媒，忘了的可以看看介個~圖 1五維全光學(xué)理論示意圖光線是從三維空間中的任意一點(diǎn)發(fā)出的蒲每，三維空間任意點(diǎn)可以用（X，Y喻括，Z）三個參數(shù)表示邀杏，光線是從這個點(diǎn)上發(fā)出的一條射線，射線在空間中的方向可以用（θ唬血，φ）兩個參數(shù)表示望蜡，那么表示空間中的光線的公式是L=F（X唤崭，Y，Z脖律，θ浩姥，φ）成為5維全光函數(shù)】
Magic Leap 也是通過眼鏡將現(xiàn)實(shí)和虛擬混合，但他們認(rèn)為這不是普通的AR產(chǎn)品状您，他們認(rèn)為普通的AR產(chǎn)品是二維的沒有深度的圖像和現(xiàn)實(shí)場景混合勒叠，他們能將三維的與真實(shí)場景能夠互相遮擋的虛擬物體和現(xiàn)實(shí)場景混合即MR
VR是虛擬場景和虛擬物體眯分，AR是現(xiàn)實(shí)場景和虛擬物體，但是只是像貼在屏幕上一樣柒桑，沒有發(fā)生遮擋關(guān)系弊决，MR非常真實(shí)，現(xiàn)實(shí)場景和虛擬物體魁淳，與AR不同的是其有層次關(guān)系飘诗，現(xiàn)實(shí)場景可以擋住虛擬物體的一部分，就像真實(shí)場景一樣界逛。要實(shí)現(xiàn)MR中顯示物品和自然場景有遮擋關(guān)系昆稿，Magic Leap 必須能正確理解場景三維結(jié)構(gòu)，對運(yùn)算性要求高,目前對于slam算法實(shí)施性有待提高息拜，Magic Leap 是否采用slam算法理解自然場景還不能確定溉潭。
【注Slam:Simultaneous localization and mapping(即時定位與地圖構(gòu)建)一般應(yīng)用于機(jī)器人領(lǐng)域，指的是機(jī)器人在自身位置不確定的條件下少欺，在完全未知的環(huán)境中創(chuàng)建地圖喳瓣，同時利用地圖進(jìn)行自主定位和導(dǎo)航。淺析鏈接：就是ppt做的有點(diǎn)丑??http://wenku.baidu.com/link?url=kU-8NFFvqxVVLXpBSxspY-6eGByl6FoIN-54degx9M6dBAvdV-abE1l8miCvrSJe1BKFhU3fSzVBLvSP9e7gYxs8dads8gjkczbTLr3jfuW】
Magic Leap 是需要實(shí)時獲取用戶眼球信息的赞别，要記住用戶的注視方向和聚焦點(diǎn)畏陕，計算聚焦點(diǎn)和眼睛的距離，如果要將虛擬物體正確的投射到眼睛的聚焦點(diǎn)處仿滔，就要通過光子光場芯片正確的模擬光場的距離惠毁。為了理解三維空間的結(jié)構(gòu)和獲取人眼球的信息，需要很多攝像頭堤撵，對外需要拍攝外景仁讨，對內(nèi)需要拍攝眼球羽莺，因此至少需要5-6個攝像頭实昨。
往期熱文（點(diǎn)擊文章標(biāo)題即可直接閱讀）：
Hi,我是iot101君！
關(guān)于物聯(lián)網(wǎng)鱼蝉，
我的每一句話都不是扯的洒嗤；
如果遇到物聯(lián)網(wǎng)有關(guān)的問題，
別打110魁亦，
來iot101君這里看看就行渔隶！
閱讀原文：http://mp.weixin.qq.com/s?__biz=MjM5MTM5ODQyMA==&mid=2651192906&idx=2&sn=091a837546c7a5fc73deff434786bc94#rd
