作者：張晗虏等、蔡蘇
來源：教育新技術(shù)
物聯(lián)網(wǎng)智庫(kù) 整理發(fā)布
轉(zhuǎn)載請(qǐng)注明來源和出處
------ ? 【導(dǎo)讀】 ? ------
AR與VR如火如荼弄唧，但是其中值得稱道的黑科技呢适肠？
光場(chǎng)介紹
光場(chǎng)（Light Field）技術(shù)被業(yè)界認(rèn)為是未來的完美顯示技術(shù)。那么候引，什么是光場(chǎng)呢侯养？光場(chǎng)在哪里呢？
簡(jiǎn)單地說澄干，人們看自然界真實(shí)物體時(shí)看到的是光場(chǎng)（當(dāng)然是在有光情況下啦）逛揩，而從普通顯示屏幕上看到的，物體的像麸俘，不是光場(chǎng)息尺。人們會(huì)感覺到看真實(shí)物體時(shí)物體很“真實(shí)”，有立體感疾掰，有遠(yuǎn)近感搂誉，人們打量一個(gè)物體時(shí)，還會(huì)時(shí)不時(shí)地晃動(dòng)腦袋静檬，變換一下觀察方向炭懊，感受一下這個(gè)物體的立體結(jié)構(gòu)。但是當(dāng)人們從屏幕上看物體的像時(shí)拂檩，雖然也能感覺到一定的立體感（明暗關(guān)系侮腹，遮擋關(guān)系起作用），和真實(shí)物體沒法比稻励，人們也不會(huì)看屏幕時(shí)變換光強(qiáng)方向父阻，即使變化光強(qiáng)方向，看到的畫面也不會(huì)發(fā)生變化望抽。
那么從屏幕中發(fā)射的光線和真實(shí)物體發(fā)射或反射的光線相比缺少了哪些內(nèi)容呢加矛？從拍照說起，屏幕的像就是人們給物體拍的照片煤篙，缺少了光線的方向信息斟览，在拍攝照片時(shí)通過凸透鏡將物體發(fā)射的光線搜集，匯聚到底片上辑奈，底片是平面苛茂，會(huì)逐點(diǎn)記錄光線到達(dá)底片的顏色。
如果有兩條來自不同方向的光線鸠窗，它們通過凸透鏡后妓羊，打到底片上的同一位置，那么底片會(huì)把這兩條光線記錄在同一像素上稍计，記錄下這兩條光線混合后的顏色躁绸，但沒有記錄下這兩條光線的方向。既然拍照的時(shí)候沒有記錄下光線的方向，屏幕顯示的時(shí)候也不可能還原出光線的方向涨颜。（信息論费韭，信息不能憑空創(chuàng)造出）。
屏幕顯示圖像時(shí)庭瑰，所有的光線都從屏幕（一個(gè)平面）發(fā)出星持，通過直線傳播到達(dá)眼睛，人們要看清屏幕上的物體就要把眼睛聚焦到屏幕上弹灭。但真實(shí)的物體發(fā)出/發(fā)射的光線是從物體的各個(gè)位置發(fā)出的督暂，并非從一個(gè)平面上發(fā)出，光線攜帶了物體的立體信息穷吮，人們要看清真實(shí)物體時(shí)逻翁，眼睛需要聚焦到物體的真實(shí)表面上。即使屏幕做的再?gòu)?fù)雜捡鱼，也沒有真正的物體給人的感覺真實(shí)八回。
物體從各個(gè)位置發(fā)出的光線方向不同距離不同，人有兩只眼睛驾诈，位置不同缠诅，接受的光線方向也不同，位置不同乍迄，會(huì)產(chǎn)生雙目視察管引，移動(dòng)視察，聚焦模糊闯两，通過大腦的處理褥伴，人們能感受到物體的立體感。但從普通屏幕發(fā)出的光線是從一個(gè)平面發(fā)出的漾狼，到達(dá)眼睛的距離重慢，方向，基本相同邦投，人的兩只眼睛看到的圖像基本相同伤锚，即使移動(dòng)一下擅笔，改變觀察方法志衣，也不會(huì)有大的變化，也不用根據(jù)物體表面各點(diǎn)的距離調(diào)節(jié)聚焦（直接聚焦到屏幕上即可）猛们。所以大腦不能處理立體信息念脯，自然沒有了立體感。
光場(chǎng)不是一個(gè)平面發(fā)出的光弯淘，是從整個(gè)三維立體空間發(fā)出的光绿店，如果能記錄光線顏色，位置，方向假勿，并且能在顯示端還原出來借嗽，就是完整的光場(chǎng)技術(shù)，如果只能記錄出光場(chǎng)信息转培，則成為光場(chǎng)拍攝技術(shù)恶导；如果能顯示出光場(chǎng)，就是光場(chǎng)顯示技術(shù)浸须。
光場(chǎng)理論
以上是對(duì)光場(chǎng)的通俗的解釋惨寿，光場(chǎng)也有嚴(yán)格的理論，稱為5維全光學(xué)理論删窒，光線是從三維空間中的任意一點(diǎn)發(fā)出的裂垦，三維空間任意點(diǎn)可以用（X，Y肌索，Z）三個(gè)參數(shù)表示蕉拢，光線是從這個(gè)點(diǎn)上發(fā)出的一條射線，射線在空間中的方向可以用（θ诚亚，φ）兩個(gè)參數(shù)表示企量，那么表示空間中的光線的公式是L=F（X，Y亡电，Z届巩，θ，φ）成為5維全光函數(shù)份乒。
圖 1五維全光學(xué)理論示意圖
光線還有波長(zhǎng)（顏色）恕汇，強(qiáng)度（亮度），偏振等等或辖，有很多維度瘾英，我們說的5D是光源的位置和光線的方向。沒有記錄顏色和亮度等等颂暇。普通的照片就是只記錄顏色亮度缺谴，光源位置的x,y，不記錄z和光線方向θ耳鸯，φ湿蛔。如果記錄光線位置x,y和光線方向θ，φ县爬，顏色和亮度阳啥，但不記錄光源的距離，就是4D光場(chǎng)相機(jī)(比如 Lytro)财喳。
4D 光場(chǎng)也可以兩個(gè)平面坐標(biāo)來表示察迟，L=F（U斩狱，V，S扎瓶，T）其中所踊，U，V和S概荷，T分別是兩個(gè)互相平行的平面上的點(diǎn)污筷，這是4D光場(chǎng)比較常見的表示方法。
圖 2四維全光學(xué)理論示意圖
Lytro光場(chǎng)相機(jī)原理
Lytro 主要命令是在圖像傳感器上貼了一張微凸透鏡膜乍赫，里面是蜂窩狀微透鏡瓣蛀，數(shù)量大概十萬(wàn)，光線從不同方向進(jìn)入微透鏡時(shí)雷厂，經(jīng)過折射會(huì)映射到微透鏡后面不同的像素上惋增，就是說微透鏡完成了將光線方向轉(zhuǎn)換成屏幕位置的功能，然后用微透鏡后面圖像傳感器記錄下來
這樣 Lytro 就實(shí)現(xiàn)了用普通的圖像傳感器記錄光線方向的功能改鲫，成了光場(chǎng)相機(jī)诈皿。有很多精密算法，從平面上把光線的方向還原出來像棘，判斷景物距離稽亏，實(shí)現(xiàn)先拍照后對(duì)焦，還有精密的加工工藝缕题。
圖 5光場(chǎng)相機(jī)拍攝的光場(chǎng)圖
【注：通俗來講截歉，傳統(tǒng)的攝影器材通常只有一個(gè)景深范圍和焦點(diǎn)，一般來說在調(diào)整好主要目標(biāo)的焦距后烟零，背景會(huì)出現(xiàn)模糊的現(xiàn)象瘪松，而我們只能通過調(diào)整精神或縮小光圈的方式來拍攝。而Lytro采用的光場(chǎng)技術(shù)锨阿，可以將多個(gè)物體捕捉到整個(gè)的場(chǎng)景中宵睦，并且存在多個(gè)焦點(diǎn)，然后用戶可以在拍照完畢后期通過電腦進(jìn)行對(duì)焦處理墅诡，實(shí)現(xiàn)先拍攝后對(duì)焦壳嚎，獲得更到完美的拍攝效果。
如果還不明白末早，我們可以將其比喻成對(duì)樂器和弦的錄音烟馅。傳統(tǒng)相機(jī)就是每次只能錄下特定的旋律，而光場(chǎng)相機(jī)則是一次性將20個(gè)和弦都錄下荐吉，然后再通過軟件將不同的旋律根據(jù)需求提取出來】
理論上 Lytro 相機(jī)可以對(duì)焦到無窮遠(yuǎn)焙糟，鏡頭景深做得很大，讓拍攝到的每個(gè)像素基本都是清晰的样屠，然后通過解算每個(gè)像素到相機(jī)的距離將對(duì)焦距離外的像素人為模糊掉，實(shí)現(xiàn)全景深范圍內(nèi)的后對(duì)焦。并不是全部景深都可以先拍照后對(duì)焦的痪欲，有一個(gè)范圍悦穿。
這張圖上中間顏色的部分就是可以后對(duì)焦的部分。如果這個(gè)范圍大业踢，那么對(duì)焦的步長(zhǎng)就大栗柒，不精細(xì)。否則就精細(xì)些知举。由于 Lytro 記錄數(shù)據(jù)量有限瞬沦，不能連續(xù)選擇聚焦距離，圖中一個(gè)顏色就是一個(gè)步長(zhǎng)雇锡，如果微透鏡尺寸大逛钻，或者每個(gè)微透鏡后面的圖像傳感器包含的像素多，步長(zhǎng)就小锰提，照片的分辨率就會(huì)低曙痘，相當(dāng)于 Lytro 將更多地資源記錄光線的方向。
這張圖就是先拍照和對(duì)焦的效果立肘。用 Lytro 光場(chǎng)相機(jī)拍下一張照片边坤，然后可以輸出左邊的效果，也可以輸出右邊的效果谅年。因?yàn)閳D像傳感器的分辨率是有限的茧痒，而 Lytro 記錄顏色方向都是在同一個(gè)傳感器上，資源平衡問題出現(xiàn)了融蹂，如果更多地像素分配給顏色文黎，尺寸會(huì)大，那么方向分辨率就低殿较，聚焦的步長(zhǎng)會(huì)大耸峭。
【注：關(guān)于步長(zhǎng)，個(gè)人理解是兩次對(duì)焦成像距離的變動(dòng)長(zhǎng)度】
圖 8 微透鏡陣列（放大版）
這是一個(gè)微透鏡陣列淋纲，其實(shí)這個(gè)透鏡很大劳闹，不算微透鏡了，示意一下吧洽瞬。Lytro 實(shí)現(xiàn)了光場(chǎng)記錄本涕，只用于后對(duì)焦并沒有將光場(chǎng)顯示出來，這屬于光場(chǎng)拍攝技術(shù)產(chǎn)品伙窃。
如果能將光場(chǎng)顯示出來菩颖，就不需要佩戴眼鏡，裸眼就能觀察到立體感圖像为障，也不用跟蹤眼球晦闰，實(shí)現(xiàn)多人裸眼立體顯示放祟，如果實(shí)現(xiàn)4d光場(chǎng)顯示就能呈現(xiàn)雙目視差，移動(dòng)視差呻右。5D 光場(chǎng)顯示就能呈現(xiàn)聚焦模糊跪妥。使用 Lytro 逆過程，光路可逆声滥，我們能用Lytro圖像傳感器變成發(fā)光屏幕眉撵，將尺寸放大到顯示器大小，微透鏡也放大落塑，張貼在屏幕上纽疟，屏幕上光線必須經(jīng)過微透鏡折射才能進(jìn)入人的眼睛。
微透鏡入射和出射的光線方向是一致的憾赁，還原了拍攝光線的方向污朽，還原了光場(chǎng)。實(shí)際有很多包括加工精度等問題缠沈。這種技術(shù)立體感很強(qiáng)膘壶，左右晃動(dòng)腦袋時(shí)還可以看到不同的側(cè)面，北航xR實(shí)驗(yàn)室對(duì)于4d光場(chǎng)重現(xiàn)裝置已經(jīng)試驗(yàn)成功洲愤。
Magic Leap原理分析
Magic leap也是光場(chǎng)顯示技術(shù)颓芭，宣傳視頻上是用戶不需要戴眼鏡，但是從技術(shù)分析上來看柬赐，還是需要的亡问。
圖 9 4D光場(chǎng)重現(xiàn)的裝置示意圖
Magic Leap 輕便，圖像在小盒子里產(chǎn)生肛宋，通過光纖傳輸?shù)窖坨R州藕。普通的是像素點(diǎn)發(fā)光來顯示圖像，Magic Leap 使用的是光纖投影儀來顯示圖像的酝陈。
光纖的頂端會(huì)發(fā)出光線床玻，光線并不是靜止的，是通過壓電裝置驅(qū)動(dòng)發(fā)生有規(guī)律的抖動(dòng)沉帮，實(shí)現(xiàn)掃描功能锈死，就像原來的電視機(jī)圖像都是電子束掃描出來的，這里是通過光纖振動(dòng)掃描出來穆壕。
Magic Leap 使用的光纖掃描儀很小待牵，一個(gè)只能掃描出直徑大概一毫米的圖像，一個(gè)眼鏡需要很多個(gè)掃描儀排成陣列，合成尺寸足夠大的圖像。
圖 13光纖投影儀陣列的示意圖
使用原因是：Magic leap 想給人們展示大幅面的水平視角120度郭毕，垂直視角80度，沒有紗窗效應(yīng)的光場(chǎng)圖像，這樣需要極高的圖像分辨率
【注：所謂的紗窗效應(yīng)窘奏，即在像素不足的情況下返干，實(shí)時(shí)渲染引發(fā)的細(xì)線條舞動(dòng)掠械、高對(duì)比度邊緣出現(xiàn)分離式閃爍】
人眼的角分辨率為一分來計(jì)算,,如果沒有紗窗效應(yīng),水平視角120度壮不，垂直視角80度的圖像汗盘， 需要?7200*4800?約等于4兆的像素皱碘。
【注：角分辨率的1'在這里就是指1/360度询一，目前公認(rèn)的數(shù)據(jù)是人眼在中等亮度情況下可分辨的最小分辨角為1.5'。目前科學(xué)界公認(rèn)的數(shù)據(jù)表明癌椿，觀看物體時(shí)健蕊，人能清晰看清視場(chǎng)區(qū)域?qū)?yīng)的分辨率為2169 X 1213。 再算上上下左右比較模糊的區(qū)域踢俄，人眼分辨率是6000 X 4000缩功。 那么，2169 X 1213是怎么計(jì)算出來的呢都办？
人觀看物體時(shí)嫡锌，能清晰看清視場(chǎng)區(qū)域?qū)?yīng)的雙眼大約是35°（橫向）X 20°（縱向）。 同時(shí)人眼在中等亮度琳钉，中等對(duì)比度的為0.2mm势木，對(duì)應(yīng)的為0.688m。 其中d與L滿足tg(θ/2)=d/2L歌懒，θ一般取值為1.5'啦桌，是一個(gè)很小的角。 將視場(chǎng)近似地模擬為地面為長(zhǎng)方形的正錐體及皂，其中錐體的高為h = L = 0.688m甫男，θ1=35°（水平視角），?θ2=20°（垂直視角）验烧。以0.0002m為一個(gè)點(diǎn)板驳，可以得知底面長(zhǎng)方形為2169 X 1213的分辨率。
兆像素：一個(gè)兆像素(megapixel)是一百萬(wàn)個(gè)像素碍拆，通常用于表達(dá)數(shù)碼相機(jī)的解析度若治。例如，一個(gè)相機(jī)可以使用2048×1536像素的解析度倔监，通常被稱為有“3.1百萬(wàn)像素” (2048 × 1536 = 3,145,728)直砂。
而且這么高的分辨率在小面積屏幕實(shí)現(xiàn)，一般的屏幕是不可以的浩习，Magic Leap 光纖投影儀静暂，投影儀需要?7mm*5mm，就可以放在眼鏡的一側(cè)谱秽。但是光線在側(cè)面洽蛀，我們需要將光線從側(cè)面引到前面摹迷，才能將畫面呈現(xiàn)到前面。他們用一種特殊的光學(xué)元件：光子光場(chǎng)芯片郊供，能夠把特定波長(zhǎng)的光線從側(cè)面變化到前面峡碉，并投到眼睛，在視網(wǎng)膜上成像驮审，通過電控制實(shí)現(xiàn)不同的圖像焦平面鲫寄，模擬光線是從不同的距離發(fā)射過來的。
【注：焦平面：過第一焦點(diǎn)（前焦點(diǎn)或物方焦點(diǎn)）且垂直于系統(tǒng)主光軸的平面稱第一焦平面疯淫，又稱前焦面或物方焦面】
圖 15焦平面
這時(shí)Magic Leap就實(shí)現(xiàn)了在光場(chǎng)中顯示z參數(shù)，能模擬光源到眼睛的距離熙掺，如果Magicleap能重現(xiàn)光的方向未斑，就能進(jìn)行5d光差顯示，如同看真實(shí)物體一樣币绩。
【編者注：其實(shí)前文中已經(jīng)敘述了蜡秽，忘了的可以看看介個(gè)~圖 1五維全光學(xué)理論示意圖光線是從三維空間中的任意一點(diǎn)發(fā)出的，三維空間任意點(diǎn)可以用（X缆镣，Y芽突，Z）三個(gè)參數(shù)表示，光線是從這個(gè)點(diǎn)上發(fā)出的一條射線费就，射線在空間中的方向可以用（θ诉瓦，φ）兩個(gè)參數(shù)表示，那么表示空間中的光線的公式是L=F（X力细，Y睬澡，Z，θ眠蚂，φ）成為5維全光函數(shù)】
Magic Leap 也是通過眼鏡將現(xiàn)實(shí)和虛擬混合煞聪，但他們認(rèn)為這不是普通的AR產(chǎn)品，他們認(rèn)為普通的AR產(chǎn)品是二維的沒有深度的圖像和現(xiàn)實(shí)場(chǎng)景混合逝慧，他們能將三維的與真實(shí)場(chǎng)景能夠互相遮擋的虛擬物體和現(xiàn)實(shí)場(chǎng)景混合即MR
VR是虛擬場(chǎng)景和虛擬物體笛臣，AR是現(xiàn)實(shí)場(chǎng)景和虛擬物體云稚，但是只是像貼在屏幕上一樣，沒有發(fā)生遮擋關(guān)系沈堡，MR非常真實(shí)静陈，現(xiàn)實(shí)場(chǎng)景和虛擬物體，與AR不同的是其有層次關(guān)系，現(xiàn)實(shí)場(chǎng)景可以擋住虛擬物體的一部分鲸拥，就像真實(shí)場(chǎng)景一樣拐格。要實(shí)現(xiàn)MR中顯示物品和自然場(chǎng)景有遮擋關(guān)系，Magic Leap 必須能正確理解場(chǎng)景三維結(jié)構(gòu)刑赶，對(duì)運(yùn)算性要求高,目前對(duì)于slam算法實(shí)施性有待提高捏浊，Magic Leap 是否采用slam算法理解自然場(chǎng)景還不能確定。
【注Slam:Simultaneous localization and mapping(即時(shí)定位與地圖構(gòu)建)一般應(yīng)用于機(jī)器人領(lǐng)域撞叨，指的是機(jī)器人在自身位置不確定的條件下金踪，在完全未知的環(huán)境中創(chuàng)建地圖，同時(shí)利用地圖進(jìn)行自主定位和導(dǎo)航谒所。淺析鏈接：就是ppt做的有點(diǎn)丑??http://wenku.baidu.com/link?url=kU-8NFFvqxVVLXpBSxspY-6eGByl6FoIN-54degx9M6dBAvdV-abE1l8miCvrSJe1BKFhU3fSzVBLvSP9e7gYxs8dads8gjkczbTLr3jfuW】
Magic Leap 是需要實(shí)時(shí)獲取用戶眼球信息的热康，要記住用戶的注視方向和聚焦點(diǎn)沛申，計(jì)算聚焦點(diǎn)和眼睛的距離劣领，如果要將虛擬物體正確的投射到眼睛的聚焦點(diǎn)處，就要通過光子光場(chǎng)芯片正確的模擬光場(chǎng)的距離铁材。為了理解三維空間的結(jié)構(gòu)和獲取人眼球的信息尖淘，需要很多攝像頭，對(duì)外需要拍攝外景著觉，對(duì)內(nèi)需要拍攝眼球村生，因此至少需要5-6個(gè)攝像頭。
往期熱文（點(diǎn)擊文章標(biāo)題即可直接閱讀）：
Hi,我是iot101君帜平！
關(guān)于物聯(lián)網(wǎng)，
我的每一句話都不是扯的梅鹦；
如果遇到物聯(lián)網(wǎng)有關(guān)的問題裆甩，
別打110，
來iot101君這里看看就行齐唆！
閱讀原文：http://mp.weixin.qq.com/s?__biz=MjM5MTM5ODQyMA==&mid=2651192906&idx=2&sn=091a837546c7a5fc73deff434786bc94#rd
