上周玷室，華強智造在上海卓美亞喜瑪拉雅酒店舉辦了“IC China2016虛擬現(xiàn)實(AR/VR)應用與發(fā)展研討會”零蓉。會議現(xiàn)場，上海圖漾信息科技有限公司的CEO費浙平先生發(fā)表了《計算視覺連接虛擬和現(xiàn)實》的演講穷缤，贏得一片掌聲敌蜂。
在此，小編炮整理了費浙平先生演講的部分內(nèi)容津肛，帶你走近計算視覺和三維視覺章喉。
——————
今天我準備從視覺、軟件身坐、算法以及內(nèi)容的角度秸脱，講一些比較輕松的話題。
之前的嘉賓也提到部蛇，VR的精髓是從2D到3D的沉浸式用戶體驗摊唇，這跟我們目前在做的計算視覺是非常緊密相關的。事實上涯鲁，盡管業(yè)內(nèi)人士誰都知道計算視覺巷查、三維視覺非常重要，但全世界都還做得不好抹腿，目前整個行業(yè)最領先的水平也做得馬馬虎虎吮便，離普通消費者的預期差距仍然比較大。
過去兩年多時間里幢踏，我們一直在計算視覺（CV）上做了很多工作髓需，但現(xiàn)階段我們的產(chǎn)品和技術(shù)，其實和VR結(jié)合得并不緊密房蝉。所以今天我要講的東西可能會虛一點僚匆。即使我們很明確這個行業(yè)我們在做什么、現(xiàn)階段是什么樣子搭幻、我們想要解決什么問題咧擂、想要帶給AR/VR什么樣的用戶體驗，但很可惜目前還沒有做好檀蹋。
不過松申，我相信（計算視覺）這個點仍是非常值得關注的，因為如果未來這個問題沒有解決，那么AR/VR不過就是一種新型的顯示器而已贸桶。
數(shù)字化內(nèi)容的產(chǎn)生
從內(nèi)容上舅逸，所有內(nèi)容的產(chǎn)生或者獲取不外乎兩種渠道。
第一種是從物理世界里獲取皇筛，通過傳感器琉历、設備把物理世界數(shù)字化。現(xiàn)在的DV水醋、電視機旗笔、手機、PC的顯示器拄踪，內(nèi)容的數(shù)字化其實很簡單蝇恶，說穿了就是拍照和拍視頻。
第二種：在PC尤其是游戲里面惶桐，還有一種內(nèi)容產(chǎn)生方法：CG（computer cenerated）撮弧。比如大量的三維游戲，比如科幻電影里的人物耀盗、場景想虎，其實都是電腦+美工師+程序員產(chǎn)生的出來的卦尊。
通過這兩種方式產(chǎn)生的內(nèi)容叛拷，最終將通過某種設備呈現(xiàn)給人。我認為岂却，從物理世界拍攝而來的內(nèi)容忿薇，加上CG產(chǎn)生的內(nèi)容的結(jié)合，在將來的任何AR躏哩、VR署浩、MR等設備里都是非常重要的。
現(xiàn)在我們來關注一下扫尺，從物理世界怎么樣通過傳感器和設備來產(chǎn)生內(nèi)容筋栋。第一種是比較常見的：平面格式內(nèi)容，就比如用相機正驻、DV來拍照片弊攘、視頻等等。
但今天我想著重講另外一種：三維格式內(nèi)容姑曙。三維化的數(shù)字內(nèi)容是目前這個階段經(jīng)常被忽視襟交、用處也不太大的一種內(nèi)容表達形式。但是在AR/VR里伤靠，三維格式的內(nèi)容是很重要的一點捣域，這是將來AR/VR普及后一種關鍵的內(nèi)容方式。
目前，AR/VR行業(yè)里面比較重要和主流的有兩種平面格式內(nèi)容：全景視頻和立體視頻焕梅。但不管是照片迹鹅、視頻、全景視頻或者立體視頻丘侠，本質(zhì)上都是兩維的平面數(shù)據(jù)徒欣。因為所有的這些內(nèi)容，其數(shù)據(jù)本質(zhì)都是一個個像素蜗字，每個像素存著的數(shù)據(jù)都是RGB（red打肝、green、blue挪捕，紅綠藍三基色）粗梭，每個像素點都是RGB的分量,它的內(nèi)容本質(zhì)上不包含任何空間幾何信息。
三維信息數(shù)據(jù)是什么
什么樣的內(nèi)容才是三維數(shù)據(jù)级零？一定是在每個點上面断医，除了RGB數(shù)據(jù)，還要包含空間的位置信息奏纪，也就是還要有XYZ（三維坐標軸）信息鉴嗤。只有RGB和XYZ同時呈現(xiàn)，才是一種真正的序调、完整意義上的三維醉锅。
人的眼睛看外面的世界，通過視覺渠道发绢，是能夠同時獲得RGB和XYZ信息的硬耍。比如大家在看我時，能夠看到衣服边酒、頭發(fā)等顏色信息经柴，也有對我的身高、體型墩朦、我們之間的距離等空間幾何感坯认。當然人的視覺系統(tǒng)有個缺陷，對空間幾何信息的量化比較差氓涣，比如你可以看出我們之間的距離是三米左右牛哺，但沒辦法看出是3.1米還是3.45米這樣精確的信息。
現(xiàn)階段所有的照片春哨、視頻把RGB信息采集回來后荆隘，是既服務于人，也服務于機器赴背。比如機器里的人臉識別算法椰拒，處理的基礎都是RGB信息晶渠；而人眼對RGB信息比較敏感，直接看RGB信息的視覺效果也是可以的燃观。
至于XYZ信息褒脯，就有個特點：它主要是服務于機器的。因為每個點的XYZ數(shù)據(jù)是沒辦法直接給人眼識別的缆毁，視網(wǎng)膜還是只能感覺到量化的顏色信息番川。
舉個例子，這是拍攝電腦包在某個咖啡館里的一個場景脊框。我把每個點的RGB信息量化出來颁督，大家一看就知道這是個照片；但如果我把每個點的XYZ想辦法顯示出來浇雹，其實就很難沉御。這個圖我表達的意思是，XYZ信息怎樣讓人也有這種感覺昭灵？通常是XY先不管吠裆，把Z這個距離信息用著色方案先顯示出來，但這只是給人一種感覺烂完。
XYZ三維視覺信息的重要性
所以试疙，XYZ數(shù)據(jù)直接丟給人眼是沒有太大價值的，它主要是服務于機器抠蚣。機器如果要做三維視覺祝旷，一定要有顯性的RGB和XYZ數(shù)據(jù)。人的距離感可以自動腦補的柱徙，而機器拍攝只能拍攝到RGB信息缓屠，目前沒有什么單一傳感器可以把XYZ量化出來奇昙。機器如果有了RGB和XYZ信息护侮，就可以發(fā)揮很強的視覺處理能力，比如說做三維建模储耐，視覺效果增強處理等等羊初。
機器拿到XYZ數(shù)據(jù)之后，可以真正把三維視覺的能力發(fā)揮出來什湘，處理完了长赞，再以某種方式輸出到設備給人的眼睛和大腦。這時候闽撤，人就能夠被AR/VR設備帶到一個非常有沉浸感的虛擬或者混合世界里面去得哆。
舉例子說，這是一個視覺錯感照片哟旗。
如果我此時問大家一個問題：這張圖片里贩据，是人離我近還是圓形物體離我近栋操？如果是人來回答，那非常簡單饱亮，我們都知道這個圓形物體是非常遠的矾芙，而人不管是十公里還是二十公里，總是比月亮離我們近的近上。但是這樣回答有個重要的前提剔宪，就是人其實已經(jīng)把月亮的特征識別出來了，我們知道它是月亮壹无。
如果把這個問題丟給機器葱绒，就會變得困難，因為機器只能識別出這里面有一個圓形物體和一個人形斗锭。進一步說哈街，現(xiàn)在的人工智能或許能用最厲害的圖像識別能力去識別出月亮，然后判斷距離拒迅，回答我說人離我近骚秦。
但這已經(jīng)是目前最先進的算法了。假如我們把問題變難璧微，把月亮的特征抹去作箍，只剩一個圓形，這時候再問：是人離我近還是圓形物體離我近前硫？這下子人和計算機都沒法回答了胞得。所以如果要讓機器處理這個問題，就要把每個點詳細的XYZ數(shù)據(jù)顯性地報告給機器屹电。如果圓形物體的XYZ數(shù)據(jù)有了阶剑，人形的XYZ數(shù)據(jù)也有，這時候要判斷距離誰近誰遠危号，或者它們之間的距離牧愁，問題都變得極其簡單。
所以計算視覺里最關鍵的問題就是外莲，要做三維視覺猪半，一定要通過某種傳感器的方法，把顯性的XYZ數(shù)據(jù)拿回來偷线，否則三維視覺肯定是做不好的磨确。
怎么獲取三維視覺信息
這件事情目前在行業(yè)里怎么做？
我們現(xiàn)在的拍照手段還拿不到XYZ信息声邦，因為現(xiàn)在的圖像傳感器就是個平面的光電傳感器而已乏奥，每個點只能感應到RGB三個顏色的量化，拍照時是把物理世界的三維信息壓到一個平面上亥曹，這是整個照片成像的物理基礎原理邓了，導致距離信息被天然損失掉了盏檐。
現(xiàn)在并沒有一種魔術(shù)傳感器能把XYZ數(shù)據(jù)拍下來，我們能用的只有圖像傳感器驶悟。圖像傳感器是目前可用的胡野、唯一的能夠把物理世界通過視覺方法拍攝回來并進行量化的渠道。
XYZ數(shù)據(jù)怎么獲取痕鳍，目前主流的方法只能是通過視覺的手段硫豆，使用圖像傳感器，輔助以一定的光學手段進行視覺計算笼呆。這就是我們講的計算視覺里非承芟欤基礎的一個技術(shù)點。
從原理上講诗赌，只要兩個攝像頭汗茄，立體視覺就能夠進行測距。但在現(xiàn)實當中铭若，雙目攝像頭的測距方案存在非常大的使用局限洪碳，只有在非常良好的特定工作條件下才能勉強應用。所以從實際上講叼屠，要做好一個三維傳感器或者XYZ數(shù)據(jù)的量化測量瞳腌，一定是要應用至少兩個攝像頭，或者一個攝像頭镜雨、兩個攝像頭加一套復雜的光學系統(tǒng)嫂侍，再加上專門的視覺計算方法，才能計算和測量完成荚坞。
三維信息和AR/VR的聯(lián)系
有了這些三維信息挑宠，可以做什么事情，跟AR/VR又有什么聯(lián)系呢颓影？虛擬內(nèi)容必須要跟物理世界完美貼合才能給人帶來“真實感”各淀，需要3D傳感器對外部物理世界進行三維重建。
微軟可以說是在民用的三維視覺技術(shù)點上瞭空，全世界積累得最多的公司揪阿，它做三維相關的硬件軟件已經(jīng)超過十年了疗我。在這里舉例微軟的HoloPortation咆畏，一個很黑科技的東西。
當我和一個朋友一起帶上微軟的HoloPortation系統(tǒng)吴裤，在我的視野里面就會出現(xiàn)遠程那個人的畫面旧找，那個人真實站在我面前，我可以圍著他轉(zhuǎn)麦牺，做動作等等钮蛛。這其實就是把遠程那個人的實時三維模型建立出來了鞭缭，每一個時刻的三維模型，每一幀都是完整魏颓、準確的岭辣，然后通過AR/VR設備顯示出來。
盡管對于普通消費者來看甸饱，這樣建立出來的“人”視覺效果并不是很好沦童，不高清，顏色也太過鮮艷叹话，但微軟的建模能力確實很厲害偷遗，這其中的技術(shù)難度是很大的，在行業(yè)里都稱之為黑科技驼壶。這也是技術(shù)行業(yè)的邊界和消費者需求邊界的問題氏豌，需要有一個漸近的過程。
現(xiàn)階段面臨的問題
最后做個總結(jié)热凹，目前我們存在的問題有：
第一泵喘，3D傳感器，也就是XYZ的獲取較困難般妙，這個點是個薄弱環(huán)節(jié)涣旨。
第二，把RGB和XYZ數(shù)據(jù)采集回來后股冗，怎么去承載和實現(xiàn)三維視覺算法的處理器霹陡，對處理器的要求非常大，目前的都不夠用止状。
第三烹棉，視覺算法的軟件實現(xiàn)、以及算法本身也還有很多問題需要解決怯疤。比如說怎么把三維模型建得又快又好浆洗。
第四，如果要做更多的智能識別集峦，三維的物體樣本庫還沒有伏社，跟人工智能、深度學習還沒有結(jié)合起來塔淤。
——————
以上就是費總講的有RGB信息和XYZ信息的重要性摘昌、如何獲取三維視覺、三維視覺對AR/VR發(fā)展的重要性以及現(xiàn)階段面臨的問題高蜂。作為曾在世界頂尖處理器技術(shù)公司ARM聪黎、MIPS和Imagination工作超過10年的資深人士，費總的見解非常深刻备恤，也幫想要在這個領域發(fā)展的同行理清了方向稿饰，我們非常期待在這些問題解決后為AR/VR帶來的變革锦秒。
?
