多段定焦 和 算法平滑變焦
??現(xiàn)在市面上大多數(shù)的手機(jī)攝像頭都是定焦鏡頭犹芹。一般的做法是長焦鏡頭+廣角鏡頭(24mm-28mm)高诺。這其實(shí)算不得真正的變焦馋嗜,只能說基于多個定焦
鏡頭满力,使用軟件實(shí)現(xiàn)平滑變焦
作喘。而平滑那部分厢蒜,一般表現(xiàn)不如真實(shí)光學(xué)變焦好霞势,原因下文詳述烹植。
以華為p30 pro 為例,HUAWEI P30 Pro 的配置:
后置徠卡[1] 三攝像頭:
- 主攝像頭:
4000
萬像素1/1.7
英寸Quad RYYB圖像傳感器愕贡;f/1.6
鏡頭草雕,光學(xué)影像防抖(OIS),27mm
等效焦距 - 遠(yuǎn)攝鏡頭:
800
萬像素傳感器固以,f/3.4
折疊式鏡頭墩虹,光學(xué)影像防抖(OIS),125mm
等效焦距 - 超廣角鏡頭:2000萬像素憨琳,
f/2.2
光圈诫钓,16mm
等效焦距 - 相位檢測(PDAF)/飛行時間(ToF)自動對焦
華為p30 在不同的倍數(shù)下,使用不同的相機(jī)
- 1X篙螟,單獨(dú)使用主攝像頭
- 2X菌湃,單獨(dú)主攝
- 3X,主攝+遠(yuǎn)攝
- 5X遍略,單獨(dú)遠(yuǎn)攝
??華為p30 pro在3X 模式下惧所,采用 1X 鏡頭和5X鏡頭。1X鏡頭的照片放大為3X绪杏,很模糊纯路;5X鏡頭的相片拍攝的內(nèi)容縮小為3X,非常清晰寞忿,但是不夠大驰唬。這時候軟件算法
會合并
這兩張圖片,中間部分屬于畫面主體
腔彰,是由5X拍攝的叫编,保證了主體的清晰。邊緣部分很模糊
但不至于沒有圖像霹抛,細(xì)節(jié)由算法補(bǔ)齊
搓逾。
??對于10X,50X,單獨(dú)5X拍攝杯拐,直接放大(和我們拉圖放大一樣)霞篡,細(xì)節(jié)由算法插值,最終生成結(jié)果圖端逼。這里的問題是朗兵,算法其實(shí)也是不知道真正的細(xì)節(jié)是什么的,靠的是推導(dǎo)顶滩,平滑余掖。沒有足夠的數(shù)據(jù),再強(qiáng)的算法也無法以假亂真礁鲁,所以這種圖片邊緣只是看起來高清盐欺,實(shí)際上 細(xì)節(jié)表現(xiàn)非常差赁豆。
??綜上,如果手頭的手機(jī)是這種變焦手機(jī)冗美,為了拍出優(yōu)質(zhì)的照片魔种,必須先了解每個鏡頭的參數(shù)。盡量不要被混合變焦粉洼。比如p30 pro, 盡量1X务嫡,2X,5X漆改,不要3X心铃。
變焦范圍和變焦倍數(shù)
??首先,要明確變焦的對比方法是等效焦距
挫剑。因?yàn)?code>感光元件的大小不一樣去扣,實(shí)際上得到的圖片大小是不一樣的。等效焦距就是轉(zhuǎn)化為135相機(jī)上
的24X36mm
同樣成像視角所對應(yīng)的鏡頭焦距樊破。
等效焦距=等效系數(shù)*鏡頭焦距
??華為官網(wǎng)給出的數(shù)據(jù)就是等效焦距愉棱,和提測數(shù)據(jù)也一致。再以O(shè)ppo Reno 為例哲戚,官網(wǎng)bolg給出的鏡頭信息:
- 超廣角攝像頭:15.9mm等效焦距奔滑,f/2.2 光圈,索尼IMX319
- 超清主攝: 28 mm 等效焦距, f/1.7 光圈,1/2.0尺寸的索尼 IMX586
- 長焦攝像頭:159mm等效焦距顺少,f/3.0 光圈朋其,1/3.44 尺寸傳感器
??我們說的變焦范圍,華為p30 pro 是16mm-127mm, oppo reno 是 15.9-159mm
??變焦多少倍脆炎,應(yīng)該是長焦焦距/主攝焦距梅猿,華為是 4.63倍變焦。oppo是5.68倍變焦秒裕。哪有按照微距焦距來算的袱蚓,都是商業(yè)噱頭。
防抖
EIS (Electronic anti shake)几蜻。電子防抖主要指在數(shù)碼照相機(jī)
上采用強(qiáng)制提高CCD
感光參數(shù)同時加快快門并針對CCD上取得的圖像進(jìn)行分析喇潘,然后利用邊緣圖像進(jìn)行補(bǔ)償?shù)姆蓝叮娮臃蓝秾?shí)際上是一種通過降低畫質(zhì)
來補(bǔ)償抖動
的技術(shù)梭稚,此技術(shù)試圖在畫質(zhì)和畫面抖動之間取得一個平衡點(diǎn)颖低。與光學(xué)防抖比較,此技術(shù)成本要低
很多(實(shí)際上只需要對普通數(shù)碼相機(jī)的內(nèi)部軟體作些調(diào)整就可做到)哨毁,效果也要差
OIS(Optical Image Stabilization 光學(xué)防抖)是利用內(nèi)置的鏡片(Lens-Shift Optical Image Stabilization)或感光元件(Senor-Shift Optical Image Stabilization)來對相機(jī)水平或上下的動作來逆向修正枫甲,可以用于照相及攝影的防手震上。OIS 優(yōu)點(diǎn)是可靠性較高且不會犧牲影像的解析度扼褪,效果比EIS
好想幻,但缺點(diǎn)成本較貴
、鏡頭機(jī)身沒辦法做很薄且有邊緣解析力下降的問題话浇。
AIS:算法防抖脏毯,就是算法自動補(bǔ)齊模糊區(qū)域。
測距成像
3D成像三大主流技術(shù)
雙目(StereoSystem):
??雙目成像的基礎(chǔ)原理是三角測距算法幔崖,類似模擬人眼觀看3D電影(左右眼看到的場景略有差異)食店,從而帶來具有空間感的立體深度信息。
結(jié)構(gòu)光(StructureLight)
??結(jié)構(gòu)光是通過紅外激光器赏寇,將具有一定結(jié)構(gòu)特征的光線投射到被拍攝物體上吉嫩,再由專門的紅外攝像頭進(jìn)行采集反射的結(jié)構(gòu)光圖案,根據(jù)三角測量原理進(jìn)行深度信息的計算
- 圖像深度準(zhǔn)確率 較TOF高
- 低光環(huán)境表現(xiàn)良好嗅定,取決于光源自娩,強(qiáng)光表現(xiàn)差
- 識別距離短,受光斑圖案影響
- 容易受光照影響
- 響應(yīng)時間慢渠退,處理復(fù)雜忙迁,耗費(fèi)算力,對處理器要求高
TOF(Time Of Flight 飛行時間)
??飛行時間測距法(Time Of Flight)碎乃。通過紅外發(fā)射器發(fā)射調(diào)制過的光脈沖
姊扔,遇到物體反射后,用接收器接收反射回來的光脈沖梅誓,并根據(jù)光脈沖的往返時間計算與物體之間的距離恰梢。這種調(diào)制方式對發(fā)射器和接收器的要求較高,光速那么快梗掰,對于時間的測量有極高的精度要求删豺。
- 基于紅外線激光,低光表現(xiàn)良好愧怜,高光表現(xiàn)較結(jié)構(gòu)光好
- 范圍最大可以達(dá)到5米呀页,遠(yuǎn)超結(jié)構(gòu)光
- 平面分辨率低
- 圖像深度準(zhǔn)確率低
- 分辨率低
應(yīng)用:
- 體感游戲
- 拍照3d建模
算法優(yōu)化等于作弊嗎
??明確一點(diǎn),人眼其實(shí)也是基于算法優(yōu)化
的拥坛。來看一下人眼的結(jié)構(gòu)和一些值得吐槽的設(shè)計蓬蝶。
人的視網(wǎng)膜貼反了
我們的視網(wǎng)膜大致由3層細(xì)胞組成,分別為感光細(xì)胞猜惋、雙極細(xì)胞和節(jié)細(xì)胞丸氛。
感光細(xì)胞可將光信號轉(zhuǎn)化為電信號,雙極細(xì)胞則負(fù)責(zé)分類處理這些電信號著摔。最后節(jié)細(xì)胞會把這些分類好的電信號傳輸至大腦缓窜,形成最終影像。
這里感光細(xì)胞就相當(dāng)于 感官原件的受光面,節(jié)細(xì)胞就相當(dāng)于數(shù)據(jù)線禾锤,那么問題來了私股,電線在受光面之上,擋住了光恩掷。
為了給節(jié)細(xì)胞和雙極細(xì)胞供氧倡鲸,視網(wǎng)膜表面還布有一層血管網(wǎng)。這些血管除了擾亂入射光線外黄娘,任何出血或淤血都會擋住光路峭状,極其影響視力。這便是我們常說的眼底出血逼争。
圖:1為感光細(xì)胞誓焦,2為雙極細(xì)胞胆敞,3為節(jié)細(xì)胞
當(dāng)光線射入瞳孔時,要先經(jīng)過
節(jié)細(xì)胞和雙核細(xì)胞罩阵,最后才能到達(dá)感光細(xì)胞竿秆。那么這些“擋
”在感光結(jié)構(gòu)前的細(xì)胞,就會反射或折射光線稿壁,使感光細(xì)胞成像的質(zhì)量下降幽钢。這就如同在照相機(jī)的膠片前面,外貼了一張半透明薄膜傅是。
模糊是應(yīng)該的匪燕,可我們看到的畫面并不模糊,這是基于大腦的最強(qiáng)圖片優(yōu)化算法自動腦補(bǔ)
的喧笔。
盲點(diǎn)
由于節(jié)細(xì)胞位于光線進(jìn)入的方向帽驯。所以它發(fā)出的神經(jīng)纖維必然會匯聚成一束,反穿眼球再繞回大腦书闸。而在此處尼变,感光細(xì)胞是沒有落腳之地的,被稱為視神經(jīng)乳頭浆劲。
所以這才導(dǎo)致了我們視網(wǎng)膜中有一塊區(qū)域無法感光嫌术,從而形成盲點(diǎn)
。
所幸我們由一雙眼睛而不是一只牌借,兩個眼球看到的畫面會在大腦中互補(bǔ)度气。大腦本身就有一套經(jīng)過千萬年進(jìn)化而來的圖像重疊算法,這就是算法優(yōu)化嘛膨报。
tips:人眼存在盲點(diǎn)磷籍。怎么測試适荣?把下面的圖往左橫過來看,用手遮住自己的左眼院领,視線集中看圓圈弛矛,你會發(fā)現(xiàn) 加號 在某個位置走著走著就消失了。
盲點(diǎn)優(yōu)化
我們在嵌滿的盲點(diǎn)測試中栅盲,如果閉上左眼后直接盯著+號离唐,是不會看到消失的晰赞。
主要是因?yàn)椋瑢τ诿c(diǎn)或杠,人類還進(jìn)化出了相應(yīng)的優(yōu)化措施——黃斑鱼鼓。
黃斑
是視網(wǎng)膜上的特殊區(qū)域拟烫,當(dāng)我們凝視
某一點(diǎn)時,它的圖像就正好聚焦在黃斑上迄本。
而在黃斑處硕淑,雙極細(xì)胞、節(jié)細(xì)胞連同它們發(fā)出的神經(jīng)纖維嘉赎,以及 視網(wǎng)膜表面的血管網(wǎng)和神經(jīng)纖維等置媳,都會向四周避開。
所以當(dāng)我們瞄準(zhǔn)某一區(qū)域時公条,其分辨率和成像能力能達(dá)到“高清”級別拇囊。而我們平時檢查視力,查的便是黃斑區(qū)的中心視力
靶橱。
鷹和人一樣都“貼反”了視網(wǎng)膜寥袭,但通過黃斑和晶狀體,它們看在幾百米甚至上千米處的獵物都毫無壓力关霸。這說明了“反貼”視網(wǎng)膜传黄,通過“優(yōu)化”后并不妨礙高度清晰的圖片形成。
這個屬于不改變硬件架構(gòu)的情況下队寇,做硬件優(yōu)化
綜上所述膘掰,我們的大腦本身自帶了最強(qiáng)的算法優(yōu)化,我們之所見佳遣,經(jīng)過腦補(bǔ)
才得到所感知的畫面识埋。所以,算法并非不好苍日,只是說算法不夠好惭聂,結(jié)果不夠接近大腦算法的執(zhí)行結(jié)果。比如拍個月亮變成PS相恃,那就過分了辜纲。
參考:
華為PM 熊軍民·科普:3D TOF是手機(jī)未來發(fā)展方向之一
-
徠卡:德國公司耕腾,誕生于1913年见剩,
昂貴
的價格是徠卡的品牌標(biāo)志,同時伴隨著的更是一種精湛
的制作扫俺,一種深厚底蘊(yùn)
的文化 ?