聊聊手機(jī)的攝像頭和算法優(yōu)化

多段定焦 和 算法平滑變焦

??現(xiàn)在市面上大多數(shù)的手機(jī)攝像頭都是定焦鏡頭犹芹。一般的做法是長焦鏡頭+廣角鏡頭(24mm-28mm)高诺。這其實(shí)算不得真正的變焦馋嗜,只能說基于多個定焦鏡頭满力,使用軟件實(shí)現(xiàn)平滑變焦作喘。而平滑那部分厢蒜,一般表現(xiàn)不如真實(shí)光學(xué)變焦好霞势,原因下文詳述烹植。

以華為p30 pro 為例,HUAWEI P30 Pro 的配置

image.png

后置徠卡[1] 三攝像頭:

  • 主攝像頭:4000萬像素1/1.7英寸Quad RYYB圖像傳感器愕贡;f/1.6鏡頭草雕,光學(xué)影像防抖(OIS),27mm等效焦距
  • 遠(yuǎn)攝鏡頭:800萬像素傳感器固以,f/3.4折疊式鏡頭墩虹,光學(xué)影像防抖(OIS),125mm等效焦距
  • 超廣角鏡頭:2000萬像素憨琳,f/2.2光圈诫钓,16mm等效焦距
  • 相位檢測(PDAF)/飛行時間(ToF)自動對焦

華為p30 在不同的倍數(shù)下,使用不同的相機(jī)


image.png
image.png
  • 1X篙螟,單獨(dú)使用主攝像頭
  • 2X菌湃,單獨(dú)主攝
  • 3X,主攝+遠(yuǎn)攝
  • 5X遍略,單獨(dú)遠(yuǎn)攝

??華為p30 pro在3X 模式下惧所,采用 1X 鏡頭和5X鏡頭。1X鏡頭的照片放大為3X绪杏,很模糊纯路;5X鏡頭的相片拍攝的內(nèi)容縮小為3X,非常清晰寞忿,但是不夠大驰唬。這時候軟件算法合并這兩張圖片,中間部分屬于畫面主體腔彰,是由5X拍攝的叫编,保證了主體的清晰。邊緣部分很模糊但不至于沒有圖像霹抛,細(xì)節(jié)由算法補(bǔ)齊搓逾。

image.png

??對于10X,50X,單獨(dú)5X拍攝杯拐,直接放大(和我們拉圖放大一樣)霞篡,細(xì)節(jié)由算法插值,最終生成結(jié)果圖端逼。這里的問題是朗兵,算法其實(shí)也是不知道真正的細(xì)節(jié)是什么的,靠的是推導(dǎo)顶滩,平滑余掖。沒有足夠的數(shù)據(jù),再強(qiáng)的算法也無法以假亂真礁鲁,所以這種圖片邊緣只是看起來高清盐欺,實(shí)際上 細(xì)節(jié)表現(xiàn)非常差赁豆。

??綜上,如果手頭的手機(jī)是這種變焦手機(jī)冗美,為了拍出優(yōu)質(zhì)的照片魔种,必須先了解每個鏡頭的參數(shù)。盡量不要被混合變焦粉洼。比如p30 pro, 盡量1X务嫡,2X,5X漆改,不要3X心铃。

變焦范圍和變焦倍數(shù)

??首先,要明確變焦的對比方法是等效焦距挫剑。因?yàn)?code>感光元件的大小不一樣去扣,實(shí)際上得到的圖片大小是不一樣的。等效焦距就是轉(zhuǎn)化為135相機(jī)上24X36mm同樣成像視角所對應(yīng)的鏡頭焦距樊破。

等效焦距=等效系數(shù)*鏡頭焦距

??華為官網(wǎng)給出的數(shù)據(jù)就是等效焦距愉棱,和提測數(shù)據(jù)也一致。再以O(shè)ppo Reno 為例哲戚,官網(wǎng)bolg給出的鏡頭信息:

  • 超廣角攝像頭:15.9mm等效焦距奔滑,f/2.2 光圈,索尼IMX319
  • 超清主攝: 28 mm 等效焦距, f/1.7 光圈,1/2.0尺寸的索尼 IMX586
  • 長焦攝像頭:159mm等效焦距顺少,f/3.0 光圈朋其,1/3.44 尺寸傳感器
image.png

??我們說的變焦范圍,華為p30 pro 是16mm-127mm, oppo reno 是 15.9-159mm

??變焦多少倍脆炎,應(yīng)該是長焦焦距/主攝焦距梅猿,華為是 4.63倍變焦。oppo是5.68倍變焦秒裕。哪有按照微距焦距來算的袱蚓,都是商業(yè)噱頭。

防抖

EIS (Electronic anti shake)几蜻。電子防抖主要指在數(shù)碼照相機(jī)上采用強(qiáng)制提高CCD感光參數(shù)同時加快快門并針對CCD上取得的圖像進(jìn)行分析喇潘,然后利用邊緣圖像進(jìn)行補(bǔ)償?shù)姆蓝叮娮臃蓝秾?shí)際上是一種通過降低畫質(zhì)補(bǔ)償抖動的技術(shù)梭稚,此技術(shù)試圖在畫質(zhì)和畫面抖動之間取得一個平衡點(diǎn)颖低。與光學(xué)防抖比較,此技術(shù)成本要低很多(實(shí)際上只需要對普通數(shù)碼相機(jī)的內(nèi)部軟體作些調(diào)整就可做到)哨毁,效果也要差

image.png

OIS(Optical Image Stabilization 光學(xué)防抖)是利用內(nèi)置的鏡片(Lens-Shift Optical Image Stabilization)或感光元件(Senor-Shift Optical Image Stabilization)來對相機(jī)水平或上下的動作來逆向修正枫甲,可以用于照相及攝影的防手震上。OIS 優(yōu)點(diǎn)是可靠性較高且不會犧牲影像的解析度扼褪,效果比EIS好想幻,但缺點(diǎn)成本較貴、鏡頭機(jī)身沒辦法做很薄且有邊緣解析力下降的問題话浇。

image.png

AIS:算法防抖脏毯,就是算法自動補(bǔ)齊模糊區(qū)域。

測距成像

3D成像三大主流技術(shù)

雙目(StereoSystem):

??雙目成像的基礎(chǔ)原理是三角測距算法幔崖,類似模擬人眼觀看3D電影(左右眼看到的場景略有差異)食店,從而帶來具有空間感的立體深度信息。

結(jié)構(gòu)光(StructureLight)

??結(jié)構(gòu)光是通過紅外激光器赏寇,將具有一定結(jié)構(gòu)特征的光線投射到被拍攝物體上吉嫩,再由專門的紅外攝像頭進(jìn)行采集反射的結(jié)構(gòu)光圖案,根據(jù)三角測量原理進(jìn)行深度信息的計算

image.png
  • 圖像深度準(zhǔn)確率 較TOF高
  • 低光環(huán)境表現(xiàn)良好嗅定,取決于光源自娩,強(qiáng)光表現(xiàn)差
  • 識別距離短,受光斑圖案影響
  • 容易受光照影響
  • 響應(yīng)時間慢渠退,處理復(fù)雜忙迁,耗費(fèi)算力,對處理器要求高

TOF(Time Of Flight 飛行時間)

image.png

??飛行時間測距法(Time Of Flight)碎乃。通過紅外發(fā)射器發(fā)射調(diào)制過的光脈沖姊扔,遇到物體反射后,用接收器接收反射回來的光脈沖梅誓,并根據(jù)光脈沖的往返時間計算與物體之間的距離恰梢。這種調(diào)制方式對發(fā)射器和接收器的要求較高,光速那么快梗掰,對于時間的測量有極高的精度要求删豺。

  • 基于紅外線激光,低光表現(xiàn)良好愧怜,高光表現(xiàn)較結(jié)構(gòu)光好
  • 范圍最大可以達(dá)到5米呀页,遠(yuǎn)超結(jié)構(gòu)光
  • 平面分辨率低
  • 圖像深度準(zhǔn)確率低
  • 分辨率低

應(yīng)用:

  • 體感游戲
  • 拍照3d建模

算法優(yōu)化等于作弊嗎

??明確一點(diǎn),人眼其實(shí)也是基于算法優(yōu)化的拥坛。來看一下人眼的結(jié)構(gòu)和一些值得吐槽的設(shè)計蓬蝶。

人的視網(wǎng)膜貼反了

我們的視網(wǎng)膜大致由3層細(xì)胞組成,分別為感光細(xì)胞猜惋、雙極細(xì)胞和節(jié)細(xì)胞丸氛。

感光細(xì)胞可將光信號轉(zhuǎn)化為電信號,雙極細(xì)胞則負(fù)責(zé)分類處理這些電信號著摔。最后節(jié)細(xì)胞會把這些分類好的電信號傳輸至大腦缓窜,形成最終影像。

image.png

這里感光細(xì)胞就相當(dāng)于 感官原件的受光面,節(jié)細(xì)胞就相當(dāng)于數(shù)據(jù)線禾锤,那么問題來了私股,電線在受光面之上,擋住了光恩掷。

為了給節(jié)細(xì)胞和雙極細(xì)胞供氧倡鲸,視網(wǎng)膜表面還布有一層血管網(wǎng)。這些血管除了擾亂入射光線外黄娘,任何出血或淤血都會擋住光路峭状,極其影響視力。這便是我們常說的眼底出血逼争。

圖:1為感光細(xì)胞优床,2為雙極細(xì)胞,3為節(jié)細(xì)胞

圖:1為感光細(xì)胞誓焦,2為雙極細(xì)胞胆敞,3為節(jié)細(xì)胞

當(dāng)光線射入瞳孔時,要先經(jīng)過節(jié)細(xì)胞和雙核細(xì)胞罩阵,最后才能到達(dá)感光細(xì)胞竿秆。那么這些“”在感光結(jié)構(gòu)前的細(xì)胞,就會反射或折射光線稿壁,使感光細(xì)胞成像的質(zhì)量下降幽钢。這就如同在照相機(jī)的膠片前面,外貼了一張半透明薄膜傅是。

模糊是應(yīng)該的匪燕,可我們看到的畫面并不模糊,這是基于大腦的最強(qiáng)圖片優(yōu)化算法自動腦補(bǔ)的喧笔。

盲點(diǎn)

由于節(jié)細(xì)胞位于光線進(jìn)入的方向帽驯。所以它發(fā)出的神經(jīng)纖維必然會匯聚成一束,反穿眼球再繞回大腦书闸。而在此處尼变,感光細(xì)胞是沒有落腳之地的,被稱為視神經(jīng)乳頭浆劲。

image.png

所以這才導(dǎo)致了我們視網(wǎng)膜中有一塊區(qū)域無法感光嫌术,從而形成盲點(diǎn)

所幸我們由一雙眼睛而不是一只牌借,兩個眼球看到的畫面會在大腦中互補(bǔ)度气。大腦本身就有一套經(jīng)過千萬年進(jìn)化而來的圖像重疊算法,這就是算法優(yōu)化嘛膨报。

tips:人眼存在盲點(diǎn)磷籍。怎么測試适荣?把下面的圖往左橫過來看,用手遮住自己的左眼院领,視線集中看圓圈弛矛,你會發(fā)現(xiàn) 加號 在某個位置走著走著就消失了。

盲點(diǎn)圖

盲點(diǎn)優(yōu)化

我們在嵌滿的盲點(diǎn)測試中栅盲,如果閉上左眼后直接盯著+號离唐,是不會看到消失的晰赞。

主要是因?yàn)椋瑢τ诿c(diǎn)或杠,人類還進(jìn)化出了相應(yīng)的優(yōu)化措施——黃斑鱼鼓。

黃斑

黃斑是視網(wǎng)膜上的特殊區(qū)域拟烫,當(dāng)我們凝視某一點(diǎn)時,它的圖像就正好聚焦在黃斑上迄本。

而在黃斑處硕淑,雙極細(xì)胞、節(jié)細(xì)胞連同它們發(fā)出的神經(jīng)纖維嘉赎,以及 視網(wǎng)膜表面的血管網(wǎng)和神經(jīng)纖維等置媳,都會向四周避開

所以當(dāng)我們瞄準(zhǔn)某一區(qū)域時公条,其分辨率和成像能力能達(dá)到“高清”級別拇囊。而我們平時檢查視力,查的便是黃斑區(qū)的中心視力靶橱。

鷹和人一樣都“貼反”了視網(wǎng)膜寥袭,但通過黃斑和晶狀體,它們看在幾百米甚至上千米處的獵物都毫無壓力关霸。這說明了“反貼”視網(wǎng)膜传黄,通過“優(yōu)化”后并不妨礙高度清晰的圖片形成。

這個屬于不改變硬件架構(gòu)的情況下队寇,做硬件優(yōu)化

綜上所述膘掰,我們的大腦本身自帶了最強(qiáng)的算法優(yōu)化,我們之所見佳遣,經(jīng)過腦補(bǔ)才得到所感知的畫面识埋。所以,算法并非不好苍日,只是說算法不夠好惭聂,結(jié)果不夠接近大腦算法的執(zhí)行結(jié)果。比如拍個月亮變成PS相恃,那就過分了辜纲。

參考:


  1. 徠卡:德國公司耕腾,誕生于1913年见剩,昂貴的價格是徠卡的品牌標(biāo)志,同時伴隨著的更是一種精湛的制作扫俺,一種深厚底蘊(yùn)的文化 ?

最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
  • 序言:七十年代末苍苞,一起剝皮案震驚了整個濱河市,隨后出現(xiàn)的幾起案子狼纬,更是在濱河造成了極大的恐慌羹呵,老刑警劉巖,帶你破解...
    沈念sama閱讀 219,539評論 6 508
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件疗琉,死亡現(xiàn)場離奇詭異冈欢,居然都是意外死亡,警方通過查閱死者的電腦和手機(jī)盈简,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 93,594評論 3 396
  • 文/潘曉璐 我一進(jìn)店門凑耻,熙熙樓的掌柜王于貴愁眉苦臉地迎上來,“玉大人柠贤,你說我怎么就攤上這事香浩。” “怎么了臼勉?”我有些...
    開封第一講書人閱讀 165,871評論 0 356
  • 文/不壞的土叔 我叫張陵邻吭,是天一觀的道長。 經(jīng)常有香客問我坚俗,道長镜盯,這世上最難降的妖魔是什么? 我笑而不...
    開封第一講書人閱讀 58,963評論 1 295
  • 正文 為了忘掉前任猖败,我火速辦了婚禮速缆,結(jié)果婚禮上,老公的妹妹穿的比我還像新娘恩闻。我一直安慰自己艺糜,他們只是感情好,可當(dāng)我...
    茶點(diǎn)故事閱讀 67,984評論 6 393
  • 文/花漫 我一把揭開白布幢尚。 她就那樣靜靜地躺著破停,像睡著了一般。 火紅的嫁衣襯著肌膚如雪尉剩。 梳的紋絲不亂的頭發(fā)上真慢,一...
    開封第一講書人閱讀 51,763評論 1 307
  • 那天,我揣著相機(jī)與錄音理茎,去河邊找鬼黑界。 笑死管嬉,一個胖子當(dāng)著我的面吹牛,可吹牛的內(nèi)容都是我干的朗鸠。 我是一名探鬼主播蚯撩,決...
    沈念sama閱讀 40,468評論 3 420
  • 文/蒼蘭香墨 我猛地睜開眼,長吁一口氣:“原來是場噩夢啊……” “哼烛占!你這毒婦竟也來了胎挎?” 一聲冷哼從身側(cè)響起,我...
    開封第一講書人閱讀 39,357評論 0 276
  • 序言:老撾萬榮一對情侶失蹤忆家,失蹤者是張志新(化名)和其女友劉穎犹菇,沒想到半個月后,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體弦赖,經(jīng)...
    沈念sama閱讀 45,850評論 1 317
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡项栏,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 38,002評論 3 338
  • 正文 我和宋清朗相戀三年浦辨,在試婚紗的時候發(fā)現(xiàn)自己被綠了蹬竖。 大學(xué)時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片。...
    茶點(diǎn)故事閱讀 40,144評論 1 351
  • 序言:一個原本活蹦亂跳的男人離奇死亡流酬,死狀恐怖币厕,靈堂內(nèi)的尸體忽然破棺而出,到底是詐尸還是另有隱情芽腾,我是刑警寧澤旦装,帶...
    沈念sama閱讀 35,823評論 5 346
  • 正文 年R本政府宣布,位于F島的核電站摊滔,受9級特大地震影響阴绢,放射性物質(zhì)發(fā)生泄漏。R本人自食惡果不足惜艰躺,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 41,483評論 3 331
  • 文/蒙蒙 一呻袭、第九天 我趴在偏房一處隱蔽的房頂上張望。 院中可真熱鬧腺兴,春花似錦左电、人聲如沸。這莊子的主人今日做“春日...
    開封第一講書人閱讀 32,026評論 0 22
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽。三九已至闰蚕,卻和暖如春栈拖,著一層夾襖步出監(jiān)牢的瞬間,已是汗流浹背没陡。 一陣腳步聲響...
    開封第一講書人閱讀 33,150評論 1 272
  • 我被黑心中介騙來泰國打工涩哟, 沒想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留烟瞧,地道東北人。 一個月前我還...
    沈念sama閱讀 48,415評論 3 373
  • 正文 我出身青樓染簇,卻偏偏與公主長得像参滴,于是被迫代替她去往敵國和親。 傳聞我的和親對象是個殘疾皇子锻弓,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 45,092評論 2 355