focos與計算攝影

手機攝影正在替代傳統(tǒng)的相機政供,特別是小型便攜式DC。除了明顯的便于攜帶和集成性的特點能犯,手機上的相機模塊鲫骗,其實最大程度體現(xiàn)了卡西歐F1的設(shè)計理念,即利用運算能力來為最后的成像創(chuàng)造價值踩晶;傳統(tǒng)的相機廠商們在這方面探索明顯不足执泰。

計算攝影 Computational photography ,作為案例渡蜻,落實到2017~2018一款流行app上术吝,就是 Focos 。

focos的logo茸苇,原來是黃色的
小技巧排苍,倒過來拍更順手

目錄

  1. 雙攝
  2. 計算攝影的進化
    2.1. 計算能力
    2.2. 堆棧
    2.3. 超分辨率
    2.4. 景深模擬
    2.5. 光場與仿光場
  3. focos的實現(xiàn)
    3.1. 蘋果的布局
    3.2. focos功能
    3.3. 引申聯(lián)想
  4. 新聲
  5. 參考與引用

雙攝


雙攝像頭 Dual Lens 設(shè)計出現(xiàn)得很早,大概柯達的V570世代出現(xiàn)学密。

柯達V570淘衙,2006年相機

想法很簡單,超廣角依附于變焦不好做腻暮,干脆做一個單獨的等效23mm的超廣定焦彤守,然后另外一枚等效35mm起跳的鏡頭完成日常的變焦需求。這種設(shè)計在超廣上有一個很務(wù)實的解決哭靖,作為附帶作用具垫,還有了準5倍的“變焦數(shù)字”。
當然啦试幽,570排線很脆弱筝蚕,二手市場不多見功能正常的機器

另外一個很天然的需求,就是3D成像铺坞。從模擬雙眼的角度出發(fā)起宽,天生就要兩個一樣的鏡頭 —— 一般來說還應該是廣角。

富士的W1/W3和松下DMC 3D1一度是熱點济榨,特別是這一陣裸眼3D屏幕也很火熱坯沪,但是市場反響似乎不如預期,2010世代于是罕有作品腿短。

W3屏箍,雙鏡頭水平相距75mm绘梦,這個距離被稱作 基線長度 (Baseline Length)。我自己的W3

這些后來又都從DC端升級到手機端赴魁。
在DC上較少提及的計算卸奉,在手機上成為可能。

首先搬上來的是3D成像颖御。
3D風潮每隔幾年就要興起一陣榄棵,簡直就是資本主義周期率的一種諷喻。
HTC EVO 3D 上提供了雙攝潘拱,基線雖然不長疹鳄,但是效果不錯;而幾乎同期的是LG Optimus P920芦岂。
缺點在于裸眼3D屏幕只能在一個方向上提供這種效果瘪弓,而為了兼顧影視內(nèi)容,通常是在橫屏狀態(tài)下為左右成像禽最。

HTC Evo 3D腺怯。圖片來自Crazymouseftw
LG Optimus 3D。圖片來自LG??

除了3D的應用川无,Duo Camera還帶來了“運算bokeh”的可能性呛占。而蘋果的 iPhone 7 Plus 則姍姍來遲一般完成了如V570的多焦距切換,LG G5與華為P9都是同一時期的產(chǎn)品懦趋。

感興趣的朋友可以看看由 Eric Ralph 帶來的文章《過去晾虑、現(xiàn)在和未來的雙攝智能手機簡史

以理光THETA為代表的雙目全景相機也是雙鏡頭設(shè)計,但是這種背靠背的設(shè)計在移植手機上有難度仅叫,而實用意義也有限(目前只有保千里的一款)帜篇,倒是在工業(yè)機器人上的實現(xiàn)更有意思。

計算攝影的進化


計算攝影 Computational photography 包括許多方面惑芭,一些是高精尖的學科相關(guān)的坠狡,比如自適應光學 Adaptive Optics 继找,利用可變形鏡面來增強天文望遠鏡成像俊扳;一些則已經(jīng)進入了應用森缠,例如基于圖像拼接的全景照片,或者是基于多張合成的HDR成像。

計算能力

一度最有希望的是卡西歐EX-F1蝙寨,『CXD4109AGG』這款芯片提供了多項多張照片合成的功能;索尼公司一度很有希望磷斧,因為這款芯片搖身一變崖堤,變成了索尼自己的 BOINZ —— 這一代的索尼DC上突然有了一些諸如手持夜景和HDR合成還有全景掃描之類的新功能,這些功能在隨后幾年席卷DC到入門級單反市場柠并。
索尼后來搞過PMCA PlayMemories Camera Apps岭接,似乎志不在此富拗,顯然運算芯片迭代不行,跑APP慢如老牛拉車鸣戴。
最新的諸如α9啃沪、α7R3與RX100M6型號的機器里,已經(jīng)沒有了PMCA

可能是最后一款PMCA的程序窄锅,數(shù)字濾鏡创千,合成也挺花時間的,還好受眾是風光黨入偷。

現(xiàn)在看來追驴,初期的PMCA其實頗有創(chuàng)新精神,比如 Jamie Beck 嘗試的 Cinematic Photo 也有涉足疏之。

Jamie Beck拍攝的紐約街頭的熱狗攤殿雪。重點是畫面的局部在動,如果今天以heif格式存儲锋爪,相當合適

感謝住持指出大法的處理器實際上叫做 BIONZ冠摄,我對不起大法。
有人稱初代可能是CXD4115几缭,運行一個精簡的Linux核心的系統(tǒng) —— 不置可否河泳,但是大體上,計算能力在現(xiàn)代相機中年栓,是這么一回事

堆棧

同一時間拆挥,堆棧用的Starstail出現(xiàn),這款后來被人民群眾稱作雪人插件的產(chǎn)品某抓,在風光黨中風靡一時纸兔。作者“半島雪人”自言是在延時拍攝的過程中,開啟了堆棧攝影的可能性大門否副;而功能也從一開始拉星軌汉矿,到后來模擬慢門以及獲得更好的畫質(zhì),一步一步充滿驚喜备禀。StarsTail網(wǎng)站

相機廠商并非沒有行動洲拇,奧林巴斯在2012年的E-M5世代,推出了『實時B門』曲尸。用戶在B門拍攝中赋续,可以在屏幕上看到已經(jīng)取得的曝光效果。2014年的時候另患,奧林巴斯推進了一步纽乱,可以在這種模式下進行不同區(qū)域的曝光控制 —— 回憶一下上一個章節(jié)的某個PMCA程序吧,他們有某種聯(lián)系昆箕。專利分析

大多數(shù)時候B門曝光都是經(jīng)驗與運氣指導鸦列,而在屏幕上監(jiān)看效果是數(shù)碼才能有的把戲租冠。我的EP5

以堆棧來模擬長曝光的手機應用比比皆是,甚至蘋果自己薯嗤,也為Live Photo內(nèi)置了模擬長曝光的疊加效果肺稀。不過在目前還沒能實現(xiàn)大規(guī)模的幀間對齊,所以想要用手機拍攝应民,少不得拜托三腳架或者八爪魚话原。

通過堆棧方式提升畫質(zhì),在硬件環(huán)境已經(jīng)確定的前提下诲锹,是一種“還可以”的選擇繁仁。例如做小相機的看到科技,今年也推出過一款 RAW+ 归园,也是基于這一點進行擴展黄虱。

超分辨率

超分辨率也在一些機型上出現(xiàn),最早是在哈蘇機身上出現(xiàn)的 Multi Shot 庸诱,H5D-200c通過像素偏移捻浦,得到單張2億的分辨率。緊隨其后的奧林巴斯E-M5 Mark II的「High Res Shot」(2014)桥爽,還有賓得的K3 II「Real Resolution」(2014)朱灿,以及索尼按照慣例姍姍來遲的2017年款「Pixel Shift Multi Shooting」(松下的叫啥來著?)钠四。除了賓得的方式不太相同(賓得輸出等大盗扒,但是顏色表現(xiàn)更好的圖片),其他均通過被戲稱作『搖搖樂』的合成方式缀去,獲得了更高的分辨率侣灶。BH今年還有一個橫評

像素級的原理示意圖

到了賓得的 K1 II (2018),隨著處理能力的升級缕碎,手持都可以完成這樣的拍攝合成(需要花費算力對齊圖片)褥影。而這種算力支持的功能,手機領(lǐng)先一步 —— 在2015年的app咏雌,1.0版本的Hydra就已經(jīng)提供了凡怎。Hydra在App Store的頁面,5美金

景深模擬

而說到景深模擬处嫌,2014年的Google率先邁出了單鏡頭的一步栅贴,在Android 4.4系統(tǒng)上支持斟湃,率先在Nexus 5上推送熏迹。拍攝的時候,向上平移手機凝赛,就可以輔助相機程序識別場景注暗,從而達到獲得深度信息的需求坛缕。技術(shù)實現(xiàn),在Google AI Blog的說明

Google的實現(xiàn)

但是顯然這種『多余操作』對于普通用戶不那么友好捆昏。于是到了2017年10月赚楚,Google在Pixel 2上,他們依然用單鏡頭的手持來實現(xiàn)了景深模擬 —— 這個世代的高端智能手機幾乎一水的雙攝像頭骗卜,但是沒有人知道為什么Google要堅持單攝像頭宠页,并且Google仍然可以憑借單攝像頭在DxO Mobile的榜單上名列前茅。

Pixel 2上應用人像模式的樣張寇仓,單攝像頭

Google的做法使用了 Dual Pixel 信息進行了分析举户,雖然差異相當小 —— 事實上相當于相距1mm的雙鏡頭 —— 但是訓練神經(jīng)網(wǎng)絡(luò)進行學習是可以獲得足夠的效果的。當然遍烦,如果你看完了技術(shù)文檔俭嘁,就會發(fā)現(xiàn)目前TensorFlow實現(xiàn)的識別,還無法認知到焦前虛化服猪。

這個故事相當爆炸的一點供填,我們想起有一家叫做佳能的相機廠,是業(yè)界非常早應用Dual Pixel排布罢猪,并且取得一定成效的近她。而且他們對開放接口這回事還挺友好的,所以誕生了諸如魔燈 Magic Lantern 這樣的第三方固件……所以我們是否有可能在未來佳能的機身上膳帕,看到這種虛擬景深的操作泄私?(或許是PC/Mac,畢竟現(xiàn)在的相機們處理能力趕不上旗艦手機)

佳能的Dual Pixel RAW衍生

Google是一家相當可畏的計算攝影廠商备闲,Pixel 2在“拍攝一張照片”時晌端,實際拍攝了十張,Google對這些冗余照片進行分析恬砂,擴展了動態(tài)范圍咧纠,同時也改善了分辨率。某種意義上我們可以認為Pixel 2用新手法把iOS上的Hydra山寨了一番泻骤。

光場與仿光場

2012年漆羔,光場攝影進入人們視野,消費級公司Lytro帶來了一款方方正正的產(chǎn)品狱掂,雖然說實際的分辨率堪憂演痒,但是這種后對焦的體驗相當新穎。由于在一定程度上有難以解釋趋惨,也被稱作為“黑科技”鸟顺,這一詞匯在隨后幾年也廣泛應用,甚至不那么難理解的技術(shù)也被大眾媒體冠以這個稱呼。

Lytro的初代相機讯嫂。Dcoetzee拍攝
Doodybutch用二代的Lytro Illum拍攝的

一時之間仿光場的應用不計其數(shù)蹦锋,例如,這款The Verge報道的欧芽。不過首先莉掂,手機的傳感器并不大,要出現(xiàn)能體現(xiàn)景深效果的照片并不容易千扔,通常要距離很近憎妙,也使得這樣的應用場景大大受限。

Lytro ILLUM Morio攝

事實上Lytro的傳感器也不大曲楚,所以二代的 ILLUM 策劃使用1英寸傳感器尚氛,但是來的太晚,價格也太高洞渤。

松下公司在2014年披露的GH4上攜帶了DFD技術(shù)阅嘶,這是一種快速對焦系統(tǒng) —— 雖然從前幾代來看,松下的對焦已經(jīng)是做得出類拔萃载迄。很快讯柔,消費級相機也用上了這種后對焦技巧,實現(xiàn)大概是這樣:

  1. 探測場景护昧,分析最近與最遠的物體
  2. 在非常短的時間內(nèi)魂迄,拍攝對焦在其間,并且漸變的照片
  3. 保存這個序列惋耙,讓用戶選擇

松下在比如一英寸的TX1(中國大陸叫做ZS110)和其他更大的M43機型上配置捣炬,好歹是有了效果。但是可能大多數(shù)買到了支持機型的用戶根本不知道這個功能绽榛。

focos的實現(xiàn)


蘋果的布局

iPhone 7 Plus 發(fā)布于2016年9月湿酸,是iPhone首款設(shè)置雙鏡頭的機型。發(fā)布的時候灭美,給大家看了一下 Portrait Mode推溃,但是并沒有準備好,所以在上市一段時間后才追加更新届腐。
而focos要在一年后的2017年才出現(xiàn)铁坎,中間的時間,在等待蘋果開放接口犁苏。

AVDepthData是在2017年WWDC公開的硬萍,在此之前,蘋果只提供了內(nèi)置相機的Portrait Mode围详;而與人像模式一同推出的朴乖,還有HEIF格式的更新 —— High Efficiency Image Format 直譯為高效率圖像文件格式。

部分特征:

HEIF JPEG PNG GIF
有損壓縮支持 是 HEVC 是 JPEG
無損壓縮支持 是 HEVC 是 TIFF 6.0 是 PNG 是 GIF
同文件多圖像
透明度
深度信息

選擇HEIF格式,也就是后綴名為 .heic 方式存儲寒砖,會帶來更好的畫質(zhì)壓縮比赐劣。

來自Nokia
來自zoner

比如圖示的小文件量情況下抑制漸層嫉拐,以及同畫質(zhì)條件下更好的壓縮比哩都。

相關(guān)報道1 相關(guān)報道2
這一格式,是保存深度信息的必要條件婉徘。

蘋果在WWDC 2017上漠嵌,詳細說明了這種特性。

目前為止盖呼,以下幾臺iPhone配置了雙鏡頭:

  • iPhone 7 Plus
  • iPhone 8 Plus
  • iPhone X

focos需要雙鏡頭支持儒鹿,以及iOS11或更高的系統(tǒng)支持(嗯,這條說給7p聽)几晤,目前也暫時只能在這幾款手機上施展约炎。

雙鏡頭提供了立體視覺,這種特性在“里程碑紀念款”的iPhone X上有了新的應用蟹瘾。
iPhone X在前置攝像頭中也有復數(shù)個圖像傳感器圾浅,很大程度上是來自于 Prime Sense 公司。

Prime Sense 推出過一種公版的感應器憾朴,叫做CARMINE狸捕,具有雙攝像頭,可以進行深度識別众雷,官方也鼓勵大家以此來進行開發(fā)灸拍。

從外形來說,Carmine應該會讓你想起 Microsoft Kinect砾省,這當然沒有疑問鸡岗,畢竟后者也是 Prime Sense 進行技術(shù)支持(PS1080 SoC)。

財大氣粗的具體體現(xiàn)是:
這家公司在2013年被蘋果收購编兄。
從那天開始纤房,雙攝像頭出現(xiàn)在蘋果公司的產(chǎn)品上,本也就開啟了倒計時翻诉。
2017年9月炮姨,iPhone X 橫空出世,被稱作劉海的空間里安排了具有深度識別的攝像頭碰煌。


本質(zhì)上來說舒岸,這是為了新的 Face ID 設(shè)計的硬件,所以看上去可能沒啥和攝影相關(guān)的內(nèi)容芦圾,可是前置相機的深度信息當然也可以利用蛾派,也就是說,使用自拍時更常用的前置相機,也可以實現(xiàn)景深效果洪乍。

微軟自己也是有存貨的眯杏,X1上的新Kinect就是自己做的。Intel也很積極在做壳澳,稱之為「RealSense」岂贩,中文作實感

復盤來看,蘋果做事有條不紊:

  1. 推行適配格式
  2. 雙攝影硬件實現(xiàn)
  3. 統(tǒng)一程序接口

一個富有執(zhí)行力的封閉生態(tài)系統(tǒng)巷波,對于推行新技術(shù)相當有效率萎津。另一方面,這可能也是Google難以在Android世界達到的成就 —— 但是我們都知道抹镊,Android其實本來是一個為數(shù)碼相機設(shè)計的操作系統(tǒng)锉屈。

focos功能

借由蘋果提供的便利,人像模式拍攝的圖片垮耳,被focos以3D點云的方式呈現(xiàn)颈渊。

下圖是正常視角,上圖是另外一個視角觀察的模型

以圖片為例终佛,可以看到椅子俊嗽、桌子還有后面的場景,以嚴格的距離信息分離查蓉。
也正是由此乌询,程序可以對已經(jīng)拍攝到的,具有深度信息的圖片豌研,進行對焦重構(gòu)與虛擬景深計算妹田。
點云功能應該是蘋果在ARKit上的實現(xiàn),該功能也是在WWDC 2017上公布的

程序自帶的樣例圖片鹃共,也是教程的一部分

優(yōu)于谷歌方案的一點鬼佣,是可以對前焦進行單獨的虛化處理。

你可以分別設(shè)置前后景深霜浴,以及空氣透視帶來的遠處減淡

空氣透視 aerial perspective 晶衷,由于大氣中的塵埃影響,遠景的清晰度與對比度不如近處景物阴孟。這種手法在繪畫中經(jīng)常使用晌纫,以區(qū)隔遠近。

尼康的擁躉們大概會想起歷史上的兩枚DC鏡頭永丝,105與135mm焦距锹漱,這種鏡頭可以設(shè)定前焦外或者后焦外的虛化成像,但是不能一同完成 —— 如今可以在軟件里實現(xiàn)慕嚷,大約有一種技術(shù)變遷的恍然哥牍。

富士的56mm F1.2 APD鏡頭里的光圈效果毕泌。這種漸淡的光學元件涉及染色工藝,在更早的美能達STF135里嗅辣,是用兩枚光學元件完成的撼泛。圖片來自DC Watch Impress的開發(fā)報道

富士56mm F1.2的開發(fā)采訪

由于這種鏡頭虛化是模擬出來的,所以除了理想的圓形光圈澡谭,以及更理想的APD/STF式光圈愿题,你還可以選擇各類稀奇古怪的光圈類型 —— 在以往通常要你找一枚大光圈鏡頭,然后自己剪一個稍小的形狀貼在UV鏡上译暂。

人民群眾喜聞樂見的張老師抠忘,給你帶來蘋果焦外

Lok Cheung老師的focos體驗視頻撩炊,有條件的可以Lok一Lok

在剛剛過去的7月外永,focos的1.5版本,作者曉東帶來了說好的大新聞拧咳,為focos添加了光照補充能力伯顶。雖然說只是基于已有畫面的基礎(chǔ)上,進行一種光效的調(diào)整骆膝,而不是如在影室般真正的布光祭衩,但是對于手機隨拍調(diào)節(jié)而言,已經(jīng)是相當不容易了阅签。

虛擬光源

由于才上線月余掐暮,關(guān)于新建光源功能,目前相關(guān)報道較少政钟。據(jù)說作者也準備在1.6的版本更新中路克,加入幾款預設(shè)光照方案 —— 讓用戶做選擇題,比實際去擺弄光源還是友好养交。

上海灘知名吃貨攝影師金大頭提供的例圖精算,通過打光為肉排提供鮮嫩的質(zhì)感

略微不爽的一點,蘋果的雙鏡頭實際上兼顧了兩個焦段碎连,分別是28mm與剛好兩倍的56mm灰羽。我們知道,廣的鏡頭視野可以覆蓋長的鱼辙,而反過來不行 —— 用28mm拍攝的時候廉嚼,56mm覆蓋不了全部像場來獲得深度信息。所以我們目前在iPhone上只能以這種“拍起來有點距離”的焦距來進行人像照片獲取倒戏。
Google的實現(xiàn)方式就可以在廣角上獲得景深效果怠噪,但是反過來,Google沒有中焦鏡頭

順帶一提峭梳,focos看起來像是 對焦 focus 的誤寫或異寫舰绘;在西班牙和葡萄牙語中蹂喻,稱作 foco ,而 focos 通常是指作為引申義的聚光燈捂寿;所以如果不加限定的在Google搜索 focos 口四,有時會翻到燈具廣告。
至于為什么會命名 focos 秦陋,我沒問作者蔓彩,不過我猜可能是結(jié)合logo的一種趣味性,以兩個 o 來象征雙鏡頭驳概。
作者本人補充解釋:由于商標問題赤嚼,不可能注冊為focus,所以選擇了 focus + photos 的組合顺又,新造出具有諧音的 focos 更卒。

版本 時間 主要更新
1.0 2017-10-31 初代
1.1 2017-12-07 添加光圈類型
連拍模式
1.2 2018-01-20 自定義預設(shè)方案
支持圖片格式選擇
語言選擇
2.35:1比例支持
1.3 2018-03-10 背景圖片替換
1.31支持透明背景的PNG保存
1.4 2018-05-10 提升景深數(shù)據(jù)的精度
1.41支持保存為前后對比的實況照片
1.5 2018-07-31 引入3D打光工具
1.6 未發(fā)布 預計加入新iPhone支持,完善燈光預設(shè)

引申聯(lián)想

iOS在版本6稚照,也就是2012年開始支持全景掃描功能蹂空;這一年開始,越來越多靈活的功能出現(xiàn)在在iPhone的拍攝上果录;
iPhone在6s世代開始支持慢動作上枕,這意味著處理能力的飛躍(當然,感謝4K規(guī)格帶來的富余)弱恒,這一代也開始了 Live Photo的應用辨萍。

在上一個章節(jié)里說的堆棧,蘋果也融入了其中返弹。機內(nèi)選擇『長曝光』锈玉,就可以把 Live Photo 所記錄的1.5秒視頻中的光流全部疊加到一張照片上。

對比琉苇,來自Reddit網(wǎng)友MrConjunctivitis

Reddit原帖嘲玫,你也可以看看CNET展示的集中可能性

如果focos的自由虛化與仿長曝的 Live Photo 結(jié)合并扇,那么未來使用一臺iPhone就可以在街頭攝影中實現(xiàn)川流不息的淺景深圖去团。

人群中唯一的豬肉佬 來自《國產(chǎn)凌凌漆》

其實蘋果已經(jīng)提供了視頻中的depth map數(shù)據(jù),但是分辨率不高穷蛹,wwdc演示的案例土陪,是在實時視頻通話中去除背景,或者卡通化背景肴熏。未來也許隨著處理能力進一步提升會有改善 可以看看9to5Mac的解析

而自定義光照的能力鬼雀,會不會在延時攝影中提供更多的選擇空間?當然蛙吏,以focos目前輕巧的體量而言源哩,也許會是另外一個app(也許是Mac上的app)來進行鞋吉。

2010年,3DS Max與VRay渲染的短片《The Third & The Seventh》

除了這些酷炫的想法之外励烦,在focos稍早的版本記錄里谓着,作者也提及了單鏡頭景深的想法(或許與Google方案啟發(fā)有關(guān),不得而知)坛掠,不曉得目前開發(fā)計劃是否有變化赊锚。

當然,延時攝影以及軌道等等技術(shù)不會消亡屉栓,計算攝影只是提供了更多的自由度

從某種意義上說舷蒲,focos可能不自覺地定義了未來相機的一種形式。

新聲


2018-09-16添加

Light L16

Light L16是2015年披露的一臺機型友多,其上裝配了16個的鏡頭/傳感器總成模組牲平;從發(fā)布概念來看,其實就是一臺非常妥的多鏡頭聯(lián)合協(xié)作的例子夷陋。

為什么我沒有提及呢欠拾?
因為在2017年胰锌,隨著第一批機器的到貨骗绕,一些媒體收到了機器并且進行了評測,雖然有一些亮眼的功能资昧,但是很多時候會得到莫名的水準之下的表現(xiàn)酬土。相信是在軟件的處理上還有不足 —— 這種失敗也從另外一個側(cè)面體現(xiàn)了計算攝影的某些特性。

相關(guān)的評測格带,大家可以看看Mobile01(中文)撤缴,與PetaPixel(英文)的報道。

上到下依次是富士X-T2叽唱、Light L16以及RX100M5屈呕。PetaPixel配圖

特別是來自ALBERT LEE的配圖,L16相比諸如RX100和APS-C的無反可能優(yōu)勢都有限棺亭,但仍然拒絕使用更大的傳感器虎眨,而一意在更多鏡頭上挖掘,可能已經(jīng)背離了成熟產(chǎn)品的訴求镶摘,而更追求技術(shù)探討嗽桩。

偏離了拍攝本身訴求的L16,出于考慮凄敢,一開始并未加入說明碌冶。

蘋果的新iPhone

2018年款的iPhone,一共有三款:

  • iPhone XS
  • iPhone XS Max
  • iPhone XR

如果你在現(xiàn)場涝缝,或者是看了直播扑庞,在相機部分譬重,相信會有一種 『我怎么在看Google技術(shù)』的感覺。

多張連拍并合成罐氨,其實就是谷歌相機 Google Camera 內(nèi)置的HDR+害幅,以及由此進一步開發(fā)的 Smartburst 技術(shù),其在最新的 Pixel 2 有展現(xiàn)(當然岂昭,Pixel 3 的腳步也已經(jīng)近了)以现。當然,蘋果把這種應用推進到了一次拍攝12張约啊,至于效果是不是比Google方案的10張更好邑遏,目前還無法知曉。

蘋果聲稱恰矩,每張照片完成了 a trillion operations 一萬億次操作记盒。Apple官網(wǎng)展示

另外一方面就是 iPhone XR 上的單鏡頭虛化,和 Pixel 2 上的實現(xiàn)描述類似外傅,也是以神經(jīng)網(wǎng)絡(luò)來進行輔助纪吮。不過依照focos開發(fā)者的看法,這樣的實現(xiàn)只是完成了虛化萎胰,而并不是完整的場景深度信息碾盟。

同時,蘋果自己也帶來了類似 focos 上的光圈調(diào)節(jié)功能技竟。作為官方冰肴,這個功能來得稍微有些遲,不過總比沒來好榔组。

光圈模擬熙尉。Apple官網(wǎng)展示

參考與引用


focos官網(wǎng)
http://focos.me/

focos官方 Instagram
https://www.instagram.com/focos_camera/

開發(fā)者新浪微博
https://weibo.com/u/1693049671

Eric Ralph
A Brief History of the Past, Present, and Future of Dual Camera Smartphones
https://www.xda-developers.com/a-brief-history-of-the-past-present-and-future-of-dual-camera-smartphones/

StarsTail
http://www.starstail.com/

Rishi Sanyal
Olympus patent hints at selective exposure in 'Live Time' mode
https://www.dpreview.com/articles/3104455509/olympus-patent-hints-at-selective-exposure-in-live-time-mode

Cory Rice
Pixel-Shift Shootout: Olympus vs. Pentax vs. Sony vs. Panasonic
https://www.bhphotovideo.com/explora/photography/tips-and-solutions/pixel-shift-shootout-olympus-vs-pentax-vs-sony-vs-panasonic

Lars Rehm
Hydra for iOS uses multi-frame techniques for higher resolution and lower noise
https://www.dpreview.com/news/3042565277/hydra-for-ios-uses-multi-frame-techniques-for-higher-resolution-and-lower-noise
Hydra
http://www.creaceed.com/ihydra/gallery

Carlos Hernández
Lens Blur in the new Google Camera app
https://ai.googleblog.com/2014/04/lens-blur-in-new-google-camera-app.html

Marc Levoy, Principal Engineer and Yael Pritch
Portrait mode on the Pixel 2 and Pixel 2 XL smartphones
https://ai.googleblog.com/2017/10/portrait-mode-on-pixel-2-and-pixel-2-xl.html

How Apple is squeezing more photos into your iPhone
https://www.cnet.com/news/apple-ios-boosts-heif-photos-over-jpeg-wwdc/

Image Editing with Depth - WWDC 2017
https://developer.apple.com/videos/play/wwdc2017/508/

Shel Israel
Why Apple Bought PrimeSense
https://www.forbes.com/sites/shelisrael/2013/11/25/why-would-apple-buy-primesense/

Paul Miller
The iPhone X's notch is basically a Kinect
https://www.theverge.com/circuitbreaker/2017/9/17/16315510/iphone-x-notch-kinect-apple-primesense-microsoft

Michael Steeber
Here’s how future iPhones could use camera depth data to create impressive Portrait Mode videos
https://9to5mac.com/2017/12/04/iphone-portrait-mode-videos/

一次用16顆鏡頭拍照!Light L16全新概念相機實拍與心得分享
ki_min
https://www.mobile01.com/newsdetail/23513/16-light-l16

Review: The Light L16 is Brilliant… and Braindead
ALBERT LEE
https://petapixel.com/2017/12/08/review-light-l16-brilliant-braindead/

iPhone XS Camera
https://www.apple.com/iphone-xs/cameras/

之乎 于2018-08-18
2018-09-16添加 新聲
2019-04-30修訂blogspot

最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
  • 序言:七十年代末搓扯,一起剝皮案震驚了整個濱河市检痰,隨后出現(xiàn)的幾起案子,更是在濱河造成了極大的恐慌锨推,老刑警劉巖铅歼,帶你破解...
    沈念sama閱讀 217,084評論 6 503
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件,死亡現(xiàn)場離奇詭異爱态,居然都是意外死亡谭贪,警方通過查閱死者的電腦和手機,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 92,623評論 3 392
  • 文/潘曉璐 我一進店門锦担,熙熙樓的掌柜王于貴愁眉苦臉地迎上來俭识,“玉大人,你說我怎么就攤上這事洞渔√酌模” “怎么了缚态?”我有些...
    開封第一講書人閱讀 163,450評論 0 353
  • 文/不壞的土叔 我叫張陵,是天一觀的道長堤瘤。 經(jīng)常有香客問我玫芦,道長,這世上最難降的妖魔是什么本辐? 我笑而不...
    開封第一講書人閱讀 58,322評論 1 293
  • 正文 為了忘掉前任桥帆,我火速辦了婚禮,結(jié)果婚禮上慎皱,老公的妹妹穿的比我還像新娘老虫。我一直安慰自己,他們只是感情好茫多,可當我...
    茶點故事閱讀 67,370評論 6 390
  • 文/花漫 我一把揭開白布祈匙。 她就那樣靜靜地躺著,像睡著了一般天揖。 火紅的嫁衣襯著肌膚如雪夺欲。 梳的紋絲不亂的頭發(fā)上,一...
    開封第一講書人閱讀 51,274評論 1 300
  • 那天今膊,我揣著相機與錄音憔鬼,去河邊找鬼撼班。 笑死筋夏,一個胖子當著我的面吹牛脑奠,可吹牛的內(nèi)容都是我干的。 我是一名探鬼主播赖钞,決...
    沈念sama閱讀 40,126評論 3 418
  • 文/蒼蘭香墨 我猛地睜開眼,長吁一口氣:“原來是場噩夢啊……” “哼聘裁!你這毒婦竟也來了雪营?” 一聲冷哼從身側(cè)響起,我...
    開封第一講書人閱讀 38,980評論 0 275
  • 序言:老撾萬榮一對情侶失蹤衡便,失蹤者是張志新(化名)和其女友劉穎献起,沒想到半個月后,有當?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體镣陕,經(jīng)...
    沈念sama閱讀 45,414評論 1 313
  • 正文 獨居荒郊野嶺守林人離奇死亡谴餐,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點故事閱讀 37,599評論 3 334
  • 正文 我和宋清朗相戀三年,在試婚紗的時候發(fā)現(xiàn)自己被綠了呆抑。 大學時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片岂嗓。...
    茶點故事閱讀 39,773評論 1 348
  • 序言:一個原本活蹦亂跳的男人離奇死亡,死狀恐怖鹊碍,靈堂內(nèi)的尸體忽然破棺而出厌殉,到底是詐尸還是另有隱情食绿,我是刑警寧澤,帶...
    沈念sama閱讀 35,470評論 5 344
  • 正文 年R本政府宣布公罕,位于F島的核電站器紧,受9級特大地震影響,放射性物質(zhì)發(fā)生泄漏楼眷。R本人自食惡果不足惜铲汪,卻給世界環(huán)境...
    茶點故事閱讀 41,080評論 3 327
  • 文/蒙蒙 一、第九天 我趴在偏房一處隱蔽的房頂上張望罐柳。 院中可真熱鬧桥状,春花似錦、人聲如沸硝清。這莊子的主人今日做“春日...
    開封第一講書人閱讀 31,713評論 0 22
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽芦拿。三九已至士飒,卻和暖如春,著一層夾襖步出監(jiān)牢的瞬間蔗崎,已是汗流浹背酵幕。 一陣腳步聲響...
    開封第一講書人閱讀 32,852評論 1 269
  • 我被黑心中介騙來泰國打工, 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留缓苛,地道東北人芳撒。 一個月前我還...
    沈念sama閱讀 47,865評論 2 370
  • 正文 我出身青樓,卻偏偏與公主長得像未桥,于是被迫代替她去往敵國和親笔刹。 傳聞我的和親對象是個殘疾皇子,可洞房花燭夜當晚...
    茶點故事閱讀 44,689評論 2 354

推薦閱讀更多精彩內(nèi)容