你不顛覆自己,AI就顛覆你——言有三
導(dǎo)語(yǔ)
人工智能早已經(jīng)開(kāi)始寫(xiě)詩(shī),寫(xiě)小說(shuō),作曲。如今,它開(kāi)始玩起了攝影,這是作為一個(gè)攝影愛(ài)好者感覺(jué)背脊一涼的事情仪糖,不得不來(lái)說(shuō)道說(shuō)道故爵。
1 AI攝影師橫空出世
如果在這個(gè)時(shí)代,你不了解人工智能,也就是AI线定,那你真的要out了芭商。不管是不是從業(yè)者搀缠,人工智能铛楣,確切的說(shuō)應(yīng)該是機(jī)器學(xué)習(xí)吧(說(shuō)人工智能的全是拉大旗但是聽(tīng)眾又愿意聽(tīng))簸州,在沖擊并顛覆著幾乎所有能沖擊的行業(yè)矢洲。
他們開(kāi)始寫(xiě)詩(shī)揩徊,寫(xiě)小說(shuō)
下棋,作曲靴拱,打撲克
送快遞
甚至玩起了攝影
搞出這種事情的就是Google 的人工智能實(shí)驗(yàn)室 DeepMind本谜。還記得二代AlphaGo對(duì)戰(zhàn)全人類(lèi)的頂級(jí)高手60連勝,隨后讓傲氣滿(mǎn)胸的天才棋手柯潔心悅誠(chéng)服嗎偎窘?更恐怖的是2代AlphaGo在3代面前乌助,還是個(gè)渣渣,那我們?nèi)祟?lèi)又是什么陌知?
如今他托,他們又玩起了攝影,真的不知道他們到底還想對(duì)這個(gè)世界做些什么仆葡,總之是了不得的事情赏参!
你能想象上面這張圖是Google的AI程序自動(dòng)生成的嗎?
我相信沿盅,哪怕是一般的攝影愛(ài)好者把篓,也未必能調(diào)出如此舒服的色調(diào)。盡管圖像上方的山認(rèn)真一看就能識(shí)別是假的腰涧,但是從美感看來(lái)韧掩,我認(rèn)為這是一張很不錯(cuò)的照片。
沒(méi)錯(cuò)窖铡,他們就是讓計(jì)算機(jī)學(xué)會(huì)了“審美”疗锐,這個(gè)攝影師自認(rèn)為最得意的事情。
當(dāng)然了费彼,我們?nèi)祟?lèi)攝影師創(chuàng)作需要一個(gè)景作為輸入滑臊,計(jì)算機(jī)也一樣,下面的圖是一個(gè)更加完整的例子敌买。
上圖分兩段简珠,下面的圖,是google街景圖的一部分虹钮,上圖聋庵,就是計(jì)算機(jī)看著這些街景圖后創(chuàng)作出來(lái)的作品。當(dāng)然街景圖是360度的芙粱,這里只展示了一定的角度祭玉。
盡管是AI偽造出來(lái)的圖,但是構(gòu)圖春畔,對(duì)比度脱货,飽和度岛都,光線都是很不錯(cuò)的。
如果今天你說(shuō)振峻,女生的照片成了照騙不再可信臼疫;
那現(xiàn)在看來(lái),以后照片可能都不可信了扣孟。明天烫堤,世界將真假難分,后期凤价,將變得再無(wú)門(mén)檻鸽斟!
作為一個(gè)攝影愛(ài)好者,但又是圖像相關(guān)領(lǐng)域從業(yè)者利诺,我愛(ài)自己的職業(yè)富蓄,也愛(ài)自己的興趣,所以有時(shí)候?qū)@種技術(shù)的發(fā)展感情其實(shí)很矛盾慢逾。
算了立倍,來(lái)揭穿這個(gè)假冒的攝影師的真面目吧。
2它到底怎么做的
--2.1 這到底是什么--
上面所說(shuō)的AI攝影師氛改,官方名稱(chēng)Creatism系統(tǒng)帐萎。
它具體是什么呢比伏?
不同于美圖秀秀等濾鏡工具胜卤,它是通過(guò)學(xué)習(xí)模仿專(zhuān)業(yè)攝影師的作品,對(duì)圖片的處理過(guò)程就是典型的專(zhuān)業(yè)攝影師的路子:
(1)調(diào)整構(gòu)圖赁项,以一個(gè)美學(xué)標(biāo)準(zhǔn)對(duì)挑選的街景圖進(jìn)行裁剪葛躏。
(2)全局調(diào)整,調(diào)整照片的飽和度悠菜,HDR等參數(shù)舰攒。
(3)光照調(diào)優(yōu)。利用學(xué)習(xí)到的dramatic mask 遮罩工具為照片自適應(yīng)地加上局部光暈悔醋。
拿一對(duì)圖分析一下摩窃。
第一步構(gòu)圖調(diào)整,最重要的就是要突出主體芬骄。
圖中的主體當(dāng)之無(wú)愧是山猾愿,所以山應(yīng)該占絕大多數(shù)的空間。而作為一個(gè)優(yōu)秀的風(fēng)光作品账阻,最好有宏大場(chǎng)面和景深蒂秘,所以圖像下半部的樹(shù)林,就襯托出了山在遠(yuǎn)方的景深淘太。頂上的天空姻僧,則使得作品更加真實(shí)而充實(shí)规丽。整個(gè)的構(gòu)圖,大概遵循三分法的原則撇贺,不知道三分法的以后我們會(huì)講赌莺。
然后我們?cè)倏吹诙健?chuàng)作后山和樹(shù)林的飽和度松嘶,與原圖相比雄嚣,明顯更高但是又很自然,這是好的彩色風(fēng)光片都有的特點(diǎn)喘蟆。
最后一步缓升,光照的調(diào)整就更加6了,手法很老道蕴轨。像是夕陽(yáng)光從圖像外的右側(cè)照射到了山脊港谊。云彩中的一縷亮光下方,也照亮了草地橙弱,雖然比起山脊處效果差的多歧寺。
明顯缺點(diǎn)也是有的,主要就是樹(shù)林的面積太大棘脐,這可能跟下方的輸入圖中草地樹(shù)林面積占比很大有關(guān)斜筐。
但不管怎么說(shuō),這都是一個(gè)不錯(cuò)的作品蛀缝,你未必能做到顷链。
以后可以一鍵后期了!
拯救你的構(gòu)圖屈梁!
不用再枯燥地調(diào)對(duì)比度亮度嗤练!
一鍵完成不知道該怎么調(diào)的光照效果!
--2.2 到底有多6在讶,誰(shuí)來(lái)評(píng)判--
美學(xué)這個(gè)東西煞抬,無(wú)法量化,各說(shuō)各有理构哺,經(jīng)常誰(shuí)也說(shuō)服不了誰(shuí)革答。
那Google怎么去評(píng)測(cè)他們的這個(gè)AI攝影師呢?
當(dāng)然最好的就是請(qǐng)專(zhuān)業(yè)的裁判曙强。他們邀請(qǐng)了 6 位專(zhuān)業(yè)攝影師進(jìn)行圖靈測(cè)試(這是一個(gè)很著名的測(cè)試残拐,感興趣可以自己搜索),他們都擁有攝影學(xué)士學(xué)位和至少兩年以上的專(zhuān)業(yè)攝影經(jīng)驗(yàn)旗扑,總之實(shí)驗(yàn)絕對(duì)是靠譜的蹦骑,結(jié)論絕對(duì)是令人信服的。
他們將真正由攝影師拍攝的照片臀防,和AI生成的照片混在一起讓這些攝影師去評(píng)測(cè)眠菇,并將異常的打分返回繼續(xù)評(píng)測(cè)边败,直到眾人取得比較一致的結(jié)論。
評(píng)測(cè)分為四個(gè)等級(jí)捎废,分?jǐn)?shù)由 1 到4 分笑窜。1 代表的是只有入門(mén)級(jí)別的照片,4 則表示達(dá)到了專(zhuān)業(yè)攝影師的水準(zhǔn)登疗。
結(jié)果你猜如何排截?
攝影師評(píng)估的 173 張由AI生成的照片中,有 41 %照片得分達(dá)到了 3 分以上辐益, 13% 的得分更超過(guò)了 3.5分断傲。而由真的專(zhuān)業(yè)攝影師拍攝的照片中也就是有 45 %達(dá)到了 3.5 分以上的成績(jī)。
如果說(shuō)旗鼓相當(dāng)還有點(diǎn)勉強(qiáng)智政,那么水平接近可以說(shuō)是事實(shí)了认罩。而計(jì)算機(jī)的學(xué)習(xí)能力之強(qiáng)大從AlphaGo就可見(jiàn)一斑,你覺(jué)得再過(guò)一陣子续捂,會(huì)不會(huì)專(zhuān)業(yè)攝影師徹底被比下去呢垦垂?再看張圖吧。
總之Creatism系統(tǒng)牙瓢,只需要采集一些街景圖回來(lái)劫拗,就可以給你自動(dòng)生成足以以假亂真的準(zhǔn)專(zhuān)業(yè)水準(zhǔn)的風(fēng)光照,這是一件不得了的事情矾克。
今天已經(jīng)有各種app在開(kāi)發(fā)自動(dòng)后期算法页慷,可見(jiàn)的不久,后期的門(mén)檻就將大大降低聂渊,到時(shí)候大家也不用再去膜拜那些老司機(jī)們差购,也不用再望著PS發(fā)呆了,想想就興奮有沒(méi)有汉嗽。
我們或許應(yīng)該感到欣慰,技術(shù)的發(fā)展找蜜,從來(lái)都是掃除門(mén)檻和階層的助力饼暑。
3 開(kāi)始說(shuō)算法
下面的內(nèi)容,就是專(zhuān)業(yè)領(lǐng)域了洗做。感興趣或者專(zhuān)業(yè)相關(guān)的朋友可以聽(tīng)聽(tīng)弓叛,其他的讀者可以直接跳至文末。
--3.1 說(shuō)點(diǎn)歷史--
關(guān)于攝影美學(xué)的研究诚纸,其實(shí)早就開(kāi)始撰筷,這是一個(gè)圖像質(zhì)量評(píng)估問(wèn)題,一個(gè)還并未有好的解答的問(wèn)題畦徘。
AVA數(shù)據(jù)集就是最早做這件事的毕籽,它是一個(gè)人工標(biāo)注的數(shù)據(jù)集抬闯,20多萬(wàn)的數(shù)據(jù),每一張照片都被綜合的評(píng)了分关筒,1~5不等溶握。相關(guān)的研究,也是集中于構(gòu)圖蒸播,對(duì)比度等等睡榆,只是,傳統(tǒng)算法大部分都是人工設(shè)計(jì)的算子袍榆。
攝影美學(xué)本來(lái)就很難量化胀屿,好的攝影師必然需要大量的練習(xí)才能養(yǎng)成。那么包雀,對(duì)于擅長(zhǎng)于從數(shù)據(jù)中學(xué)習(xí)到知識(shí)的機(jī)器學(xué)習(xí)來(lái)說(shuō)碉纳,正對(duì)下懷。
--3.2 Creatism數(shù)據(jù)集和pipeline--
此處已經(jīng)假定大家都有deep learning基礎(chǔ)馏艾。
單刀直入劳曹,先祭出要用到的一個(gè)數(shù)據(jù)集。
15000張左右從500px.com挑選出來(lái)的風(fēng)光圖琅摩。這是我一直給大家力推的網(wǎng)站铁孵,一直認(rèn)為是最好的攝影分享平臺(tái)。
里面有很多優(yōu)秀的風(fēng)光攝影師房资,其構(gòu)圖蜕劝、照片飽和度等很優(yōu)秀,這15000張正是其中評(píng)分很高的轰异。
而整個(gè)的pipeline是這樣的岖沛。
首先說(shuō)明這不是end-to-end的,為什么呢搭独?
因?yàn)槲覀円獌?yōu)化的婴削,是一個(gè)由構(gòu)圖,飽和度牙肝,HDR唉俗,光線等一起組成的目標(biāo)Φ。它不同于分類(lèi)時(shí)的類(lèi)別配椭,也不同于檢測(cè)時(shí)的定位框虫溜,它的各個(gè)子維度很難直接用一個(gè)線性的方式來(lái)融合,對(duì)最終結(jié)果股缸,也就是照片的分?jǐn)?shù)的影響權(quán)重衡楞,也是很難有規(guī)律可循。
如果不剝離開(kāi)敦姻,要同時(shí)優(yōu)化這樣的幾個(gè)子目標(biāo)瘾境,所需要的訓(xùn)練集需要非常魯棒歧杏,這需要極高的成本。
另一方面寄雀,由于子目標(biāo)的抽象層級(jí)較高得滤,不在一個(gè)維度上,梯度傳播起來(lái)盒犹,該怎么指導(dǎo)各個(gè)方向呢懂更?
所以最終解決方案,就是上面所提的急膀,對(duì)這幾個(gè)維度(構(gòu)圖沮协,光線等),每一個(gè)都訓(xùn)練一個(gè)“濾鏡”卓嫂,各自評(píng)測(cè)一個(gè)分?jǐn)?shù)Φi慷暂。
--3.3 說(shuō)細(xì)節(jié)--
3.3.1 怎么學(xué)習(xí)飽和度和HDR濾鏡?
既然要學(xué)習(xí)晨雳,負(fù)樣本怎么來(lái)行瑞,祭snapseed。snapseed里有調(diào)節(jié)飽和度餐禁,HDR參數(shù)的算法血久。
使用類(lèi)似于snapseed里面的算法,隨機(jī)從 (0%, 80%) 中挑選參數(shù)調(diào)整原圖的飽和度帮非。由于原圖質(zhì)量高氧吐,所以參數(shù)調(diào)的幅度越大,應(yīng)該打分就越低末盔,那么怎么得到分?jǐn)?shù)呢筑舅?采用跟原圖的相似度來(lái)度量,計(jì)算調(diào)整后的圖與原圖之間的顏色方差δ得如下公式陨舱。
可知方差越大相似度越低翠拣,當(dāng)超過(guò)一定值,直接為0隅忿。
上圖紅色線顯示了在調(diào)節(jié)飽和度參數(shù)時(shí)的分?jǐn)?shù)變化心剥,可見(jiàn)它的最優(yōu)值不是最大也不是最小,同時(shí)在調(diào)節(jié)飽和度的過(guò)程中背桐,HDR,Composition構(gòu)圖的分?jǐn)?shù)幾乎不變蝉揍,整體的美學(xué)質(zhì)量Φ變化也不大链峭。
HDR類(lèi)似如下圖,有點(diǎn)小trick自己看paper吧又沾,調(diào)節(jié)過(guò)程中弊仪,composition分?jǐn)?shù)和飽和度分?jǐn)?shù)幾乎不變熙卡。
這樣一來(lái),正負(fù)樣本就都有了励饵,同時(shí)每一個(gè)原圖驳癌,都產(chǎn)生6張對(duì)應(yīng)的負(fù)樣本。優(yōu)化的時(shí)候役听,直接線性搜索飽和度參數(shù)和HDR參數(shù)即可颓鲜。
于是我們得到了根據(jù)圖片,自適應(yīng)調(diào)整飽和度典予,HDR的濾鏡甜滨。
這里提一句,在風(fēng)光攝影中HDR幾乎是必調(diào)參數(shù)瘤袖,而人像中一般不調(diào)衣摩,以后再詳說(shuō)。
3.3.2 怎么學(xué)習(xí)構(gòu)圖呢捂敌?
在這里我們暫且將構(gòu)圖認(rèn)為是怎么裁剪出最好的圖片艾扮。
同樣第一步是搞負(fù)樣本,在這里還做了點(diǎn)數(shù)據(jù)增強(qiáng)占婉。
對(duì)于現(xiàn)有的評(píng)分最好的圖泡嘴,按照寬度隨機(jī)裁剪90%~100%,并進(jìn)行0.5~2之間的隨機(jī)放縮锐涯,這一批磕诊,作為正樣本。
第二批纹腌,則按照寬度隨機(jī)裁剪50%~90%霎终,保證這兩批圖的數(shù)量相等。
分?jǐn)?shù)怎么定呢升薯?
直接計(jì)算面積比莱褒,第2批中的圖除以第1批中的對(duì)應(yīng)圖的面積,這也是個(gè)不大于1的值涎劈。
這時(shí)候我們來(lái)看广凸,在調(diào)整裁剪位置的過(guò)程中,所有的分?jǐn)?shù)都受到了影響蛛枚。
可以認(rèn)為是裁剪位置變了谅海,主體有可能發(fā)生變化,這時(shí)候飽和度和HDR就需要選擇更好的參數(shù)了蹦浦。
作者們也說(shuō)了扭吁,不能對(duì)這個(gè)現(xiàn)象閉著眼睛不當(dāng)做不存在,所以在優(yōu)化最佳裁剪位置時(shí)的目標(biāo)函數(shù)中,加上了一個(gè)經(jīng)驗(yàn)參數(shù)侥袜,帶上了全局的美學(xué)質(zhì)量蝌诡,優(yōu)化目標(biāo)不止Φcrop了。訓(xùn)練采用的是自家的inception v3枫吧,
3.3.3 怎么學(xué)習(xí)光照呢浦旱?
攝影是光和影的藝術(shù),光照的作用九杂,基本上是區(qū)分?jǐn)z影師檔次的金標(biāo)準(zhǔn)颁湖。
文中提到了vignetting濾鏡,它根據(jù)幾何學(xué)改變光效——通常是增加圖像中心的亮度尼酿,降低邊緣的亮度爷狈,也就是內(nèi)外發(fā)光,可以去snapseed找裳擎,這诚延溃可以制造光暈的效果。
下面遇到了一個(gè)問(wèn)題鹿响,因?yàn)樯厦娌徽撌秋柡投菻DR羡微,還是crop,在應(yīng)用一個(gè)現(xiàn)有的濾鏡之后惶我,我們都可以比較處理后的圖和原圖得到一個(gè)分?jǐn)?shù)妈倔,從而可以得到label,而光效這個(gè)東西绸贡,沒(méi)法打分啊盯蝴。
沒(méi)有了label,怎么辦听怕,懂行的可能想到了捧挺,祭出GAN!
GAN尿瞭?
這個(gè)很正經(jīng)的噢闽烙,咱們以后說(shuō)。
總之做法就是以同樣的概率声搁,選擇了snapseed中對(duì)比度調(diào)整黑竞,亮度調(diào)整缕粹,HDR功能旭绒,光暈外發(fā)光效果弃鸦,曲線功能等來(lái)對(duì)圖像進(jìn)行操作得到了一些圖擅这,這些圖相對(duì)于原圖來(lái)說(shuō),質(zhì)量更低颈畸,姑且稱(chēng)之為M‘伊佃,把原圖稱(chēng)為M响蕴。
上面說(shuō)了我們沒(méi)法直接計(jì)算M'相對(duì)于M的美學(xué)分?jǐn)?shù)骤铃,那么怎么辦呢拉岁?我們希望學(xué)習(xí)到一個(gè)濾波器O,使得M=O(M’)惰爬,采用的無(wú)監(jiān)督學(xué)習(xí)方法GAN喊暖,因?yàn)樗梢宰笥一ゲ?/b>。
更具體的細(xì)節(jié)咱們也不表了撕瞧,O學(xué)習(xí)到的最終形式是一個(gè)8×8的濾波器陵叽,利用了DCGAN,以后我們會(huì)來(lái)認(rèn)真說(shuō)說(shuō)這個(gè)GAN的丛版。
下面有一張效果圖巩掺。
第1列是原圖,第3列是結(jié)果圖页畦,第2列就是這個(gè)光暈濾鏡了胖替。顏色越近的地方,濾鏡參數(shù)越相近豫缨,感受一下吧独令。
差不多不能再說(shuō)了,總之分別學(xué)習(xí)到這幾個(gè)濾波器后好芭,就可以從采集回來(lái)的360度google街景圖中選擇一個(gè)好的構(gòu)圖燃箭,然后調(diào)整飽和度,HDR參數(shù)舍败,加上光暈招狸,一張準(zhǔn)專(zhuān)業(yè)的圖就這樣無(wú)人工干預(yù)的出來(lái)了。
仿佛聽(tīng)到了AI在說(shuō)邻薯,以后攝影我包了裙戏,以后后期我包了,你們?nèi)祟?lèi)去找點(diǎn)其他的愛(ài)好吧弛说。
這還怎么玩挽懦。。木人。信柿。。醒第。渔嚷。
如果你今天不提高自己的審美,以后稠曼,ai都可以嘲笑你形病。
那為什么,
還不關(guān)注加入我們,
從小白到老司機(jī)漠吻,
一起抱個(gè)團(tuán)呢量瓜?
言有三,原360 AI研究院工程師途乃,一個(gè)半吊子攝影愛(ài)好者绍傲,等你噢。
攝影還是要認(rèn)真學(xué)的耍共,歡迎來(lái)500px.com烫饼。