Prisma理論篇:火遍朋友圈的修圖工具Prisma的背后是什么该镣?

引子:有段子手言,地球上的人一半在用Pokemon Go追皮卡丘的時候必盖,剩下的一半在用Prisma修圖拌牲!這款由俄羅斯創(chuàng)業(yè)團隊研發(fā)的圖片處理app俱饿,從研發(fā)到上線僅幾個月就用戶量驚人歌粥,更讓人驚訝的是,團隊僅僅只有四個人拍埠。這真的可能嗎失驶?



如果你是因為標題黨而進來,謝謝并希望你離開的時候能獲得你想要的干貨枣购;如果你已經猜到了答案嬉探,也謝謝你愿意進來驗證你的猜測擦耀。

沒錯,火遍朋友圈的修圖工具Prisma的背后就是最近流行的四個字:深度學習涩堤。啊對眷蜓,就是一個深度神經網絡模型,很深很深的網絡模型胎围,大概有19層那么深吁系。(咦這個確實好深啊,貌似那個下圍棋的alphago也就13層~)

不是說干貨么白魂,這就完了汽纤?當然不行。那咱能直接跑一個模型玩玩嗎福荸?貌似也不太行蕴坪。跑這樣一個神經網絡模型,需要你的計算機有一顆強大的心臟(最好有個GPU啥的)敬锐,然后背传,你需要安裝一堆lua,torch滞造,caffe续室,cuda之類的玩意兒。你以為prisma和別的app一樣谒养,是靠你那小手機就能搞出這么炫酷的樣式嗎挺狰?非也,它的背后必須有一個強大的云服務器买窟。不信你斷網丰泊,再拿prisma試試。

所以始绍,prisma是把你的圖片壓縮好后瞳购,用網絡傳送到了他家服務器,然后處理結束再傳給了你亏推。

嗯這還不是特別干的干貨学赛,下面才進入正題。也許你會覺得有點枯燥吞杭,不過希望我盡量能講的通俗盏浇,你盡量能收點干貨,而那些繁瑣的數學公式和略晦澀的術語我會跳過芽狗。


下文主要參考自論文:A Neural Algorithm of Artistic Style(by Leon A. Gatys, Alexander S. Ecker, and Matthias Bethge)

在深度神經網絡的家族里绢掰,處理圖片最給力的模型叫卷積神經網絡(Convolutional Neural Network,簡稱CNN)。CNN的每一層結構和一般的NN不太一樣滴劲,它的每一層就像一個過濾器攻晒,分層次的處理輸入圖像。每經過一層班挖,就會更抽象一些鲁捏,術語上來說是對上一層的特征提取。所以萧芙,每一層都可以看作為一個特征映射(feature maps)碴萧。


當CNN被用來訓練識別物體(object recognition)時,研究者構造了一種網絡結構末购,它可以使物體信息逐層更明顯地提取出來破喻,也就是說,這種網絡結構關心的是圖片內容(content)盟榴。每一層的feature maps都可以用來重構圖片曹质,較深層次(high-level)的重構,如下圖第二排d擎场,e羽德,更多的捕捉內容而忽略像素,而較淺的迅办,如下圖第二排a宅静,b,c站欺,僅僅是像素的復制姨夹。因此,研究者多采用較深的網絡結構來做內容重構(content representation)矾策。



而CNN模型也同樣可以用來做風格重現(style representations)磷账。這時,研究者使用一種原創(chuàng)設計的特征空間(feature space)來提取圖片的紋理信息(texture information)贾虽。feature space會加在每一層過濾層之上逃糟,它包含的是不同過濾層處理后的feature maps之間的相關性。這樣處理后得到的僅是圖片的紋理而不是整體布局(global arrangement)蓬豁。如上圖第一排所示绰咽。同樣的,較深的網絡層可以更好的提取紋理而忽略內容地粪。

論文研究者的發(fā)現是:content representations和style representations是可以分離的取募!且重新組合后可以成為一張全新的圖片,它具備名畫(artwork)的風格和我們自己的照片的內容驶忌。這就是prisma提供給我們的修圖效果矛辕。同時,內容重現和風格重現在重構過程中是可以權衡的(trade-off)付魔。所以聊品,prisma也具備了百分比設置功能,即多大程度保留內容几苍。

而其實這項技術在2015年8月左右就已經在github上公布了翻屈,搜索deepdream可以找到。而如今它真的成為了一款流行市場的互聯網產品妻坝,歷時將近一年伸眶。這從技術開發(fā)到面向市場的速率也非常驚人。再看自動駕駛技術刽宪,糅合人工智能厘贼,AR/VR等技術,雖然如今還事故頻頻圣拄,但相信將來也會技驚四座嘴秸。

以上用一句話概括就是,深度學習實現了藝術內容和藝術風格的分離與重構庇谆。雖然這還談不上創(chuàng)造力岳掐,但也算art and science的完美結合!這不愧說—— Data scientist is the sexist job of 21st century.

———— END ————

參考鏈接:

https://github.com/jcjohnson/neural-style

http://arxiv.org/abs/1508.06576

https://github.com/google/deepdream

最后編輯于
?著作權歸作者所有,轉載或內容合作請聯系作者
  • 序言:七十年代末饭耳,一起剝皮案震驚了整個濱河市串述,隨后出現的幾起案子,更是在濱河造成了極大的恐慌寞肖,老刑警劉巖纲酗,帶你破解...
    沈念sama閱讀 217,406評論 6 503
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件,死亡現場離奇詭異新蟆,居然都是意外死亡耕姊,警方通過查閱死者的電腦和手機,發(fā)現死者居然都...
    沈念sama閱讀 92,732評論 3 393
  • 文/潘曉璐 我一進店門栅葡,熙熙樓的掌柜王于貴愁眉苦臉地迎上來茉兰,“玉大人,你說我怎么就攤上這事欣簇」媪常” “怎么了?”我有些...
    開封第一講書人閱讀 163,711評論 0 353
  • 文/不壞的土叔 我叫張陵熊咽,是天一觀的道長莫鸭。 經常有香客問我,道長横殴,這世上最難降的妖魔是什么被因? 我笑而不...
    開封第一講書人閱讀 58,380評論 1 293
  • 正文 為了忘掉前任卿拴,我火速辦了婚禮,結果婚禮上梨与,老公的妹妹穿的比我還像新娘堕花。我一直安慰自己,他們只是感情好粥鞋,可當我...
    茶點故事閱讀 67,432評論 6 392
  • 文/花漫 我一把揭開白布缘挽。 她就那樣靜靜地躺著,像睡著了一般呻粹。 火紅的嫁衣襯著肌膚如雪壕曼。 梳的紋絲不亂的頭發(fā)上,一...
    開封第一講書人閱讀 51,301評論 1 301
  • 那天等浊,我揣著相機與錄音腮郊,去河邊找鬼。 笑死筹燕,一個胖子當著我的面吹牛伴榔,可吹牛的內容都是我干的。 我是一名探鬼主播庄萎,決...
    沈念sama閱讀 40,145評論 3 418
  • 文/蒼蘭香墨 我猛地睜開眼踪少,長吁一口氣:“原來是場噩夢啊……” “哼!你這毒婦竟也來了糠涛?” 一聲冷哼從身側響起援奢,我...
    開封第一講書人閱讀 39,008評論 0 276
  • 序言:老撾萬榮一對情侶失蹤,失蹤者是張志新(化名)和其女友劉穎忍捡,沒想到半個月后集漾,有當地人在樹林里發(fā)現了一具尸體,經...
    沈念sama閱讀 45,443評論 1 314
  • 正文 獨居荒郊野嶺守林人離奇死亡砸脊,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內容為張勛視角 年9月15日...
    茶點故事閱讀 37,649評論 3 334
  • 正文 我和宋清朗相戀三年具篇,在試婚紗的時候發(fā)現自己被綠了。 大學時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片凌埂。...
    茶點故事閱讀 39,795評論 1 347
  • 序言:一個原本活蹦亂跳的男人離奇死亡驱显,死狀恐怖,靈堂內的尸體忽然破棺而出瞳抓,到底是詐尸還是另有隱情埃疫,我是刑警寧澤,帶...
    沈念sama閱讀 35,501評論 5 345
  • 正文 年R本政府宣布孩哑,位于F島的核電站卒落,受9級特大地震影響蜈抓,放射性物質發(fā)生泄漏。R本人自食惡果不足惜,卻給世界環(huán)境...
    茶點故事閱讀 41,119評論 3 328
  • 文/蒙蒙 一倒槐、第九天 我趴在偏房一處隱蔽的房頂上張望。 院中可真熱鬧,春花似錦、人聲如沸斗幼。這莊子的主人今日做“春日...
    開封第一講書人閱讀 31,731評論 0 22
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽。三九已至瓶竭,卻和暖如春督勺,著一層夾襖步出監(jiān)牢的瞬間,已是汗流浹背斤贰。 一陣腳步聲響...
    開封第一講書人閱讀 32,865評論 1 269
  • 我被黑心中介騙來泰國打工智哀, 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留,地道東北人荧恍。 一個月前我還...
    沈念sama閱讀 47,899評論 2 370
  • 正文 我出身青樓瓷叫,卻偏偏與公主長得像,于是被迫代替她去往敵國和親送巡。 傳聞我的和親對象是個殘疾皇子摹菠,可洞房花燭夜當晚...
    茶點故事閱讀 44,724評論 2 354

推薦閱讀更多精彩內容

  • 五、Deep Learning的基本思想 假設我們有一個系統(tǒng)S骗爆,它有n層(S1,…Sn)次氨,它的輸入是I,輸出是O摘投,...
    dma_master閱讀 1,646評論 1 2
  • 想當年煮寡,金戈鐵馬踏破賀蘭山缺,
    徐南北閱讀 149評論 0 0
  • 手繪初學犀呼。幸撕。。 剛剛買的水彩外臂,剛剛看完的十里桃花坐儿,剛剛到來的三月,一切都是那么剛剛好
    Kingsleydu閱讀 355評論 0 0