Prisma如何讓你的照片變名畫毅哗?
前段時間 Prisma推出的一款濾鏡引爆社交圈——讓你的照片變成名畫囤热。阿撲在驚訝其神奇效果之余,向?qū)W霸小哥哥了解了一下背后的原理和相關(guān)問題慰于。(最重要的問題就是藝術(shù)家會被替代嗎酱讶?)
Prisma是如何做到的呢?
Prisma名畫濾鏡背后的算法是一種風格轉(zhuǎn)移算法(Style Transfer)的深度學習算法裤园。這種算法最早源自15年論文《A Neural Algorithm of Artistic Style》(下載地址https://arxiv.org/pdf/1508.06576.pdf)撤师。像阿撲這樣的人工智能小白可以大概地這么理解:
合成的新照片是一個副本任務,完成這個任務需要物資和劇情線索:
物資就是你上傳的原圖拧揽,專業(yè)的說法是內(nèi)容圖(content image)剃盾;
線索就是你選擇想要模仿的名畫,專業(yè)的說法是風格圖(style image)淤袜;
玩家需要分析線索——npc的要求(eg:請你幫npc抓一個桶狀的像素怪獸)痒谴,然后用匹配的物質(zhì)(桶狀的像素怪獸)來交給線索npc,合成新的怪獸(目標圖)饮怯。
模型會逐層分析(卷積操作)名畫里面的紋理(為什么是紋理闰歪,不是顏色或筆觸嚎研?請點擊原文閱讀深度學習算法是如何取出一張圖片的風格)蓖墅,再匹配到你上傳的圖片里和抓取的紋理相似的地方。
比如梵高《星空》的例子中临扮,星空中的三角形黑色紋理就被匹配到照片中的三角形建筑圓頂论矾;星空中的黃色月亮就被匹配到了照片里的黃色墻面里。
基于這篇文章杆勇,衍生出了眾多項目贪壳。
比如2015年夏天,Google Research發(fā)起了一項叫DeepDream的項目蚜退。它的主要目的是將神經(jīng)網(wǎng)絡在圖像識別時學習到的信息進行可視化闰靴。
(圖片來自google research)
這種算法可以參考做夢來理解。我們常會在夢中重現(xiàn)和事實稍有偏差的場景钻注,經(jīng)常是潛意思里的小九九跑出來了蚂且。比如,白天阿撲被老板罵了幅恋,心里難過的阿撲夜里做夢也夢到老板罵我杏死。但是更糟的是,罵我的老板的臉替換成阿撲意識深處愛慕的男神陳道明捆交。(當然阿撲的老板從來不罵人淑翼,嘻嘻)
原圖是一張柴犬的照片(著名的doge表情包). 在圖像的不同區(qū)域,深度網(wǎng)絡都“看到了”狗的臉品追,DeepDream算法將其放大了玄括。(圖片來自google research)
康奈爾大學和 Adobe 的工程師也合作推出項目——Deep Photo Style Transfer,這個項目解決了圖像轉(zhuǎn)化過程中的“畸變”問題(https://arxiv.org/abs/1703.07511)肉瓦。
觀看更多風格轉(zhuǎn)移的例子:http://genekogan.com/works/style-transfer/強烈推薦一定要看遭京!