題目：一個藝術風格化的神經網(wǎng)絡算法
- 文章地址：《A Neural Algorithm of Artistic Style》. arXiv:1508.06576
- Github鏈接：https://github.com/jcjohnson/neural-style
(轉載請注明出處：【譯】A Neural Algorithm of Artistic Style (zhwhong) )
快讀
正文
對于好的藝術，尤其是畫作筒严，人們掌握了通過在內容和風格中構成復雜的影響來創(chuàng)造獨特的視覺體驗的技能擒滑。因此這個過程的算法基礎是未知的而且不存在任一人工系統(tǒng)有同樣的能力。但是积瞒，在其他基于視覺概念的關鍵領域,比如說接近于人類表現(xiàn)的物體和臉部識別最近已由一系列仿生的稱為深度神經網(wǎng)絡的視覺模型做到了.在這時我們介紹一種其于深度神經網(wǎng)絡的人工系統(tǒng),它可以生成具有高感知品質的藝術圖片.這個系統(tǒng)使用了神經的表達來分離并且再結合任意圖片的內容和風格,為生成藝術圖片提供了一個神經算法.而且,按照要去表現(xiàn)最優(yōu)的人工神經網(wǎng)絡和生物視覺中找到相同.我們的工作提供了人類是怎樣創(chuàng)作和認知藝術圖像的算法理解.
處理圖像任務最有效的深度神經網(wǎng)絡是卷積神經網(wǎng)絡川尖。卷積神經網(wǎng)絡由幾層小的在前饋中分層處理視覺信息的可計算單元組成。每一層單元都 可以被理解為一個圖片過濾器的集合（collection)茫孔，每一個從中提取特定的特征叮喳。因此，一個給定的層的輸出包括我們稱為特征譜(map)：輸入圖片的不同的被過濾的版本缰贝。
當卷積網(wǎng)絡在物體識別上被訓練時馍悟，它們生成了一種對于圖片的表達，能夠沿著層次使特征的信息不斷（increasingly)明確剩晴。因此锣咒，沿著網(wǎng)絡的層次，這個輸入圖片被轉化為的呈現(xiàn)越來越關注實際的圖片內容赞弥，對比于它具體的像素值毅整。我們可以直接可視化每層包括的關于輸入圖片的信息，通過只重構該層的特征圖譜绽左。網(wǎng)絡的更高層捕捉了物體在高層的內容和在輸入圖片的應用悼嫉，但是不含重構的精確的像素值。與此相反拼窥，從更低的層次的重構簡單地重新生成了原始圖像的具體像素值戏蔑。我們因此參考了網(wǎng)絡高層的特征反應作為內容表現(xiàn)。為了獲取一個輸入圖片的風格表現(xiàn)闯团，我們使用了一個特征空間被原始地設計來捕獲紋理信息辛臊。這個特征空間是建立在網(wǎng)絡每一層的過濾器的響應（response)上的。它由空間范圍內的特征圖譜不同的過濾響應間的聯(lián)系組成（細節(jié)看method部分）房交。通過包括多層的特征關聯(lián)彻舰，我們獲得了一個固定的（stationry)，多層規(guī)模的對于輸入圖片的陳述，這個表現(xiàn)可以捕獲寬的紋理信息而不是全局的應用（arrangement)刃唤。
圖像1 ：卷積神經網(wǎng)絡 (CNN)隔心。一個給定的輸入圖像由一個被過濾過的存在于卷積網(wǎng)絡各個處理過程中的圖像集呈現(xiàn)。當不同的過濾器的數(shù)量沿著處理的層次增長時尚胞，過濾后圖像的大小被一些下采樣機制減小硬霍，導致了在網(wǎng)絡每一層的單元總數(shù)的減小。
內容重構笼裳。我們可以通過從一個已知特定層的網(wǎng)絡的響應重構輸入圖片來可視化CNN中不同處理層的信息唯卖。我們重構了輸入圖像從VGG的‘conv1 1’ (a), ‘conv2 1’ (b), ‘conv3 1’ (c), ‘conv4 1’ (d) and ‘conv5 1’ (e)。發(fā)現(xiàn)從較低層重構的幾乎可以稱完美 （a,b,c)躬柬。在網(wǎng)絡的較高層拜轨，具體的像素值信息在更高層次的內容被保存的時候丟失了（d,e)。
風格重構允青。在原始的CNN的最高層我們建立了一個新的特征空間來捕獲輸入圖片的風格橄碾。風格表現(xiàn)計算了CNN不同層中不同特征的聯(lián)系。我們重構了輸入圖像的風格颠锉，建立在以下CNN層的子集( ‘conv1 1’ (a), ‘conv1 1’ and ‘conv2 1’ (b), ‘conv1 1’, ‘conv2 1’ and ‘conv3 1’ (c), ‘conv1 1’, ‘conv2 1’, ‘conv3 1’ and ‘conv4 1’ (d), ‘conv1 1’, ‘conv2 1’, ‘conv3 1’, ‘conv4 1’ and ‘conv5 1’ (e))法牲。這創(chuàng)作的圖像在增長的規(guī)模上符合了給定圖像的風格，同時丟棄了全局的場景應用的信息琼掠。
再一次拒垃，我們可以通過重構一個可以符合（match)輸入圖風格表現(xiàn)的圖像來可視化由在網(wǎng)絡不同層風格特征空間捕獲的信息（圖1，風格重構）眉枕。事實上從風格特征重建產生的紋理化的輸入圖片恶复，捕獲了它依照顏色和局部結構捕獲的外觀。而且速挑，沿著處理的層次谤牡，輸入圖片局部的圖片結構的大小和復雜性增加，這可以解釋為增長的感受野的大小和特征的復雜性姥宝。我們參考了多層的呈現(xiàn)現(xiàn)作為
風格表達翅萤。
這篇論文的關鍵發(fā)現(xiàn)在于風格和內容在卷積神經網(wǎng)絡中的表達是可以分開的。也就是說腊满，我們可以獨立地操縱兩種表達來產生新的套么、可以感受的有意義的圖片。為了展示這個發(fā)現(xiàn)碳蛋，我們生成了一些混合了不同源圖片的內容和風格表現(xiàn)的圖片胚泌。特別的，我們匹配了一張照片描繪the “Neckarfront” in Tubingen, Germany和一張幾個不同時期的有名的藝術作品作為風格肃弟。
這類圖片是發(fā)現(xiàn)一張和照片的內容表現(xiàn)和各自的藝術作品的風格表現(xiàn)兩相匹配的圖片合成的(圖2)玷室。
這些圖片是通過尋找一個同時匹配照片的內容表現(xiàn)和各類藝術的圖片合成的(see method for details).在原始照片的全局布置被保留的同時,構成全局景色的顏色和局部結構則由藝術作品提供.實際上,它把照片渲染成了藝術作品的風格,比如說合成圖片的表現(xiàn)類似于藝術作品,盡管它的內容和照片相同.
正如概述所言,風格表現(xiàn)是一個多層次的表達,包括了多層神經網(wǎng)絡.在我們在圖2中展示的圖片那樣,這個風格表現(xiàn)包括了整 個神經網(wǎng)絡結構的各個層次.風格也可以被定義為更為局部化,因為它只包含了少量的低層結構,這些結構能產生不同的視覺效果(圖2,along the rows).當風格表現(xiàn)匹配到網(wǎng)絡的更高層時,局部的圖片結構會逐漸在大的尺寸上匹配,產生了一個更平滑更連續(xù)的視覺體驗.因此,視覺上更有感染力的圖片通常是由風格表現(xiàn)匹配到更高層網(wǎng)絡的方法產生的(圖2,last row).
當然,圖片內容和風格不能被完全分離.當合成一張結合了某張圖片的內容和另一張圖片的風格時,通常不存在一個圖片能同時完美的匹配這兩張圖片.然而,這個我們在合成過程中要最小化的loss函數(shù)包含了我們很好分離開的兩個方面,內容和風格(see method).因此我們可以平滑地調節(jié)在重構內容或者是風格時的重點(圖3,along the columns).著重強調風格產生的圖片可以匹配藝術作品的表現(xiàn),實際上也就是給了一個紋理化的版本,但是幾乎不能表現(xiàn)任何照片的內容(圖3,first column).當把比重放在內容上時,結果可以很清晰得確認到照片,但是畫作的風格就不能很好地匹配(圖3,last column).對于一對特定的源圖片我們可以調節(jié)在內容和風格間的協(xié)調來產生視覺上有感染力的圖片.
圖3:合成 *Composition VII * by Wassily Kandinsky的風格的細節(jié)結果.每一行展示的結果,要匹配的風格表現(xiàn)用到的CNN的子集層數(shù)逐漸增加(see Methods).我們發(fā)現(xiàn)由風格表現(xiàn)捕獲的局部的圖片結構的大小和復雜性隨著包括了更高的網(wǎng)絡層次增加.這可以解釋為是由于沿成網(wǎng)絡處理的結構感受域的大小和特征復雜性增加.每一列展示了在內容和風格上取不同的相關權值的結果.每一列上方的數(shù)值指示了比值a/b(alpha/beta).
在這里我們展示了一個可以達到分離圖片內容和風格的人工神經網(wǎng)絡,因此它也可以用另一個圖片的風格改寫某張圖片的內容.我們通過生成新的,藝術化的結合了一些有名的畫作的風格和任意選定的照片的內容的合成圖片來展示.特別的,我們推導出圖片的內容和風格在神經網(wǎng)絡中的表現(xiàn)的特征響應為了物體識別而訓練的表現(xiàn)很好的深度神經網(wǎng)絡.就我們所知,這是把整個自然圖片的風格和內容的圖片特征分開的首次展示.之前的在分離圖片內容和風格上的工作所評估的圖片的輸入要簡單很多,比如說不同的手寫單詞或者是人臉或者是不同姿勢的小圖片.
在我們的展示中,我們提供了一個在不同的有名的藝術作品風格下的給定圖片.這個問題通常是由計算機視覺中的被稱為相片擬真處理技術(photorealistic rendering)的方法研究的.在概念上更相關的方法使用了紋理轉化來達到藝術風格轉換.與此相反,通過使用為了物體識別訓練的深度神經網(wǎng)絡,我們在特征空間中使用的手法清楚得表現(xiàn)了圖片高層的內容.
從為了物體識別訓練的深度神經網(wǎng)絡中提取的物征已經被應用到風格識別上來根據(jù)藝術作品產生的時期分類.那里,分類器是由原始的網(wǎng)絡激活層訓練的,我們將其稱為內容表現(xiàn).我們猜測向一個固定的特征空間的轉化比如說我們的風格表現(xiàn)或許可以在風格分類上有一個更好的表現(xiàn).
一般來說,我們合成圖片的方法,混合了不同來源的內容和風格,提供了一個新的,有趣的工具來學習感知和藝術,風格和內容獨立的圖片通常的神經表現(xiàn).我們可以設計新穎的激勵(novel stiluli(?))來介紹兩個獨立的,感官上有意義的變體的源:圖的表現(xiàn)(appearance)和內容 .我們想像這可能對于很多關于視覺感知的研究都會很有意義,范圍從心理物理學(psychophysics)的功能影像到電生理學(electrophysiological)的神經記錄.事實上,我們的工作提供了一個神經表達是怎樣獨立得捕獲圖片的內容和它被表達的風格的算法理解.重要的是,我們的風格表達的數(shù)學形式生成了一個清楚的,可檢驗的層次結構關于圖現(xiàn)外觀的表現(xiàn),一直細微到一個神經元的層次.這個風格的表現(xiàn)簡單地計算了在網(wǎng)絡中不同種神經元的相互關系.提取的不同神經元間的相互關系是一種生物上可信的計算,也就是說,比如,由主要視覺系統(tǒng)中被稱為的復雜細胞來執(zhí)行.我們的結果表明了表現(xiàn)一個復雜細胞像沿著腹側流(ventral stream)的不同處理過程的計算是一個可能的獲得一個視覺輸入的外觀的內容獨立的表達的方法.
總而言之一個被訓練來處理一個生物視覺的核計算任務的神經系統(tǒng),自動地學習允許圖片內容和風格分離是很神奇的.或許可以這樣解釋,當學習物體識別時,這個網(wǎng)絡變得對于所有的保留物體特征的圖片變量都保持不變.因此,our ability to abstract content from style and therefore our ability to create and enjoy art might be primarily a preeminent(優(yōu)秀的) signature of the powerful inference(推理) capabilities of our visual system.
Method
在正文中展示的結果是以VGG網(wǎng)絡為基礎產生的,一個在一般視覺物體識別的基準任務上可以和人類表現(xiàn)對抗的卷積神經網(wǎng)絡,并且被大量地應用.我們使用由VGG19中的16個卷積層和5個池化層特征空間.我們不需要使用任何全連接層.這個模型公開可用而且可以在caffe框架中找到.為了圖片合成我們用平均池化替代了最大池化來改進梯度流而且可以獲得稍微更有感染力的結果.
事實上網(wǎng)絡的每一層都定義了一個非線性的過濾器組,它的復雜性隨著在網(wǎng)絡中所在層的位置而增加.因此一個給定的輸入圖片x在CNN的每一層的編碼的過濾器是響應圖片的.一個有著Nl個不同的過濾器的層有Nl個特征圖譜,每個圖譜的大小Ml,Ml是特征圖譜的長與寬的乘積.所以對于層L的響應可以被存儲在矩陣中Fl中,Fij表示第i個過濾器在層L中的第j個位置的激活.為了可視化由不同層次編碼的圖片信息(圖1,內容重構)我們對一個白噪聲圖片進行坡度下降來找到另外一張可以匹配原圖的特征反應的圖片.
根據(jù)這個式子關于圖片x的梯度可以用標準差反向傳播計算出來.因此我們可以改變原始的隨機圖片x直到它在特定的CNN的某層生成了和原始圖片P相同的響應. The five content reconstructions in Fig 1 are from layers ‘conv1_1’ (a), ‘conv2_1’ (b), ‘conv3_1’ (c), ‘conv4_1’ (d) and ‘conv5_1’(e) of the original VGG-Network.
在CNN的頂端對網(wǎng)絡每層的響應我們建立了一個風格表達來計算不同的過濾器響應間的相互聯(lián)系,期望是接辦輸入圖的空間擴展(taken over the spatial extend of the input image).這些特征間的相互聯(lián)系是由Gram矩陣計算的,其中Gij(l)是向量化(vectorised)特征圖譜i和j在層l上的內積:
為了生成一個匹配給定圖片的紋理(圖1,風格重構),我們從一個白噪聲圖梯度下降,找到一張與原始圖片的風格匹配的圖片.這是通過最小化原始圖片的Gram矩陣和待生成圖片的Gram矩陣之間的平均方差做到的.
在這里wl是每一層在total loss中所占的權值.El的導數(shù)可以用解析的方法計算出來:
El在更低層的導數(shù)可以很輕易地用標準差反向傳播計算出來.圖1中五個風格的重構是通過匹配在‘conv1_1’ (a), ‘conv1_1’ and ‘conv2_1’(b), ‘conv1_1’, ‘conv2_1’ and ‘conv3_1’(c),‘ conv1_1’, ‘conv2_1’, ‘conv3_1’ and ‘conv4_1’ (d),‘conv1_1’, ‘conv2_1’, ‘conv3_1’, ‘conv4_1’ and ‘conv5_1’ (e)的風格表現(xiàn)生成的.
為了生成混合了照片的內容和畫作的風格的圖片,我們共同最小化了白噪聲在網(wǎng)絡某一層到照片的內容表達的距離以及在CNN網(wǎng)絡多層上到風格表達的距離.我們最小化的loss function是
References and Notes
Krizhevsky, A., Sutskever, I. & Hinton, G. E. Imagenet classification with deep convolutional neural networks. In Advances in neural information processing systems, 1097–1105(2012). URL http://papers.nips.cc/paper/4824-imagenet.
Taigman, Y., Yang, M., Ranzato, M. & Wolf, L. Deepface: Closing the gap to human-level performance in face verification. In Computer Vision and Pattern Recognition (CVPR), 2014 IEEE Conference on, 1701–1708 (IEEE, 2014). URL http://ieeexplore.ieee.org/xpls/abs_all.jsp?arnumber=6909616.
G ?uc ?l ?u, U. & Gerven, M. A. J. v. Deep Neural Networks Reveal a Gradient in the Complexity of Neural Representations across the Ventral Stream. The Journal of Neuroscience 35, 10005–10014 (2015). URL http://www.jneurosci.org/content/35/27/10005.
Yamins, D. L. K. et al. Performance-optimized hierarchical models predict neural responses in higher visual cortex. Proceedings of the National Academy of Sciences 201403112 (2014). URL
http://www.pnas.org/content/early/2014/05/08/1403112111.Cadieu, C. F. et al. Deep Neural Networks Rival the Representation of Primate IT Cortex for Core Visual Object Recognition. PLoS Comput Biol 10, e1003963 (2014). URL
http://dx.doi.org/10.1371/journal.pcbi.1003963.K ?ummerer, M., Theis, L. & Bethge, M. Deep Gaze I: Boosting Saliency Prediction with Feature Maps Trained on ImageNet. In ICLR Workshop (2015). URL /media/publications/1411.1045v4.pdf.
Khaligh-Razavi, S.-M. & Kriegeskorte, N. Deep Supervised, but Not Unsupervised, Models May Explain IT Cortical Representation. PLoS Comput Biol 10, e1003915 (2014). URL
http://dx.doi.org/10.1371/journal.pcbi.1003915.Gatys, L. A., Ecker, A. S. & Bethge, M. Texture synthesis and the controlled generation of natural stimuli using convolutional neural networks. arXiv:1505.07376 [cs, q-bio] (2015). URL http://arxiv.org/abs/1505.07376. ArXiv: 1505.07376.
Mahendran, A. & Vedaldi, A. Understanding Deep Image Representations by Inverting Them. arXiv:1412.0035 [cs] (2014). URL http://arxiv.org/abs/1412.0035. ArXiv: 1412.0035.
Heeger, D. J. & Bergen, J. R. Pyramid-based Texture Analysis/Synthesis. In Proceedings of the 22Nd Annual Conference on Computer Graphics and Interactive Techniques, SIGGRAPH ’95, 229–238 (ACM, New York, NY, USA, 1995). URL http://doi.acm.org/10.1145/218380.218446.
Portilla, J. & Simoncelli, E. P.A Parametric Texture Model Based on Joint Statistics of Complex Wavelet Coefficients. International Journal of Computer Vision 40, 49–70 (2000). URL
http://link.springer.com/article/10.1023/A%3A1026553619983.Tenenbaum, J. B. & Freeman, W. T. Separating style and content with bilinear models. Neural computation 12, 1247–1283 (2000). URL http://www.mitpressjournals.org/doi/abs/10.1162/089976600300015349.
Elgammal, A. & Lee, C.-S. Separating style and content on a nonlinear manifold. In Computer Vision and Pattern Recognition, 2004. CVPR 2004. Proceedings of the 2004 IEEE Computer Society Conference on, vol. 1, I–478 (IEEE, 2004). URL http://ieeexplore.ieee.org/xpls/abs_all.jsp?arnumber=1315070.
Kyprianidis, J. E., Collomosse, J., Wang, T. & Isenberg, T. State of the ”Art”: A Taxonomy of Artistic Stylization Techniques for Images and Video. Visualization and Computer 14Graphics, IEEE Transactions on 19, 866–885 (2013). URL http://ieeexplore.ieee.org/xpls/abs_all.jsp?arnumber=6243138.
Hertzmann, A., Jacobs, C. E., Oliver, N., Curless, B. & Salesin, D. H. Image analogies. In Proceedings of the 28th annual conference on Computer graphics and interactive techniques, 327–340 (ACM, 2001). URL
http://dl.acm.org/citation.cfm?id=383295.Ashikhmin, N. Fast texture transfer. IEEE Computer Graphics and Applications 23, 38–43(2003).
Efros, A. A. & Freeman, W. T. Image quilting for texture synthesis and transfer. In Proceedings of the 28th annual conference on Computer graphics and interactive techniques, 341–346 (ACM, 2001). URL http://dl.acm.org/citation.cfm?id=383296.
Lee, H., Seo, S., Ryoo, S. & Yoon, K. Directional Texture Transfer. In Proceedings of the 8th International Symposium on Non-Photorealistic Animation and Rendering, NPAR ’10, 43–48 (ACM, New York, NY, USA, 2010). URL http://doi.acm.org/10.1145/1809939.1809945.
Xie, X., Tian, F. & Seah, H. S. Feature Guided Texture Synthesis (FGTS) for Artistic Style Transfer. In Proceedings of the 2Nd International Conference on Digital Interactive Media in Entertainment and Arts, DIMEA ’07, 44–49 (ACM, New York, NY, USA, 2007). URL http://doi.acm.org/10.1145/1306813.1306830.
Karayev, S. et al. Recognizing image style. arXiv preprint arXiv:1311.3715 (2013). URL
http://arxiv.org/abs/1311.3715.Adelson, E. H. & Bergen, J. R. Spatiotemporal energy models for the perception of motion. JOSA A 2, 284–299 (1985). URL http://www.opticsinfobase.org/josaa/fulltext.cfm?uri=josaa-2-2-284.
Simonyan, K. & Zisserman, A. Very Deep Convolutional Networks for Large-Scale Image Recognition. arXiv:1409.1556 [cs] (2014). URL http://arxiv.org/abs/1409.1556. ArXiv: 1409.1556.
Russakovsky, O. et al. ImageNet Large Scale Visual Recognition Challenge. arXiv:1409.0575 [cs] (2014). URL http://arxiv.org/abs/1409.0575. ArXiv:1409.0575.
Jia, Y. et al. Caffe: Convolutional architecture for fast feature embedding. In Proceedings of the ACM International Conference on Multimedia, 675–678 (ACM, 2014). URL http://dl.acm.org/citation.cfm?id=2654889.
(注：感謝您的閱讀零蓉，希望本文對您有所幫助。如果覺得不錯歡迎分享轉載穷缤，但請先點擊 這里 獲取授權敌蜂。本文由 版權印 提供保護，禁止任何形式的未授權違規(guī)轉載津肛，謝謝章喉！)
