https://arxiv.org/pdf/1802.06474.pdf
NVIDIA的一篇關(guān)于圖像風(fēng)格遷移的文章，論文里的效果看起來很好湘今，也開源了代碼剪菱。先放個(gè)論文里的效果圖壓壓驚
1孝常、Introduction
? ? 本文提出的方法主要包括兩個(gè)步驟：stylization step和smoothing step， 而且每個(gè)step都有closed-form solution上渴。其中stylization step是基于WCT（whitening and coloring transform）算法改進(jìn)后的PhotoWCT喜颁，主要解決了WCT算法的輸出中存在structral artifacts的問題。同時(shí)隔披，僅僅是PhotoWCT并不能保證結(jié)果的空間一致性寂拆，這一問題在smoothing step中作為流行規(guī)劃問題解決纠永。
2、 Photorealistic Image Stylization
? ? 整體流程圖如下圖所示：
可以看出整體的映射函數(shù)可以表示為：
? ? ? ?在stylization step中涉波，與WCT算法相比怠蹂，PhotoWCT的改進(jìn)主要在于用unpooling代替了upsampling少态，將特征提取層中的pooling位置信息引入到了對(duì)稱的層中易遣。
WCT中，在max-pooling過程使特征圖中的空間信息收到了損失侨歉，簡(jiǎn)單的upsampling無法重建輸入圖像中的詳細(xì)結(jié)構(gòu)幽邓。所以需要把pooling中損失的空間信息傳遞到decoder中。
? ? ? ?在smoothing step中主要目標(biāo)有兩個(gè)柒啤。一是在局部鄰域中具有相似內(nèi)容的像素應(yīng)該被相似的風(fēng)格化畸颅，二是平滑的結(jié)果不能顯著的遠(yuǎn)離PhotoWCT的結(jié)果（聽起來就是正則化啦）涛癌。為了實(shí)現(xiàn)這兩個(gè)目標(biāo)弃衍，文中首先建立了一個(gè)affinity matrix
? ? ? ? 然后建立了下述優(yōu)化問題來獲得同時(shí)滿足這兩個(gè)條件的解：
其中dii是W的度矩陣（degree matrix）D的對(duì)角元素激涤，另附度矩陣示意：
整個(gè)smoothing step可表示為：
關(guān)于affinity matrix的問題晤碘，文中采用了matting affinity的方法求厕，具體沒有描述灭抑，還得去論文里看一下。
3劈榨、Conclusion
? ? ? ?作者找了一些人來對(duì)幾種方法的結(jié)果進(jìn)行了評(píng)價(jià)，結(jié)果當(dāng)然是本文的效果最好了棒妨，不過看起來效果確實(shí)是有明顯的差距的纷纫，不是那種強(qiáng)行找優(yōu)勢(shì)的感覺偷厦。Gaty的那個(gè)工作我又復(fù)現(xiàn)過卵洗，確實(shí)是很不平滑聚至，效果很GAN。不過這個(gè)工作感覺對(duì)于content和style內(nèi)容的對(duì)應(yīng)也還是挺有要求的击胜，不是隨意的c和s都對(duì)得上，給出的結(jié)果里面的圖也是看起來比較相關(guān)的內(nèi)容役纹∨妓ぃ總之還是要跑一下再看看有沒有什么改法了。
