基本結構
結構
基本結構有兩部分組成:圖像轉換網絡(image transfer network)和損失網絡蓖墅,損失網絡作為損失方程。圖像轉換網絡是一個深度殘差卷積網絡爬凑,將輸入圖像轉換成輸出圖像
辖试,使用隨機梯度下降法來訓練
為了克服像素損失的缺點,使損失方程能夠更好的度量感知和語義相關的信息级乐。因此使用一個預訓練好的分類網絡定義特征損失和風格損失,作為損失函數县匠。
圖像轉換網絡
圖像轉換網絡使用帶有步長的卷積代替池化層進行下采樣和上采樣[#參考#]风科,網絡的主體包括兩個步長為2的卷積層(下采樣)、五個殘差塊乞旦、兩個步長為1/2的卷積層(上采樣)贼穆,不是殘差塊的層緊接著batch norm 和RELU,第一層和最后一層使用的卷積核兰粉,其他層使用
的卷積層故痊。
輸入和輸出:
感知損失函數
特征(內容)損失:使用VGG高級特征表示,使得內容和全局結構保留玖姑,但顏色和紋理形狀不復存在愕秫。
風格損失:顏色、紋理和共同模式上的不同
將第j層的特征()reshape成一個矩陣M()客峭,則伽馬矩陣豫领,使用伽馬矩陣作為損失函數。
先下采樣再上采樣的好處:
- 計算復雜性減少
- 有效的感受野大小舔琅,輸出中的每個像素都有輸入中的大面積有效的感受野等恐。
損失函數
- 像素損失:輸出圖像與目標圖像之間的歐式距離
- 總變差正則化:為了使空間更平滑,使用總變差正則損失
訓練
80k的coco數據集resize到256备蚓,訓練batch size為4课蔬, 一共40k次迭代,使用Adam學習率為0.001的學習器郊尝。