前言
平時(shí)生活中笤妙，我們經(jīng)常碰到一些自己喜歡的圖片卻苦于分辨率很低冒掌，而原圖又找不太到。 現(xiàn)在蹲盘，神經(jīng)網(wǎng)絡(luò)可以幫助我們從一張給定的低分辨率圖片恢復(fù)出高分辨率的圖片股毫。 這個(gè)功能聽(tīng)上去既炫酷又實(shí)用，具體是怎么做的呢召衔，詳見(jiàn)下文铃诬！
Demo效果
上圖就是訓(xùn)練了2000次后的模型的效果，只需要輸入一張左邊的低精度的圖片苍凛， 就可以生成右邊的高精度的圖片趣席。肉眼看上去效果還是非常不錯(cuò)的！
這張GIF則展示了整個(gè)訓(xùn)練過(guò)程的變化醇蝴， 左邊的圖是由神經(jīng)網(wǎng)絡(luò)生成的宣肚， 中間的是原始的高精度的圖片， 右邊的是輸入到神經(jīng)網(wǎng)絡(luò)的低分辨率圖片悠栓， ==神經(jīng)網(wǎng)絡(luò)在整個(gè)生成過(guò)程中是沒(méi)有得到高精度圖片信息的霉涨，這里給出高精度圖片只是為了對(duì)比體現(xiàn)生成的效果==〔咽剩可以看到在100次epoch迭代之后笙瑟，性能已經(jīng)非常不錯(cuò)了。
鏈接
項(xiàng)目源碼：基于keras的SRGAN實(shí)現(xiàn).
主要參考了著名的keras-GAN這個(gè)庫(kù)癞志，做了一些小改動(dòng)使得節(jié)目效果更好往枷，適合作為Demo來(lái)展示哈哈。如果對(duì)你有幫助的話請(qǐng)Star一下哈凄杯！
論文地址 被引用了1500多次错洁，很強(qiáng)了！這個(gè)代碼也是根據(jù)論文里的參數(shù)寫(xiě)的戒突。
數(shù)據(jù)集地址 這個(gè)鏈接給出了百度云和谷歌云盤(pán)的下載地址墓臭，筆者是用百度云下載的，非會(huì)員用戶(hù)妖谴， 5M/s的速度，很給力酌摇！
原理分析
這里提供非常概括性的分析膝舅，想深入理解的同學(xué)建議參考原文。
系統(tǒng)模型
首先作者使用了非骋ざ啵火熱的GAN生成對(duì)抗網(wǎng)絡(luò)（對(duì)GAN不熟悉的可以百度一下GAN仍稀，已經(jīng)有許多優(yōu)質(zhì)的資料）。 生成網(wǎng)絡(luò)（上圖上半部）接收低精度圖片作為輸入埂息，通過(guò)殘差網(wǎng)絡(luò)等技潘，生成高精度圖片遥巴。 然后 判別器網(wǎng)絡(luò)（上圖下半部）接收一個(gè)輸入， 判斷其是否為生成的圖片享幽。 損失函數(shù)為：
沒(méi)有GAN基礎(chǔ)的同學(xué)可能比較難理解上述公式铲掐，這里深入淺出的通俗解釋下訓(xùn)練過(guò)程其實(shí)就是：
- 固定生成器G (參數(shù)為
), 訓(xùn)練判別器，使得其能夠分辨 真實(shí)的圖片和生成器生成的圖片值桩。
- 固定判別器摆霉， 訓(xùn)練生成器， 使得其能夠讓固定的判別器將其判別為真實(shí)的圖片
如此迭代之后奔坟， 判別器再也無(wú)法分別真實(shí)和生成的圖片携栋，此時(shí)就說(shuō)明生成器生成的圖片已經(jīng)足夠以假亂真。這里真實(shí)的圖片指的就是高精度的圖片咳秉，訓(xùn)練完成后婉支，我們期望生成器可以接收低精度圖片，來(lái)生成高精度圖片澜建。
生成器作者主要使用了ResNet來(lái)實(shí)現(xiàn)向挖。
判別器是使用了常規(guī)的卷積神經(jīng)網(wǎng)絡(luò)。
損失函數(shù)
與普通的GAN網(wǎng)絡(luò)不同的是霎奢，這篇文章還考慮了content loss：
意思就是户誓，生成的圖片會(huì)和準(zhǔn)確的圖片一起，輸入到VGG網(wǎng)絡(luò)中幕侠，然后得到特征圖帝美。 再將兩者的特征圖求MSE，并訓(xùn)練生成器縮小該MSE晤硕。這就是從內(nèi)容的角度悼潭，讓生成的圖片和準(zhǔn)確圖片盡可能的接近。
結(jié)合上述的GAN網(wǎng)絡(luò)舞箍，本文采用的loss是：
也就是說(shuō)在MSE損失的基礎(chǔ)上舰褪，摻入了一點(diǎn)GAN的損失，作者指出這樣會(huì)獲得更好的性能疏橄。
實(shí)驗(yàn)
上述簡(jiǎn)單的概述應(yīng)該很難讓讀者完全看懂占拍，建議結(jié)合論文與代碼一起融會(huì)貫通。這里說(shuō)一下仿真細(xì)節(jié)：
數(shù)據(jù)集使用了數(shù)據(jù)集地址 人臉數(shù)據(jù)集捎迫，因此要恢復(fù)的圖片也應(yīng)該是人像圖才會(huì)效果比較好晃酒。
筆者的配置是1080Ti + i9-9900k + 48G內(nèi)存， 因此使用的batch_size為10窄绒。配置不夠的同學(xué)可以先設(shè)為1贝次，確保機(jī)器可以跑起來(lái)。
具體還可以參見(jiàn)基于keras的SRGAN實(shí)現(xiàn)中的readme彰导，有具體的使用方法蛔翅。
結(jié)束
這個(gè)Demo非常簡(jiǎn)單敲茄，但是效果很不錯(cuò)，適合課堂演示山析，Presentation之類(lèi)的堰燎。
我給出了自己這邊訓(xùn)練了2000次后的模型權(quán)重，可以從鏈接下載
提取碼：su92
由于訓(xùn)練的模型固定了輸出的尺寸盖腿，因此你自己想輸入的圖片也盡可能取正方形圖片（裁剪一下就行）爽待。
