coursera deeplearning
一鼻由、GANs for Data Augmentation and Privacy GAN 在數(shù)據(jù)增強(qiáng)和隱私相關(guān)
GAN 一些應(yīng)用
Data Augmentation: Pros & Cons 使用 GAN 來數(shù)據(jù)增強(qiáng)的優(yōu)劣
GANs for Privacy GAN 與隱私
二、Pix2Pix
(1)overview
在 conditional GAN 中輸入的是 noise vector + class vector
在 Pix2Pix 中輸入的是 Real input 沒有 noise vector
(2)PatchGAN 判別器
PatchGAN 判別器生成一個(gè)判別矩陣厚棵，矩陣中的值從 0~1 嗡靡，0 代表假， 1 代表真窟感，標(biāo)簽也是一個(gè)矩陣讨彼，假為全 0 ，真為全 1 柿祈，使用 BCE 損失函數(shù)
(3)U-Net 生成器
(4)Pixel Distance Loss Term
Adersarial Loss -> GAN Loss
(5)Pix2Pix
輸入的圖片和生成的圖片在通道上進(jìn)行連接哈误，然后輸入到判別器 PatchGAN 當(dāng)中
對(duì)判別器來說，損失函數(shù)是由判別器得到的判別矩陣和標(biāo)簽矩陣（真實(shí)樣本為全 1 躏嚎，生成樣本為全 0 ）計(jì)算得到
對(duì)于生成器來說蜜自，損失函數(shù)由 BCE + Pixel Distance Loss Term 組成
其中，標(biāo)簽矩陣為全 1 卢佣，目的是為了讓生成圖片向真實(shí)的方向前進(jìn)
Pix2Pix 應(yīng)用 : Pix2PixHD GauGAN
三重荠、 Cycle GAN
1、Unpaired Image-to-Image Translation
Cycle GAN 屬于 Unpaired Image-to-Image Translation 中的一種
它不需要一對(duì)一成對(duì)風(fēng)格的訓(xùn)練樣本虚茶，它只需要兩種不同風(fēng)格的數(shù)據(jù)集戈鲁，通過無監(jiān)督學(xué)習(xí)實(shí)現(xiàn)從一種風(fēng)格變換為另一種風(fēng)格，學(xué)習(xí)的是兩種風(fēng)格的映射嘹叫，其中對(duì)于變換的兩個(gè)圖片
內(nèi)容=共同的元素
風(fēng)格=特有的元素
2婆殿、CycleGAN Overview
CycleGAN 由兩個(gè) GAN 組成，每個(gè) GAN 都將真實(shí)圖片映射為生成圖片罩扇，然后將生成圖片映射為原圖片
生成器 & 判別器
判別器對(duì)生成圖片和真實(shí)圖片進(jìn)行判別婆芦，與 Pix2Pix 類似
兩個(gè)判別器的判別方向相反
3、 Cycle Consistency
Cycle Consistency Loss 是生成模型的損失函數(shù)喂饥，基本思想是求原圖片變換為目標(biāo)風(fēng)格圖片之后再變換回原圖片和原圖片變換之前的差值
兩個(gè) GAN 的生成器共用一個(gè)優(yōu)化器消约，即這個(gè)損失函數(shù)是兩個(gè)生成器共用的
如果沒有 Cycle Consistency ， GAN 模型容易陷入模式崩塌
4员帮、 Least Squares Loss
Least Squares Loss ( MSE ) 提出是為了解決訓(xùn)練不穩(wěn)定容易出現(xiàn)模式崩塌和梯度消失的問題
5或粮、 Identity Loss
Identity Loss 基本思想是不用風(fēng)格變換的圖片直接進(jìn)行恒等變換
6、 CycleGAN
對(duì)于 Z 判別器損失函數(shù) :
對(duì)于 H 判別器損失函數(shù) :
其他 unpaired image-to-image translation 模型 : UNIT 集侯、 Multimodal UNIT (MUNIT)
UNIT
