網(wǎng)絡(luò)結(jié)構(gòu)：
兩部分：Mapping network & Synthesis network
Mapping network
作用：將z轉(zhuǎn)換為w掀亥，實(shí)現(xiàn)對(duì)z的特征解耦。
-
為什么要z -> w?
z為符合高斯分布或均勻分布的隨機(jī)變量鸦列，變量彼此之間有較大的耦合關(guān)系租冠，這可能會(huì)導(dǎo)致基于z生成的圖片中，不同特征之間有一定的聯(lián)系薯嗤，而這些聯(lián)系不一定是正確的顽爹。所以，我們希望對(duì)z進(jìn)行解耦骆姐，以便改變圖片不同的特征镜粤。
所以通過(guò)Mapping network，該模型可以生成一個(gè)不必遵循訓(xùn)練數(shù)據(jù)分布地向量w玻褪，減少了特征之間的相關(guān)性肉渴，完成解耦
Synthesis network
作用：
用于生成圖像
- 樣式模塊
將特征解纏后的中間向量W′變換為樣式控制向量，從而參與影響生成器的生成過(guò)程归园。
結(jié)構(gòu)：4X4 >> 1024X1024黄虱，由 9 個(gè)生成階段組成，而每個(gè)階段都會(huì)受兩個(gè)控制向量（A）對(duì)其施加影響庸诱，其中一個(gè)控制向量在 Upsample之后對(duì)其影響一次捻浦，另外一個(gè)控制向量在 Convolution 之后對(duì)其影響一次，影響的方式都采用AdaIN（自適應(yīng)實(shí)例歸一化）桥爽。因此朱灿，中間向量W′總共被變換成 18 個(gè)控制向量（A）傳給生成器。
AdaIN： 的具體實(shí)現(xiàn)過(guò)程如上右圖所示：將W′通過(guò)一個(gè)可學(xué)習(xí)的仿射變換（實(shí)際上是一個(gè)全連接層）擴(kuò)變?yōu)榉趴s因子ys,i與偏差因子yb,i钠四，這兩個(gè)因子會(huì)與標(biāo)準(zhǔn)化之后的卷積輸出做一個(gè)加權(quán)求和盗扒，就完成了一次W′影響原始輸出xi的過(guò)程跪楞。
而這種影響方式能夠?qū)崿F(xiàn)樣式控制，主要是因?yàn)樗學(xué)′（即變換后的）影響圖片的全局信息（注意標(biāo)準(zhǔn)化抹去了對(duì)圖片局部信息的可見(jiàn)性）侣灶，而保留生成人臉的關(guān)鍵信息由上采樣層和卷積層來(lái)決定甸祭，因此W′只能夠影響到圖片的樣式信息。
刪除傳統(tǒng)輸入
synthesis network的輸入為4x4x512的常量值褥影。
好處：避免初始輸入不當(dāng)導(dǎo)致生成效果差池户、有助于減少特征耦合。-
加入噪聲
加入噪聲B
人們的臉上有許多小的特征凡怎，可以看作是隨機(jī)的校焦，例如：雀斑、發(fā)髻線的準(zhǔn)確位置统倒、皺紋寨典、使圖像更逼真的特征以及各種增加輸出的變化。 將這些小特征插入 GAN 圖像的常用方法是 在輸入向量中添加隨機(jī)噪聲 （即 通過(guò)在每次卷積后添加噪聲 ）房匆。為了控制噪聲僅影響圖片樣式上細(xì)微的變化耸成， StyleGAN 采用類(lèi)似于 AdaIN 機(jī)制的方式添加噪聲（噪聲輸入是由不相關(guān)的高斯噪聲組成的單通道數(shù)據(jù)，它們被饋送到生成網(wǎng)絡(luò)的每一層）浴鸿。 即在 AdaIN 模塊之前向每個(gè)通道添加一個(gè)縮放過(guò)的噪聲墓猎，并稍微改變其操作的分辨率級(jí)別特征的視覺(jué)表達(dá)方式。 加入噪聲后的生成人臉往往更加逼真與多樣 赚楚。
風(fēng)格影響的是整體（改變姿勢(shì)毙沾、身份等），噪音影響無(wú)關(guān)緊要的隨機(jī)變化（頭發(fā)宠页、胡須等）左胞。
- 混合正則化
方法：對(duì)給定比例的訓(xùn)練樣本（隨機(jī)選取）使用樣式混合的方式生成圖像举户。在訓(xùn)練過(guò)程中烤宙，使用兩個(gè)隨機(jī)隱碼z（latent code）而不是一個(gè)，生成圖像時(shí)俭嘁，在合成網(wǎng)絡(luò)中隨機(jī)選擇一個(gè)點(diǎn)（某層）躺枕，從一個(gè)隱碼切換到另一個(gè)隱碼(稱之為樣式混合)。具體來(lái)說(shuō)供填，通過(guò)映射網(wǎng)絡(luò)運(yùn)行兩個(gè)潛碼z1拐云、z2，并讓對(duì)應(yīng)的w1近她、w2控制樣式叉瘩，使w1在交點(diǎn)前應(yīng)用，w2在交點(diǎn)后應(yīng)用粘捎。
這種正則化技術(shù)防止網(wǎng)絡(luò)假設(shè)相鄰樣式是相關(guān)的薇缅，隨機(jī)切換確保網(wǎng)絡(luò)不會(huì)學(xué)習(xí)和依賴于級(jí)別之間的相關(guān)性危彩。
