摘要：我們提出了生成式對(duì)抗膠囊網(wǎng)絡(luò)(CapsuleGAN)闹究，一種使用膠囊網(wǎng)絡(luò)(CapsNets)替代標(biāo)準(zhǔn)的卷積神經(jīng)網(wǎng)絡(luò)(CNNs)作為生成式對(duì)抗網(wǎng)絡(luò)(GAN)中判別器的框架敦捧，并對(duì)圖像數(shù)據(jù)進(jìn)行建模蝉仇。 我們?yōu)樵O(shè)計(jì)CapsNet判別器和更新GAN的目標(biāo)函數(shù)提供指導(dǎo)惠遏，這其中包含用于訓(xùn)練CapsuleGAN模型的CapsNet邊際損失机打。 通過(guò)在生成式對(duì)抗度量和半監(jiān)督圖像分類上的評(píng)估蓬坡，我們證明CapsuleGAN在對(duì)MNIST和CIFAR-10數(shù)據(jù)集上的圖像數(shù)據(jù)分布進(jìn)行建模時(shí)效果要?jiǎng)龠^(guò)卷積-GAN猿棉。
1 引言
? ? ?? 數(shù)據(jù)的生成建模是一個(gè)具有挑戰(zhàn)性的機(jī)器學(xué)習(xí)問(wèn)題，其在最近已經(jīng)引起了巨大的興趣屑咳，部分原因是生成式對(duì)抗網(wǎng)絡(luò)(GAN)的發(fā)明及其幾個(gè)復(fù)雜的變體萨赁。GAN模型通常由兩個(gè)神經(jīng)網(wǎng)絡(luò)組成：(1)一個(gè)試圖將從先驗(yàn)分布中抽取的樣本轉(zhuǎn)換為具有更高維度的復(fù)雜數(shù)據(jù)分布的生成器，以及(2)一個(gè)決定給定的樣本是真實(shí)的還是來(lái)自生成器分布的判別器兆龙。這兩個(gè)部分通過(guò)對(duì)抗游戲而變得訓(xùn)練有素位迂。 GANs建模在基于真實(shí)世界數(shù)據(jù)(特別是圖像)的高度復(fù)雜分布方面顯示出巨大的前景。然而详瑞，它們卻因存在難以訓(xùn)練掂林，并且存在穩(wěn)定性、梯度消失坝橡、模式崩潰和模式覆蓋不足等問(wèn)題而臭名昭著泻帮。因此，存在大量工作通過(guò)使用更好的目標(biāo)函數(shù)计寇，復(fù)雜的訓(xùn)練策略锣杂，使用結(jié)構(gòu)超參數(shù)脂倦，以及采用經(jīng)驗(yàn)成功的技巧旨在對(duì)GANs進(jìn)行改進(jìn)。 ? ? ? ??
? ? ?? Radford等人提供了一套體系結(jié)構(gòu)指導(dǎo)方針元莫，制定了一類已廣泛用于創(chuàng)建GAN(稱為深度卷積GANs或DCGANs)的卷積神經(jīng)網(wǎng)絡(luò)赖阻，以用于建模圖像數(shù)據(jù)和其他相關(guān)應(yīng)用。然而最近踱蠢，Sabour 等引入膠囊網(wǎng)絡(luò)(CapsNets)作為CNNs強(qiáng)大的替代品火欧，其可以學(xué)習(xí)更加均勻地表示圖像，即對(duì)圖像中部分對(duì)象的姿態(tài)和空間關(guān)系的變化(由于設(shè)計(jì)茎截，使CNNs在訓(xùn)練期間失去的信息)表現(xiàn)得更加穩(wěn)健苇侵。受人眼視覺系統(tǒng)神經(jīng)元工作機(jī)制的啟發(fā)，膠囊模型首先由Hinton等人提出企锌。作為局部不變的神經(jīng)元群體學(xué)會(huì)識(shí)別視覺實(shí)體并輸出表示兩者(即這些實(shí)體及其與視覺任務(wù)相關(guān)的屬性(如對(duì)象分類))都存在的激活向量榆浓。 CapsNets已經(jīng)被證明在MNIST數(shù)字分類和重疊數(shù)字分割方面優(yōu)于CNNs。這激發(fā)了GANs是否可以被設(shè)計(jì)成使用CapsNets(而不是CNNs)以改善其性能的問(wèn)題撕攒。
? ? ?? 我們提出將膠囊添加至GAN框架內(nèi)的生成式對(duì)抗膠囊網(wǎng)絡(luò)(CapsuleGAN)陡鹃。特別地，CapsNets而不是傳統(tǒng)使用的CNNs抖坪，被用作我們框架中的判別器萍鲸。我們證明CapsuleGANs在定性和定量使用生成式對(duì)抗?度量(GAM)和使用未標(biāo)記的GAN生成的圖像與少量標(biāo)記的真實(shí)圖像的半監(jiān)督分類上比基于CNN的GANs對(duì)MNIST 和CIFAR-10 數(shù)據(jù)集建模表現(xiàn)更好。
? ? ? 本文其余部分安排如下柳击。第2節(jié)討論相關(guān)工作猿推。在第3節(jié)中我們提供GANs和CapsNets的簡(jiǎn)要介紹。第4節(jié)描述了我們的CapsuleGAN框架及實(shí)施指南捌肴。我們模型的定性與定量分析在第5部分中給出蹬叭。第6部分總結(jié)全文，并提供未來(lái)研究的方向状知。
2 相關(guān)工作
? ? ?? GANs最初是作為前饋多層感知器實(shí)施的秽五，但在生成類似于CIFAR-10數(shù)據(jù)集中的復(fù)雜圖像時(shí)表現(xiàn)不佳。它們受到了模式崩潰以及訓(xùn)練不穩(wěn)定的影響饥悴。為了解決這些問(wèn)題坦喘，Radford等人提出了一套指導(dǎo)方針，將GANs設(shè)計(jì)為一類CNNs西设，從而產(chǎn)生了DCGANs瓣铣，其后來(lái)一直是GANs網(wǎng)絡(luò)架構(gòu)設(shè)計(jì)的主流方法。Im等人后來(lái)提出使用遞歸神經(jīng)網(wǎng)絡(luò)而不是CNNs作為GANs的生成器贷揽，從而創(chuàng)造了一類新的GANs棠笑，被稱為生成式遞歸對(duì)抗網(wǎng)絡(luò)或GRANs。在相關(guān)說(shuō)明中禽绪，Odena等人提出了以判別器還充當(dāng)用于類別條件圖像生成的分類器的形式對(duì)GANs的架構(gòu)改變蓖救。這種設(shè)計(jì)判別器的方法洪规，最近已成為條件GANs的流行選擇。我們的工作與其類似循捺，因?yàn)槲覀兲岢隽藢?duì)判別器的架構(gòu)改變斩例。我們提出將GAN判別器設(shè)計(jì)由CNNs過(guò)渡到CapsNets，從而創(chuàng)造了一種名為CapsuleGANs的新型GANs从橘。這個(gè)想法可以擴(kuò)展到的基于編碼器的GANs(比如BiGAN)念赶，而BiGAN 的編碼器也可以建模為CapsNet。
3 序言
3.1 生成式對(duì)抗網(wǎng)絡(luò)
? ? ?? Goodfellow等人借由學(xué)習(xí)從屬于一個(gè)簡(jiǎn)單的先驗(yàn)分布(z~Pz)的點(diǎn)到那些來(lái)自于數(shù)據(jù)分布(x~Pdata)的點(diǎn)之間的轉(zhuǎn)換來(lái)引入GANs作為數(shù)據(jù)生成建模的框架洋满。該框架包含兩種相互之間進(jìn)行對(duì)抗游戲的模式組成：一個(gè)生成器和一個(gè)鑒別器晶乔。 生成器試圖了解上述情況變換G(z)珍坊，判別器充當(dāng)評(píng)判者D(.)以確定提供的樣本是源自生成器的輸出分布(G(z)~pG)還是數(shù)據(jù)分布(x~Pdata)牺勾，從而給出一個(gè)標(biāo)量輸出(y = 0或1)。生成器的目標(biāo)是通過(guò)生成與實(shí)際數(shù)據(jù)類似的樣本來(lái)迷惑判別器阵漏，而判別器則是為了準(zhǔn)確區(qū)分實(shí)際數(shù)據(jù)和生成數(shù)據(jù)驻民。 這兩種通常被設(shè)計(jì)為神經(jīng)網(wǎng)絡(luò)的模型，按照公式1所示的目標(biāo)進(jìn)行對(duì)抗性游戲履怯。
3.2 膠囊網(wǎng)絡(luò)
? ? ?? Hinton等人首先引入了膠囊的概念回还。【Transforming auto-encoders】作為一種學(xué)習(xí)健壯的無(wú)監(jiān)督圖像表示方法叹洲，膠囊是局部不變的神經(jīng)元組以識(shí)別視覺實(shí)體的存在并將它們的屬性編碼到矢量輸出中柠硕，其矢量長(zhǎng)度(限于介于0和1之間)表示實(shí)體的存在。例如运提，每個(gè)膠囊可以學(xué)習(xí)識(shí)別圖像中的某些對(duì)象或構(gòu)件蝗柔。在神經(jīng)網(wǎng)絡(luò)框架中，可以將幾個(gè)膠囊分組在一起形成膠囊層民泵，其每個(gè)單元產(chǎn)生一個(gè)矢量輸出而不是(常規(guī)的)標(biāo)量激活癣丧。
? ? ?? Sabour等人引入了一種協(xié)議路由機(jī)制，用于具有多個(gè)膠囊層的深層神經(jīng)網(wǎng)絡(luò)的膠囊內(nèi)部的交互栈妆，其通過(guò)成對(duì)測(cè)定來(lái)進(jìn)行在連續(xù)層的膠囊之間傳遞信息胁编。對(duì)于在層l的每個(gè)膠囊h(l)和在l+1層的每個(gè)膠囊h(j)中，耦合系數(shù)Cij基于h_i對(duì)h_j輸出的預(yù)測(cè)與其實(shí)際輸出之間的一致性(余弦相似度)進(jìn)行迭代調(diào)整鳞尔，其實(shí)際輸出是Cij和h_i的激活產(chǎn)物嬉橙。因此，耦合系數(shù)固有地決定信息如何在膠囊對(duì)之間流動(dòng)寥假。對(duì)于包含K類分類的任務(wù)市框，最后一層的CapsNet可以設(shè)計(jì)成具有K個(gè)膠囊，每個(gè)膠囊代表一個(gè)類別昧旨。由于膠囊矢量輸出的長(zhǎng)度代表視覺實(shí)體的存在拾给，因此最后一層(||vk||)中每個(gè)膠囊的長(zhǎng)度可被視為圖像屬于特定類（k）的概率祥得。作者引入了訓(xùn)練CapsNet用于多類別分類的邊際損失LM，如等式2所示：
? ? ?? 其中Tk代表目標(biāo)標(biāo)簽蒋得，m + = 0.9级及，m- = 0.1。^ = 0.5额衙，這是一個(gè)下降權(quán)重系數(shù)饮焦，防止初始學(xué)習(xí)縮小最終層中膠囊輸出的長(zhǎng)度。作者還以加權(quán)圖像重建損失的形式向網(wǎng)絡(luò)添加正則化窍侧，其中最后一層的矢量輸出vk被表示為重建網(wǎng)絡(luò)的輸入县踢。
4 生成式對(duì)抗膠囊網(wǎng)絡(luò)
? ? ?? GANs主要用于建模圖像數(shù)據(jù)和相關(guān)屬性的分布，以及其他基于圖像的應(yīng)用伟件，如圖像到圖像翻譯和從文字描述合成圖像硼啤。生成器和判別器通常被建模為依據(jù)DCGAN指導(dǎo)的深層CNNs。受到其背后強(qiáng)大的直覺和CapsNets在CNNs方面的優(yōu)越表現(xiàn)驅(qū)動(dòng)斧账，我們?cè)O(shè)計(jì)了在GANs判別器中使用膠囊層替代卷積層的CapsuleGAN框架谴返，其在根本上執(zhí)行的是二分類任務(wù)。
? ? ?? CapsuleGAN判別器在結(jié)構(gòu)上與【Dynamic routing between capsules】中介紹的CapsNet模型類似咧织。一般而言嗓袱，CapsNets具有大量的參數(shù)，因?yàn)槭紫认熬睿總€(gè)膠囊產(chǎn)生一個(gè)向量輸出而不是單個(gè)標(biāo)量渠抹，其次，每個(gè)膠囊都有與它上面的圖層中的所有膠囊相關(guān)聯(lián)的附加參數(shù)闪萄，用于對(duì)其輸出進(jìn)行預(yù)測(cè)梧却。但是，有必要保持CapsuleGAN判別器中的參數(shù)數(shù)量較少桃煎，原因有兩個(gè)：(1)CapsNets是非常強(qiáng)大的模型篮幢，很容易在訓(xùn)練過(guò)程中過(guò)早地開始對(duì)生成器進(jìn)行嚴(yán)厲懲罰，這會(huì)導(dǎo)致生成器機(jī)完全失效或遭受模式崩潰为迈，以及(2)動(dòng)態(tài)路由算法的當(dāng)前實(shí)現(xiàn)運(yùn)行速度很慢三椿。重要的是要注意保持CapsNet參數(shù)數(shù)量較低的第一個(gè)原因符合卷積判別器的流行設(shè)計(jì)，因?yàn)槠湎嚓P(guān)的淺層神經(jīng)網(wǎng)絡(luò)在其卷積層中具有較少數(shù)量的相對(duì)較大尺寸的濾波器葫辐。
? ? ?? CapsuleGAN判別器的最后一層包含一個(gè)膠囊搜锰，其長(zhǎng)度表示判別器的輸入是真實(shí)圖像還是生成圖像的概率。我們用邊際損失LM替代傳統(tǒng)的二元交叉熵?fù)p失來(lái)訓(xùn)練我們的CapsuleGAN耿战，因?yàn)長(zhǎng)M更適合訓(xùn)練CapsNets蛋叼。因此，CapsuleGAN的目標(biāo)可以如公式3所示。
? ? ?? 在實(shí)踐中狈涮，我們訓(xùn)練生成器以最小化LM(D(G(z)),T = 1)而非最小化-LM(D(G(z)), T = 0)狐胎。 這基本上在LM訓(xùn)練生成器的期間消除了下降權(quán)重因素^，其中不包含任何膠囊歌馍。
5 實(shí)驗(yàn)評(píng)估
? ? ?? 我們通過(guò)如下所的述一系列隨機(jī)生成圖像的實(shí)驗(yàn)來(lái)評(píng)估CapsuleGANs的性能握巢，其中我們將CapsuleGANs與卷積GANs進(jìn)行定性和定量的比較。我們對(duì)兩個(gè)GAN模型賦予相同的生成器結(jié)構(gòu)松却。使用公開可用的keras-adversarial 和CapsNet-Keras 軟件包來(lái)實(shí)現(xiàn)卷積GAN和提出的CapsuleGAN模型暴浦。
5.1 數(shù)據(jù)
? ? ?? 我們提供了MNIST和CIFAR-10數(shù)據(jù)集的實(shí)驗(yàn)結(jié)果。 MNIST數(shù)據(jù)集由尺寸為28*28的手寫數(shù)字灰度圖像組成晓锻。CIFAR-10數(shù)據(jù)集包含32*32的彩色圖像歌焦，其可分為十個(gè)類：飛機(jī)，汽車砚哆，鳥独撇，貓，鹿窟社，狗券勺，青蛙绪钥，馬灿里，船和卡車。
5.2 隨機(jī)生成圖像的視覺質(zhì)量
? ? ?? 我們定性比較使用GAN和CapsuleGAN隨機(jī)生成的圖像程腹。圖1a和1b分別顯示了在MNIST數(shù)據(jù)集上使用標(biāo)準(zhǔn)卷積-GAN和CapsuleGAN生成的圖像匣吊。定性地說(shuō)，CapsuleGAN和標(biāo)準(zhǔn)卷積-GAN都產(chǎn)生了類似質(zhì)量的清晰圖像寸潦，其有時(shí)不像任何數(shù)字色鸳。但是，那使用GAN生成圖像的網(wǎng)格似乎在生成的數(shù)字類別方面具有較少的多樣性见转。圖2a和2b顯示了在CIFAR-10數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果命雀。這兩個(gè)模型都產(chǎn)生了不同種類的圖像，但使用CapsuleGAN生成的圖像比那些使用卷積-GAN生成的圖像看起來(lái)更加干凈和清晰斩箫。我們?cè)谙旅娴男」?jié)提供了我們的定量評(píng)估結(jié)果以更深入地分析圖像生成性能吏砂。?
? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? Figure 1: Randomly generated MNIST images
? ? ? ? ? ? ? ? ? ? ? ? ? ?? Figure 2: Randomly generated CIFAR-10 images
5.3 生成式對(duì)抗度量
? ? ?? Im等人通過(guò)將每個(gè)生成器與對(duì)應(yīng)的判別器進(jìn)行比對(duì)提出了生成式對(duì)抗度量(GAM)作為成對(duì)比較度量，即給定兩個(gè)GAN模型 M1 =(G1,D1)和M2 =(G2,D2)乘客，其中G1與D2狐血，G2與D1進(jìn)行斗爭(zhēng)。它們?cè)谡鎸?shí)測(cè)試數(shù)據(jù)集和生成樣本上的分類錯(cuò)誤比率隨后作為r_test和r_samples參與計(jì)算易核。依據(jù)(5)匈织，在實(shí)踐中，計(jì)算分類精度替代誤差以避免數(shù)值問(wèn)題，如等式4和5所示
? ? ? 因此缀匕，為了使CapsuleGAN贏過(guò)GAN纳决，r_samples <1和r_test約等于1是必須要滿足的。在我們的實(shí)驗(yàn)中乡小，我們?cè)贛NIST數(shù)據(jù)集上實(shí)現(xiàn)了r_samples = 0.79和r_test = 1岳链；在CIFAR-10數(shù)據(jù)集上取得了r_samples = 1.0和r_test = 0.72。因此在該指標(biāo)上劲件，CapsuleGAN在MNIST數(shù)據(jù)集上比卷積GAN表現(xiàn)得更好掸哑，但兩個(gè)模型在CIFAR-10數(shù)據(jù)集上不分勝負(fù)。
5.4 半監(jiān)督分類
? ? ?? 我們?cè)诎氡O(jiān)督分類下評(píng)估卷積GAN和提出的CapsuleGAN下的性能零远。在實(shí)驗(yàn)中苗分，我們使用GAN和CapsuleGAN隨機(jī)生成50,000張圖像。我們使用將生成的圖像作為未標(biāo)記實(shí)例和n個(gè)實(shí)際標(biāo)記樣本的Label Spreading算法牵辣，其中n屬于{100,1000,10000}摔癣。實(shí)驗(yàn)中我們使用scikit-learn程序包 。表1展示了我們?cè)贛NIST上的實(shí)驗(yàn)結(jié)果纬向，表2展示了在CIFAR-10上的實(shí)驗(yàn)結(jié)果择浊。在大多數(shù)實(shí)驗(yàn)設(shè)置中錯(cuò)誤率很高因?yàn)槲覀兲峁┰枷袼刂底鳛榉诸愃惴ǖ奶卣鳌５怯馓酰@使我們能夠更客觀地比較兩種模型琢岩，而不會(huì)受到特征提取方法的影響。結(jié)果表明师脂，提出的CapsuleGAN在所有測(cè)試值n的邊界為1.7—3.97個(gè)百分點(diǎn)的MNIST和0.91—3.22個(gè)百分點(diǎn)的CIFAR-10上一直勝過(guò)卷積GAN担孔。因此，CapsuleGAN生成的圖像更類似于真實(shí)圖像吃警，并且比使用卷積GAN生成的圖像更加多樣化糕篇，導(dǎo)致在測(cè)試數(shù)據(jù)集上表現(xiàn)出更好的半監(jiān)督分類性能。
6 討論和未來(lái)工作
? ? ?? 生成對(duì)抗網(wǎng)絡(luò)是用于復(fù)雜數(shù)據(jù)分布生成建模的非常強(qiáng)大的工具酌心。相關(guān)研究正在積極進(jìn)行中拌消，以進(jìn)一步改善它們并使其更容易訓(xùn)練和更穩(wěn)定。 受到CapsNet對(duì)于CNNs在基于圖像的推理任務(wù)上的成功啟發(fā)安券，我們提出了生成式對(duì)抗膠囊網(wǎng)絡(luò)(CapsuleGAN)墩崩，一種GAN變體，在建模圖像數(shù)據(jù)時(shí)以CapsNets替代CNNs作為判別器完疫。我們提供了設(shè)計(jì)CapsuleGANs的指導(dǎo)方針以及用于訓(xùn)練CapsuleGANs的更新的目標(biāo)函數(shù)泰鸡。我們發(fā)現(xiàn)在生成式對(duì)抗度量和在MNIST和CIFAR-10數(shù)據(jù)集上有大量未標(biāo)記生成圖像和少量實(shí)際標(biāo)記圖像的半監(jiān)督分類上CapsuleGANs的性能優(yōu)于卷積GANs。這表明CapsNets應(yīng)該被認(rèn)為是用CNNs設(shè)計(jì)判別器以及未來(lái)GAN模型中的其他推理模塊的潛在替代品壳鹤。
? ? ?? 我們計(jì)劃在GAN目標(biāo)內(nèi)對(duì)邊際損失進(jìn)行理論分析盛龄。我們有目的地沒有包含許多GAN訓(xùn)練技巧以公平地評(píng)估我們的貢獻(xiàn)。本文提供的結(jié)果激發(fā)了對(duì)CapsNets的使用，而不是GAN變種中如BiGAN的CNNs的編碼器余舶。我們認(rèn)為這是未來(lái)研究的重要方向啊鸭。
