Welcome To My Blog
這篇論文收錄于KDD2018,有關(guān)視頻生成的,論文有個(gè)項(xiàng)目主頁,題目翻譯過來大致是:使用多階段動(dòng)態(tài)生成對(duì)抗網(wǎng)絡(luò)學(xué)習(xí)生成time-lapse(延時(shí))視頻.
多階段具體來說是兩階段,
- 第一階段(Base-Net): 注重每一幀內(nèi)容的真實(shí)性
- 第二階段(Refine-Net): 注重幀與幀之間物體的運(yùn)動(dòng)
下圖是模型整體框架,叫做MD-GAN
MD-GAN由base-net和refine-net構(gòu)成
Base-Net
Generator,G1
G1采用的是encoder-decoder這種結(jié)構(gòu),具體是采用了多個(gè)3D卷積層-反卷積層對(duì);同時(shí)還采用了skip connection(構(gòu)成了U型架構(gòu))的策略,3D卷積和skip connection 對(duì)視頻內(nèi)容進(jìn)行了很好的建模.
skip connections用于連接與encoder對(duì)應(yīng)的decoder的feature maps,從而使decoder再次利用encoder的信息,減少了信息損失.
skip connection是通過identity mapping(恒等映射)實(shí)現(xiàn)的
Discriminator,D1
D1采用的是G1中encoder的網(wǎng)絡(luò),除了最后一層用的是sigmoid激活函數(shù)而不是ReLU了
損失函數(shù)
Lcon是像素級(jí)別的L1距離,L1可以使畫面更加sharpness
作用
base-net保證內(nèi)容的sharpness
Refine-Net
Generator,G2
G2的網(wǎng)絡(luò)和G1很像,只不過G2中移除了部分skip connections,具體的是溢出了 “conv1” and “deconv6”, “conv2” and “deconv5”之間的skip connection
因?yàn)槭褂肎1中那么多的skip connection對(duì)視頻的動(dòng)態(tài)性不能很好的建模
Discriminator,D2
D2和D1的結(jié)構(gòu)一樣,只不過有3個(gè)D2,分別是Y1,Y2,Y對(duì)應(yīng)的D2
D2的重點(diǎn)是Gram matrix和ranking loss
Gram matrix 建模幀與幀之間物體運(yùn)動(dòng)的動(dòng)態(tài)性
在refine-net中,作者引入Gram matrix作為運(yùn)動(dòng)特征的表示(motion feature representation),用來輔助G2學(xué)到幀與幀之間的動(dòng)態(tài)特性
具體怎么用?
- 首先從D2中提取特征,具體的就是以D2的某一層的輸出作為特征,論文中說的是:features of the first and third convolutional layers (after the ReLU layer) of discriminator D2,也就是第一個(gè)和第三個(gè)卷積層+ReLU激活后的輸出作為特征.
-
接下來用這些特征去計(jì)算Gram矩陣,這樣做的好處是加入了豐富的時(shí)間信息,而動(dòng)作是隨著時(shí)間進(jìn)行的,所以也就是加入了訓(xùn)練集視頻片段的動(dòng)作信息.
Gram矩陣的計(jì)算如論文所示,這其實(shí)是求提取自D2中的特征之間的協(xié)方差矩陣,計(jì)算得到的Gram矩陣將會(huì)用于ranking loss.
2.png
ranking loss
ranking loss是論文的一大特點(diǎn),計(jì)算得到的Gram矩陣將會(huì)用于ranking loss.
D2的結(jié)構(gòu)和D1一樣,針對(duì)D2中某一層的特征,ranking loss計(jì)算公式如下所示,這個(gè)公式引用自ContrastingLoss-Generative Semantic Manipulation with Contrasting這篇論文,原論文用的是l2范式,這里用的是l1范式,也許是因?yàn)閘1范式對(duì)于視頻生成任務(wù)更合適,確切地說是因?yàn)閘1范式會(huì)提升生成視頻的sharpness(清晰度).進(jìn)一步觀察公式,如果ranking loss小,說明:g(Y2;l)接近g(Y;l),同時(shí)g(Y2;l)遠(yuǎn)離g(Y1;l),換句話說就是生成的視頻Y2更接近ground truth Y,同時(shí)比起base-net的輸出Y1,refine-net的Y2有了進(jìn)一步的提升(動(dòng)作上的提升)
損失函數(shù)
最終的ranking loss是把所有層的結(jié)果加起來(論文中是用了D2的第一層和第三層卷積層輸出)
注意到三個(gè)D2(Y,Y1,Y2)組成的ranking loss充當(dāng)Discriminator的一部分
refine-net的損失函數(shù),Lcon是像素級(jí)別的L1距離,L1可以是畫面更加sharpness
算法流程
最大化D,最小化G
作用
在保證視頻內(nèi)容的清晰度(sharpness)的基礎(chǔ)上,提升畫面的動(dòng)態(tài)性
總結(jié)
- 論文提出了MD-GAN,MD-GAN有兩個(gè)網(wǎng)絡(luò):base-net和refine-net
- 使用base-net保證內(nèi)容的sharpness
- 使用refine-net提升畫面的動(dòng)態(tài)性
- Generator中的3D卷積與skip connection(通過恒等映射實(shí)現(xiàn))算是亮點(diǎn)
- D2中的Gram matrix和ranking loss算是重點(diǎn)
