參考文獻(xiàn)：Graph Adversarial Training: Dynamically Regularizing Based on Graph Structure
GAT在GCN的基礎(chǔ)上，通過添加對(duì)抗訓(xùn)練構(gòu)造對(duì)抗樣本冀泻，提高模型的魯棒性穩(wěn)定性
引入
對(duì)抗性訓(xùn)練
對(duì)抗性訓(xùn)練可以作為一種正則化方法來提高泛化性能 以及防止深度學(xué)習(xí)模型過度擬合。
機(jī)器學(xué)習(xí)方法（包括深度學(xué)習(xí)）對(duì)對(duì)抗樣本非常敏感杖虾，這些對(duì)抗樣本和非對(duì)抗樣本非常相似，但是模型（已經(jīng)在非對(duì)抗樣本中訓(xùn)練好的模型）卻會(huì)錯(cuò)分這些樣本媒熊。為了能更好的分類該類樣本奇适，提出了對(duì)抗訓(xùn)練的概念。
總結(jié)為使得訓(xùn)練模型更好的分類對(duì)抗樣本芦鳍，對(duì)模型進(jìn)行的訓(xùn)練嚷往。
優(yōu)點(diǎn)：
1.對(duì)抗性訓(xùn)練可以作為一種正則化方法來提高泛化性能 以及防止深度學(xué)習(xí)模型過度擬合。
關(guān)于對(duì)抗樣本和和對(duì)抗攻擊詳情請(qǐng)看上篇文章柠衅，此處不多講述：
神經(jīng)網(wǎng)絡(luò)中的對(duì)抗攻擊與對(duì)抗樣本
論文里面的例子和講述不便于理解皮仁，這里我就簡單講解一下我的理解
（先前寫的論文內(nèi)容都刪了，心塞（QAQ），但是關(guān)于平滑性等方面得深度贷祈，本次沒有深入討論趋急。）
GAT的運(yùn)行過程簡述：
由于判別模型可以轉(zhuǎn)化為生成模型，此處假設(shè)模型為生成模型
在每個(gè)訓(xùn)練樣本點(diǎn)的固定范圍內(nèi)找一個(gè)預(yù)測(cè)分布和樣本點(diǎn)相差最大的樣本點(diǎn)势誊，個(gè)樣本點(diǎn)就是由原樣本點(diǎn)在一定擾動(dòng)下找到的樣本點(diǎn)呜达，利用相差最大的樣本點(diǎn)優(yōu)化參數(shù)來減小偏差。
每次優(yōu)化參數(shù)并減小損失函數(shù)結(jié)果前键科，先優(yōu)化擾動(dòng)闻丑，使得擾動(dòng)在參數(shù)條件下，使得每個(gè)訓(xùn)練樣本偏差最大勋颖，使當(dāng)前擾動(dòng)的最大偏差為正則項(xiàng)。
利用one hot編碼獲得樣本點(diǎn)的離散概率分布勋锤，切斷了不同標(biāo)簽在連續(xù)數(shù)值上的聯(lián)系饭玲。
利用快速梯度優(yōu)化擾動(dòng)方向，讓擾動(dòng)沿著損失最大化方向變化叁执，使得擾動(dòng)最大化茄厘，進(jìn)而獲取當(dāng)前擾動(dòng)的最大偏差作為正則項(xiàng)。像是在對(duì)抗損失函數(shù)的減小谈宛，因此叫對(duì)抗訓(xùn)練次哈。
只適用于監(jiān)督學(xué)習(xí)
數(shù)學(xué)推導(dǎo)：
后續(xù)優(yōu)化，在下一篇VAT討論
