一岩调、Heterogeneous Graph Attention Networks for Early Detection of Rumors on Twitter(2021)
主要使用異構(gòu)的數(shù)據(jù),解決的全局語義的問提凡涩,以提高檢測結(jié)果
1键闺、存在方法
目前存在的方法:
- 早期的謠言檢測方法大多是利用特征工程從文本內(nèi)容用戶畫像以及傳播模式中提取識別特征
- 近來介粘,由于深度學(xué)習(xí)的廣泛應(yīng)用搞隐,Ma采用了 RNN網(wǎng)絡(luò)來獲取每個源推及其轉(zhuǎn)發(fā)的語義變化部脚,并根據(jù)語義變化進行預(yù)測。Ma等[10]研究了一種基于樹的遞歸神經(jīng)網(wǎng)絡(luò)來捕獲源推傳播的語義信息和傳播線索两残,用于謠言檢測永毅。Yuan等人探索了一種全球-局部關(guān)注網(wǎng)絡(luò)來捕獲源推傳播的局部語義關(guān)系和全局結(jié)構(gòu)信息,用于謠言檢測人弓。
2卷雕、問題
- 這些方法不能夠利用內(nèi)容的全局語義關(guān)系,而謠言的語義共性是檢測謠言的關(guān)鍵技術(shù)票从。 這些方法的一個主要局限性是忽略了文本內(nèi)容的全局語義關(guān)系,而這一點已經(jīng)被證明是有用的
- 以往的謠言檢測方法大多側(cè)重于謠言傳播中文本內(nèi)容的局部語義關(guān)系滨嘱,而忽略了不同謠言文本內(nèi)容之間的全局語義關(guān)系峰鄙。
3、論文貢獻
構(gòu)建了一個根據(jù)內(nèi)容和謠言傳播來源構(gòu)建tweet-word-user 的異構(gòu)網(wǎng)絡(luò)太雨,并加入一個圖注意力網(wǎng)絡(luò)來捕捉內(nèi)容的全局語義關(guān)系結(jié)合源推傳播的全局結(jié)構(gòu)信息進行謠言檢測吟榴。
- 這是第一次將謠言的文本內(nèi)容和源傳播構(gòu)建為異構(gòu)的tweet-word-user圖,其中包含tweet囊扳、word和用戶節(jié)點
- 本文提出了一種基于元路徑的異構(gòu)圖關(guān)注網(wǎng)絡(luò)框架吩翻,用于獲取文本內(nèi)容的全局語義關(guān)系兜看,并將其與tweet源傳播中涉及的信息進行整合,用于謠言檢測
- 在真實的Twitter數(shù)據(jù)集上的實驗表明狭瞎,所提出的方法優(yōu)于最先進的基線细移,在早期檢測謠言方面具有可比性的能力
4、模型
二熊锭、Rumor Detection on Social Media with Bi-Directional Graph Convolutional Networks(2020)
主要使用雙向CGN解決謠言傳播與擴散這兩個角度的監(jiān)測問題
1弧轧、存在方法
- 傳統(tǒng)的檢測方法主要采用用戶特征、文本內(nèi)容碗殷、傳播模式等手工特征來訓(xùn)練監(jiān)督分類器精绎,如:Decision Tree (Castillo, Mendoza, and Poblete 2011), Ran?dom Forest (Kwon et al. 2013), Support Vector Machine (SVM) (Yang et al. 2012).
- 用戶評論 (Giudice 2010),時間結(jié)構(gòu)特性 (Wu, Yang, and Zhu 2015),帖子的情感態(tài)度 (Liu et al. 2015).
- 深度學(xué)習(xí)RNN結(jié)構(gòu)使用在謠言檢測中。發(fā)了深度學(xué)習(xí)方法锌妻,從傳播路徑/樹或網(wǎng)絡(luò)中挖掘高層表示來識別謠言代乃。許多深度學(xué)習(xí)模型,如長期短期記憶(LSTM)仿粹,門控循環(huán)單元(GRU)和遞歸神經(jīng)網(wǎng)絡(luò)(RvNN) (Ma et al. 2016;Ma, Gao, and Wong 2018)搁吓,因為他們能夠從一段時間的謠言傳播中學(xué)習(xí)序列特征。不能提取擴散信息的傳播
- 因此牍陌,一些研究試圖通過調(diào)用基于卷積神經(jīng)網(wǎng)絡(luò)(CNN)的方法來引入謠言擴散結(jié)構(gòu)中的信息(Yu et al. 2017;Yu等人2019)擎浴。基于cnn的方法可以獲得局部鄰居內(nèi)部的相關(guān)特征毒涧,但不能處理圖或樹的全局結(jié)構(gòu)關(guān)系
- GCN可以提取全局信息贮预。
2、問題
- 傳統(tǒng)方法主要依賴于特征工程契讲,費時費力仿吞。而且,這些手工制作的特征往往缺乏從謠言的傳播和擴散中提取的高層表征捡偏。
- 然而唤冈,這些深度學(xué)習(xí)方法在謠言檢測中只考慮了深度傳播的模式,而忽略了廣泛散布的結(jié)構(gòu)银伟。由于時間結(jié)構(gòu)特征只關(guān)注謠言的序列傳播你虹,而忽略了謠言擴散的影響,因此這些方法在效率上有很大的局限性彤避。
- CNN結(jié)構(gòu)不能處理圖或樹的全局結(jié)構(gòu)關(guān)系
3傅物、論文貢獻
實際上,傳播和散布是謠言的兩個重要特征琉预。本文提出了一種新的雙向圖模型董饰。雙向圖卷積網(wǎng)絡(luò)(Bi-GCN),通過操作自頂向下和自底向上謠言傳播來探索這兩種特征。它利用一個由上至下的謠言傳播有向圖的GCN來學(xué)習(xí)謠言傳播的模式;和一個具有相反方向謠言擴散圖的GCN來捕捉謠言擴散的結(jié)構(gòu)卒暂。GCN的每一層都涉及到源貼的信息啄栓,以增強謠言從根源上的影響。
- 我們利用圖卷積網(wǎng)絡(luò)來檢測謠言也祠。據(jù)我們所知昙楚,這是第一次使用GCN進行社交媒體謠言檢測的研究。
- 我們提出的Bi-GCN模型不僅考慮了謠言沿關(guān)系鏈自上而下傳播的因果特征齿坷,而且通過自下而上的聚集得到了謠言在社區(qū)內(nèi)傳播的結(jié)構(gòu)特征桂肌。
- 在每個圖卷積層上,我們將源帖子的特征與其他帖子的特征連接起來永淌,從而綜合利用根特征的信息崎场,從而獲得良好的謠言檢測性能。
4遂蛀、模型
1谭跨、構(gòu)造傳播和擴散圖
把傳播結(jié)構(gòu)作為一個事件,A表示鄰接矩陣李滴,只包括從上節(jié)點到下節(jié)點的邊螃宙,X表示特征矩陣。為了防止過擬合所坯,我們采用DropEdge方法成谆扎。根據(jù)和X,建立Bi-GAN模型芹助,分程從上而下GCN(TD-GCN)和從下而上GCN(BU-GCN)堂湖,共享特征矩陣X,鄰接矩陣有所不同状土,分別是和无蜂。
2、計算高層節(jié)點表示
對于TD-GCN模塊蒙谓,把和X輸入到GCN模型當(dāng)中斥季,激活函數(shù)采用Relu,同理BU-GCN也是如此計算累驮。
3酣倾、根節(jié)點增強
一個謠言事件的源帖往往具有豐富的信息,產(chǎn)生廣泛的影響谤专,有必要更好地利用源帖子的信息灶挟,并從節(jié)點與源帖子的關(guān)系中學(xué)習(xí)更準(zhǔn)確的節(jié)點表示。我們提出了一種根特征增強操作來提高謠言檢測的性能毒租。因此我們將每個節(jié)點的隱藏特征向量與(k?1)層 GCL的根節(jié)點的隱藏特征向量連接起來,構(gòu)造一個新的特征矩陣為:
其中,墅垮,因此
BU-GCN以相同的方法獲取根節(jié)點特征惕医,來增強模型。
4算色、謠言分類中傳播和散布的表示
對于聚合抬伺,我們采用平均池的操作
而后兩個子模塊聚合
最后通過一個softmax函數(shù)進行分類
使用交叉熵作為loss函數(shù),并用正則化來防止過擬合灾梦。
5峡钓、數(shù)據(jù)集
采用了Weibo,Twitter15以及Twitter16三個數(shù)據(jù)集進行實驗若河,此三個數(shù)據(jù)集能岩,節(jié)點表示用戶,邊表示轉(zhuǎn)發(fā)和回應(yīng)萧福,特征是根據(jù)Bi-GCN中提到的TF-IDF值抽取的前5000個單詞拉鹃。
三、User Preference-aware Fake News Detection
1鲫忍、存在方法
- 特征工程和深度學(xué)習(xí)方法
- 自然語言處理類的方法膏燕,比如FakeBERT使用TextCNN和BERT的方法來獲取文字信息
- 圖網(wǎng)絡(luò)類:比如GCNFN和GNN-CL利用GCN在社交網(wǎng)絡(luò)上獲取傳播魔時
2、問題
- 側(cè)重于對新聞內(nèi)容及其用戶外生上下文的建模悟民,而忽略了用戶的內(nèi)生性偏好坝辫。
如何提取內(nèi)生偏好和外生情境?射亏?近忙??
3鸦泳、論文貢獻
- 提出了UPFD模型银锻,將內(nèi)生偏好與外生情境聯(lián)合建模,其步驟可分為:
1). 為了構(gòu)建用戶的的內(nèi)生偏好做鹰,采用不同的學(xué)習(xí)方法編碼文章內(nèi)容也用戶歷史击纬;
2). 為了獲取用戶外生情境,構(gòu)建一個樹結(jié)構(gòu)的傳播圖钾麸;
3). 為了把內(nèi)生和外生相結(jié)合更振,把用戶和新聞看成是節(jié)點特征,采用了GNN的方法饭尝,學(xué)習(xí)節(jié)點特征表達肯腕;
4). 根據(jù)用戶的嵌入向量和文本嵌入向量,訓(xùn)練分類器檢測假消息钥平。