LightGCL: SIMPLE YET EFFECTIVE GRAPH CONTRASTIVE LEARNING FOR RECOMMENDATION
LightGCL:簡(jiǎn)單而有效的推薦圖對(duì)比學(xué)習(xí)方法
來(lái)源：ICLR 2023
摘要：盡管大多數(shù)現(xiàn)有的圖對(duì)比學(xué)習(xí)方法都很成功僵刮，但它們要么對(duì)用戶-項(xiàng)目交互圖執(zhí)行隨機(jī)增強(qiáng)（例如，節(jié)點(diǎn)/邊緣擾動(dòng)），要么依賴于基于啟發(fā)式的增強(qiáng)技術(shù)（例如植榕，用戶聚類）來(lái)生成對(duì)比視圖墩朦。作者認(rèn)為這些方法不能很好地保留內(nèi)在的語(yǔ)義結(jié)構(gòu)拔莱，而且很容易受到噪聲擾動(dòng)的影響鳖敷。本文提出了一個(gè)簡(jiǎn)單而有效的圖對(duì)比學(xué)習(xí)范式LightGCL癣籽，專門利用奇異值分解進(jìn)行對(duì)比增強(qiáng)挽唉，使全局協(xié)同關(guān)系建模實(shí)現(xiàn)無(wú)約束結(jié)構(gòu)細(xì)化。
1 動(dòng)機(jī)
目前最先進(jìn)的對(duì)比學(xué)習(xí)推薦方法存在一些固有的局限性：?
i)具有隨機(jī)擾動(dòng)的圖增強(qiáng)可能會(huì)失去重要而有用的結(jié)構(gòu)信息筷狼，從而誤導(dǎo)了表示學(xué)習(xí)瓶籽。
ii)啟發(fā)式對(duì)比方案的成功很大程度上建立在視圖生成器上，這限制了模型的通用性桑逝，并且容易受到噪聲用戶行為的影響棘劣。
鑒于上述局限性和挑戰(zhàn)俏让，作者采用一種簡(jiǎn)單而有效的LightGCL增強(qiáng)方法楞遏，重新審視圖對(duì)比學(xué)習(xí)范式。在該模型中首昔，圖的增強(qiáng)由奇異值分解（SVD）指導(dǎo)寡喝，不僅提取用戶-項(xiàng)目交互的有用信息，而且還將全局協(xié)作上下文注入到對(duì)比學(xué)習(xí)的表示對(duì)齊中勒奇。使用這樣一種魯棒的圖對(duì)比學(xué)習(xí)范式预鬓，可以很好地保留用戶-項(xiàng)目交互的重要語(yǔ)義，而不是生成兩個(gè)手工制作的增強(qiáng)視圖赊颠。這使得自我增強(qiáng)表示能夠反映用戶特定的偏好和跨用戶的全局依賴關(guān)系格二。
2 方法
2.1 局部圖依賴關(guān)系建模
作為協(xié)同過(guò)濾的一種常見(jiàn)做法，作者為每個(gè)用戶的ui和項(xiàng)目vj分配一個(gè)嵌入向量竣蹦，
顶猜，其中d是嵌入大小,所有用戶和項(xiàng)目嵌入的集合被定義為E (u)和E (v)。在第l層中痘括，聚合過(guò)程表示如下：
其中长窄，和
表示用戶ui和項(xiàng)目vj的第l層聚合嵌入。σ（·）表示LeakyReLU纲菌，負(fù)斜率為0.5挠日。?A是歸一化鄰接矩陣，作者在其上執(zhí)行邊緣dropout翰舌，表示為p（·）嚣潜，以緩解過(guò)擬合問(wèn)題。作者在每一層中實(shí)現(xiàn)殘差連接椅贱，以保留節(jié)點(diǎn)的原始信息如下：
節(jié)點(diǎn)的最終嵌入是其在所有層上的嵌入的總和懂算，用戶ui和項(xiàng)目vj之間的內(nèi)積預(yù)測(cè)了ui對(duì)vj的偏好：
2.2?高效全局協(xié)作關(guān)系學(xué)習(xí)
作者使用SVD方案來(lái)從全球的角度有效地提取重要的協(xié)作信號(hào)唉韭。具體來(lái)說(shuō)，首先對(duì)鄰接矩陣A進(jìn)行SVD犯犁，即?属愤。這里，U / V是一個(gè)I×I / J×J標(biāo)準(zhǔn)正交矩陣酸役。S是一個(gè)存儲(chǔ)a的奇異值的I×J對(duì)角矩陣住诸，最大的奇異值通常與矩陣的主成分是相關(guān)的。因此涣澡，作者截?cái)嗥娈愔盗斜硪匀〉米畲蟮膓個(gè)奇異值贱呐，并用截?cái)嗑仃囍亟ㄠ徑泳仃嚍?img class="math-inline" src="https://math.jianshu.com/math?formula=%5Chat%7BA%7D%20%3D%20U_%7Bq%7D%20S_%7Bq%7D%20V_%7Bq%7D%20%5ET" alt="\hat{A} = U_{q} S_{q} V_{q} ^T" mathimg="1">，其中
和
分別包含U和V的前q列入桂。
是q最大奇異值的對(duì)角矩陣奄薇。
重構(gòu)矩陣是鄰接矩陣A的一個(gè)低秩近似，因?yàn)樗３衷撝龋?img class="math-inline" src="https://math.jianshu.com/math?formula=%5Chat%7BA%7D" alt="\hat{A}" mathimg="1">）=q抗愁∧俚伲基于svd的圖結(jié)構(gòu)學(xué)習(xí)的優(yōu)點(diǎn)是兩方面的。首先蜘腌，它通過(guò)識(shí)別重要的用戶偏好表示和可靠的用戶-項(xiàng)目交互來(lái)強(qiáng)調(diào)圖的主成分沫屡。其次，生成的新圖結(jié)構(gòu)通過(guò)考慮每個(gè)用戶-項(xiàng)目對(duì)來(lái)保持全局協(xié)作信號(hào)撮珠。給定
沮脖，可以在每一層中對(duì)重構(gòu)的用戶項(xiàng)關(guān)系圖進(jìn)行消息傳播：
傳統(tǒng)的GCL方法如SGL和SimGCL通過(guò)構(gòu)建兩個(gè)額外的視圖來(lái)對(duì)比節(jié)點(diǎn)嵌入，而從原始圖（主視圖）生成的嵌入并不直接參與InfoNCE損失芯急。采用這種繁瑣的三視圖范式的原因可能是勺届，用于增強(qiáng)圖的隨機(jī)擾動(dòng)可能會(huì)為主視圖嵌入提供誤導(dǎo)性的信號(hào)。然而娶耍，在作者提出的方法中免姿，增強(qiáng)圖視圖是通過(guò)全局協(xié)作關(guān)系創(chuàng)建的，這可以增強(qiáng)主視圖的表示伺绽。因此养泡，作者通過(guò)直接對(duì)比SVD增強(qiáng)的視圖嵌入與主視圖嵌入
來(lái)簡(jiǎn)化對(duì)比學(xué)習(xí)框架：
其中，s（·）和τ分別表示余弦相似度和溫度奈应。如等式6中所示澜掩，對(duì)比損失與推薦任務(wù)的主要目標(biāo)函數(shù)共同優(yōu)化（其中和
表示用戶i的一對(duì)正負(fù)項(xiàng)的預(yù)測(cè)得分）：
3 實(shí)驗(yàn)
3.2 流行度偏差實(shí)驗(yàn)
3.3 過(guò)度平滑和過(guò)度均勻性的平衡
從圖4中可以看出，非cl方法（即LightGCN杖挣、MHCN）的嵌入分布在嵌入空間中表現(xiàn)出難以區(qū)分的聚類肩榕，這說(shuō)明了解決過(guò)平滑問(wèn)題的局限性。相反，現(xiàn)有的基于cl的方法傾向于學(xué)習(xí)i)過(guò)均勻分布株汉，例如筐乳，Yelp上的SGL學(xué)習(xí)一個(gè)巨大的均勻距離嵌入云，沒(méi)有明確的社區(qū)結(jié)構(gòu)乔妈，以很好地捕捉用戶之間的協(xié)作關(guān)系蝙云；ii)高度分散的小簇內(nèi)存在嚴(yán)重的過(guò)平滑問(wèn)題，例如路召，Gowalla上的SimGCL嵌入似乎是分散的粒度簇勃刨，其中的嵌入高度相似。與之相比股淡，本文的方法可以識(shí)別出清晰的社區(qū)結(jié)構(gòu)身隐，以捕獲協(xié)作效應(yīng)，而每個(gè)社區(qū)內(nèi)部的嵌入則可以合理地分散唯灵，以反映用戶特定的偏好贾铝。模型學(xué)習(xí)特征的MAD也在兩種基線之間，如表3所示埠帕。
3.4 超參數(shù)分析
