解決問題：利用機(jī)器學(xué)習(xí)(尤其是深度學(xué)習(xí))預(yù)測分子和材料的性質(zhì)
本質(zhì)上衫仑，證明化學(xué)預(yù)測問題的有效機(jī)器學(xué)習(xí)模型能夠直接從分子圖中學(xué)習(xí)它們自己的特征厨疙，并且這種學(xué)習(xí)對于圖同構(gòu)是不變的芯侥。
消息傳遞神經(jīng)網(wǎng)絡(luò)(MPNNs)
MPNN指出圖卷積的核心在于定義節(jié)點之間的聚合函數(shù)，基于聚合函數(shù)呻引，每個節(jié)點可以表示為周圍節(jié)點和自身的信息疊加考蕾，因此該模型通過定義通用的聚合函數(shù)提出圖卷積網(wǎng)絡(luò)的通用框架祸憋。
設(shè)：在具有節(jié)點特征 xv 和邊特征 evw的無向圖 G 上運行的 MPNNs（v,w指的是節(jié)點）
向前傳遞有兩個階段：消息傳遞階段和讀出階段。
消息傳遞實際上就是運行T步基于空間的圖卷積肖卧，圖卷積通過一個消息函數(shù)M(t)和一個更新操作U(t)夺衍。
讀出階段基于每一個node的隱藏表達(dá)得到整個graph的表達(dá)。
消息傳遞階段喜命，圖中每個節(jié)點的隱藏狀態(tài)hv(t),下面基于mv(t+1)進(jìn)行迭代
在求和時沟沙， N(v)表示圖 g 中 v 的鄰居。
讀出階段使用一些讀出函數(shù)R來計算整個圖的特征向量
消息函數(shù)Mt壁榕、頂點更新函數(shù)Ut矛紫、讀出函數(shù)R都是學(xué)習(xí)到的可微函數(shù)。
R作用于節(jié)點狀態(tài)集牌里，并且必須對節(jié)點狀態(tài)的排列保持不變颊咬，以便MPNN對圖同構(gòu)保持不變。
通過指定所使用的消息函數(shù)Mt牡辽、頂點更新函數(shù)Ut和讀出函數(shù)R喳篇，來定義文獻(xiàn)中之前的模型。
注意态辛，人們也可以通過為圖hevw(t)中的所有邊引入隱藏狀態(tài)并將它們類似地更新到方程1和2來學(xué)習(xí)MPNN中的邊特征麸澜。
學(xué)習(xí)分子指紋的卷積網(wǎng)絡(luò)（2015）（分別對連接的節(jié)點和邊求和）
消息函數(shù)
其中(·，·)表示連接奏黑。
頂點更新函數(shù)
其中σ是sigmoid函數(shù)炊邦，deg()是頂點v的度數(shù)，Ht(N)是每次步長t的可學(xué)習(xí)的矩陣（參數(shù)）熟史，頂點度數(shù)N.
讀出函數(shù)R將先前所有隱藏層的狀態(tài)hv(t)進(jìn)行連接：
其中f是一個神經(jīng)網(wǎng)絡(luò)馁害，Wt是可學(xué)習(xí)的讀出矩陣，每次步長t蹂匹。
這個消息傳遞方案可能有問題碘菜，因為得到的消息向量是
它分別對連接的節(jié)點和連接的邊求和。
由此可見限寞，Duvenaud等人(2015)實現(xiàn)的消息傳遞無法識別邊緣狀態(tài)和節(jié)點狀態(tài)之間的相關(guān)性忍啸。
實例理解
① (A, B, 1)+(A, C 1) = (2A, B+C, 2)
② 設(shè)H = (1, 1, 0.5)' , Hm =(2A, B+C, 1), ht+1 = sigmoid(Hm)
重復(fù)step①,②
③ sum(softmax(Wh))
門控圖神經(jīng)網(wǎng)絡(luò)（2016）（RNN模式）
使用的消息函數(shù)是 ，其中Aevw 是一個學(xué)習(xí)的矩陣昆烁，每個邊標(biāo)簽 e 對應(yīng)一個(模型假設(shè)離散邊類型)吊骤。 更新函數(shù)是Ut = GRU，其中 GRU 是 Cho 等人引入的門控循環(huán)單位（RNN的一次運算）静尼。 (2014). 這項工作使用了權(quán)重綁定白粉，因此在每個時間步長 t 使用相同的更新函數(shù)。
消息函數(shù)
其中Aevw是一個可學(xué)習(xí)的矩陣鼠渺，每個標(biāo)簽e對應(yīng)一個模型（模型假設(shè)離散邊模型）
更新函數(shù):
GRU是門控循環(huán)單元鸭巴，本工作使用了權(quán)重捆綁，因此在每次步長t都使用相同的讀出函數(shù)
其中i和j為神經(jīng)網(wǎng)絡(luò)拦盹，⊙元素乘法鹃祖。
這項工作既考慮了圖中每個節(jié)點都有一個目標(biāo)的情況，也考慮了圖級目標(biāo)的情況普舆。
它還考慮了在每次步長應(yīng)用節(jié)點級效果的情況恬口，在這種情況下校读，更新函數(shù)將連接(hv， xv祖能， mv)作為輸入歉秫，其中 xv 是表示對頂點v 的一些外部影響的外部向量。
消息函數(shù) M(hv养铸，hw雁芙，evw)是一個采用串聯(lián)(hv，hw钞螟，evw)的神經(jīng)網(wǎng)絡(luò)兔甘。
頂點更新函數(shù) U(hv，xv鳞滨，mv)是一個以串聯(lián)(hv洞焙，xv，mv)為輸入的神經(jīng)網(wǎng)絡(luò)太援。
最后闽晦，在有圖級輸出的情況下
其中f為一個神經(jīng)網(wǎng)絡(luò)，獲取最終隱藏狀態(tài)hv(t),最初的工作只為 T = 1 定義了模型提岔。
分子圖卷積（2016）（引入邊更新）
引入了在消息傳遞階段更新的邊表示evw(t)仙蛉，在消息傳遞階段會進(jìn)行更新
用于節(jié)點消息的消息函數(shù)
節(jié)點更新函數(shù)
其中 ( . , . )表示拼接，α為ReLU激活函數(shù)碱蒙，W0 , W1為可學(xué)習(xí)權(quán)重矩陣;
邊狀態(tài)的更新：
Wi為可學(xué)習(xí)權(quán)重矩陣
深度張量神經(jīng)網(wǎng)絡(luò)（矩陣模式方向化學(xué)習(xí)）
從w到v的信息由下式計算：
W(cf),W(fc),W(df)為矩陣荠瘪，b1,b2為偏置向量（偏離原點使得函數(shù)本身變化更貼切于真實）：
更新函數(shù)：
讀出函數(shù)通過單層隱藏層接受每個節(jié)點并且求和后輸出：
基于拉普拉斯的方法（引入卷積方法）
基于拉普拉斯矩陣的方法將圖像中的卷積運算擴(kuò)展到網(wǎng)絡(luò)圖G 的鄰接矩陣 A 中
消息函數(shù)
其中，矩陣 Cvw(t) 為拉普拉斯矩陣 L的特征向量組成的矩陣赛惩；
（由圖拉普拉斯的特征向量和模型的學(xué)習(xí)參數(shù)組成）
節(jié)點更新函數(shù)：
其中哀墓，σ為非線性的激活函數(shù)，比如說 ReLU喷兼。
另一工作者的消息函數(shù)
節(jié)點的更新函數(shù)為
以上模型都是 MPNN 框架的不同文章篮绰。
消息函數(shù)
GG-NN 中使用的消息函數(shù)開始，GG-NN 用的是矩陣乘法
邊網(wǎng)絡(luò)：為了兼容邊特征季惯，作者提出了新的消息函數(shù)
成對消息：矩陣乘法有一個特點吠各，從節(jié)點 w 到節(jié)點 v 的函數(shù)僅與隱藏層狀態(tài)和邊向量有關(guān)，而和隱藏狀態(tài)無關(guān)勉抓。
理論上來說贾漏，如果節(jié)點消息同時依賴于源節(jié)點 w 和目標(biāo)節(jié)點 v 的話，網(wǎng)絡(luò)的消息通道將會得到更有效的利用藕筋。
所以也可以嘗試去使用一種消息函數(shù)的變種：
f是一個神經(jīng)網(wǎng)路纵散，從而用到隱藏狀態(tài)
虛擬圖
兩種不同的方法來改變消息在整個模型中的傳遞方式。
最簡單的修改包括為未連接的節(jié)點對添加單獨的“虛擬”邊類型。這可以實現(xiàn)為數(shù)據(jù)預(yù)處理步驟伍掀，并允許信息在傳播階段進(jìn)行長距離傳播掰茶。
嘗試使用一個潛在的“主”節(jié)點，它通過一個特殊的邊類型連接到圖中的每個輸入節(jié)點硕盹。
主節(jié)點充當(dāng)全局暫存空間符匾，在消息傳遞的每個步驟中，每個節(jié)點都可以讀取和寫入該空間瘩例。
允許主節(jié)點具有單獨的節(jié)點維度，以及用于內(nèi)部更新功能的單獨權(quán)重(在我們的例子中是 GRU)甸各。這使得信息在傳播階段可以傳播很長的距離垛贤。
理論上，它還允許額外的模型容量
Multiple Towers（找不到好聽的名字用英語吧）
為了解決消息傳遞時浮點數(shù)乘法不斷擴(kuò)大時間復(fù)雜度問題
我們將 d 維節(jié)點嵌入hv(t) 分解成 k 個不同的d 維
k維嵌入 ht趣倾、 kv聘惦，并對 k 個副本中的每一個單獨運行傳播步驟，以獲得臨時嵌入儒恋，對每個副本使用單獨的消息和更新功能善绎。
每個節(jié)點的 k個臨時嵌入然后根據(jù)等式混合在一起
其中 g 表示神經(jīng)網(wǎng)絡(luò)
(x,y...)表示連接，圖中所有節(jié)點共享 g诫尽。
這種混合保持了節(jié)點排列的不變性禀酱，同時允許圖的不同副本在傳播階段相互通信。
這可能是有利的牧嫉，因為它允許相同數(shù)量的參數(shù)具有更大的隱藏狀態(tài)剂跟，
這在實踐中產(chǎn)生了計算加速。例如酣藻，當(dāng)消息函數(shù)是矩陣乘法時單個拷貝的傳播步驟需要時間
有 k個拷貝曹洽，因此總的時間復(fù)雜度:
