STRUCTURED SEQUENCE MODELING WITH GRAPH CONVOLUTIONAL RECURRENT NETWORKS

針對問題：結構化序列 structured sequences（如委刘，時空序列）.

提出模型：GCRN.

圖＋CNN——識別空間結構丧没，RNN——查找動態(tài)模式鹰椒。?

研究兩種Graph Convolutional Recurrent Network (GCRN) 的兩種可能的體系結構，并應用于兩個問題：預測移動的MNIST數(shù)據(jù)呕童，以及使用Penn Treebank數(shù)據(jù)集對自然語言進行建模漆际。

同時利用圖形表示空間和動態(tài)數(shù)據(jù)信息可以提高精度和學習速度。

結構化序列：觀測值 $x_t$ 的特征不是獨立的而是通過成對關系關聯(lián)的序列夺饲。這種關系通常由加權圖建模奸汇。

通用GCRN架構

用CNN泛化任意圖的方法：1. 卷積空間定義的泛化。2. 通過卷積定理在圖傅里葉域進行乘法運算往声。

兩種模型

model 1.?堆疊用于特征提取的圖CNN和用于序列學習的LSTM：

$\Theta \star_Gx=\Theta(L)x\approx \sum_{k=0}^{K-1}\theta_kT_k(\tilde{L})x$ 擂找；

fc-lstm: $i=σ(W_{xi} ?x_t +W_{hi} ?h_{t?1} +w_{ci} ⊙c_{t?1} +b_i),\\f =σ(W_{xf} ?x_t +W_{hf} ?h_{t?1} +w_{cf} ⊙c_{t?1} +b_f),\\c_t =f_t ⊙c_{t?1} +i_t ⊙tanh(W_{xc} ?x_t +W_{hc} ?h_{t?1} +b_c), \\o=σ(W_{xo} ?x_t +W_{ho} ?h_{t?1} +w_{co} ⊙c_t +b_o),\\h_t = o ⊙ tanh(c_t),$

得到： $x^{CNN}_t = CNN_G (x_t )$

$i=σ(W_{xi} ?x^{CNN}_t +W_{hi} ?h_{t?1} +w_{ci} ⊙c_{t?1} +b_i),\\f =σ(W_{xf} ?x^{CNN}_t +W_{hf} ?h_{t?1} +w_{cf} ⊙c_{t?1} +b_f),\\c_t =f_t ⊙c_{t?1} +i_t ⊙tanh(W_{xc} ?x^{CNN}_t +W_{hc} ?h_{t?1} +b_c), \\o=σ(W_{xo} ?x^{CNN}_t +W_{ho} ?h_{t?1} +w_{co} ⊙c_t +b_o),\\h_t = o ⊙ tanh(c_t),$

$x_t ∈ R^{n×d_x}$ 是t時刻 $d_x$ 觀察的測量值。 $x^{CNN}_t$ 是圖CNN門的輸出浩销。

該模型結構足以利用局部平穩(wěn)性贯涎、合成屬性、動態(tài)屬性來捕獲數(shù)據(jù)分布慢洋。

model2.?泛化convLSTM模型的曲線圖塘雳，用圖卷積* G替代歐幾里德2D卷積*：

$i=σ(W_{xi} ?_Gx_t +W_{hi} ?_Gh_{t?1} +w_{ci} ⊙c_{t?1} +b_i),\\f =σ(W_{xf} ?_Gx_t +W_{hf} ?_Gh_{t?1} +w_{cf} ⊙c_{t?1} +b_f),\\c_t =f_t ⊙c_{t?1} +i_t ⊙tanh(W_{xc} ?_Gx_t +W_{hc} ?_Gh_{t?1} +b_c), \\o=σ(W_{xo} ?x_t +W_{ho} ?h_{t?1} +w_{co} ⊙c_t +b_o),\\h_t = o ⊙ tanh(c_t),$

$W_{h·} ∈ R^{K ×d_h ×d_h} ; W_{x·} ∈ R^{K ×d_h ×d_x}$ 是不依賴節(jié)點n的參數(shù)。

實驗

移動的mnist數(shù)據(jù)集且警，所有序列總共20幀（10幀-輸入粉捻，10幀-預測）。

各模型運行時間的結果比較斑芜。以及不同參數(shù)

表1顯示了每個模型的計算復雜度與濾波器大小成線性關系肩刃。

總結：

本文研究兩種架構，1.使用CNN和RNN的堆棧（model.1）杏头，2. convLSTM用卷積取代RNN定義中的全連接操作（model.2）盈包。

實驗在兩個應用程序：視頻預測和自然語言建模。model.2在視頻預測的情況下表現(xiàn)出良好的性能醇王。model. 1在語言建模性能較好呢燥，特別是學習速度。已經(jīng)顯示出：（i）各向同性濾波器在要求更少參數(shù)的情況下可以勝過圖像上的經(jīng)典2D濾波器寓娩，（ii）圖CNN和RNN結合叛氨，可以引入和利用邊信息的一種通用方法。?

圖結構可能會給RNN系統(tǒng)帶來穩(wěn)定性棘伴，并阻止它們表達不穩(wěn)定的動態(tài)行為寞埠。

最后編輯于：2020.07.24 17:31:36

?著作權歸作者所有,轉載或內容合作請聯(lián)系作者