題目：Flow Prediction inSpatio-TemporalNetworks BasedonMultitask DeepLearning

封面圖

文章作者信息：

張鈞波销部，博士，京東城市時(shí)空AI產(chǎn)品部負(fù)責(zé)人制跟、京東智能城市研究院人工智能實(shí)驗(yàn)室主任舅桩，主管面向城市時(shí)空大數(shù)據(jù)的AI平臺(tái)、算法模型和技術(shù)研發(fā)雨膨。主要研究方向?yàn)槌鞘杏?jì)算擂涛、深度學(xué)習(xí)和時(shí)空數(shù)據(jù)挖掘。鄭宇聊记，博士撒妈，京東公司副總裁兼京東數(shù)字首席數(shù)據(jù)科學(xué)家。 他的研究興趣包括大數(shù)據(jù)分析排监，時(shí)空數(shù)據(jù)挖掘狰右，機(jī)器學(xué)習(xí)和人工智能。

預(yù)覽摘要：

時(shí)空網(wǎng)絡(luò)中的流量預(yù)測(cè)(如車輛舆床、人群和自行車的流量)由一個(gè)節(jié)點(diǎn)的輸入輸出流量和不同節(jié)點(diǎn)之間的過渡組成棋蚌，在交通系統(tǒng)中起著重要的作用嫁佳。然而，這是一個(gè)非常具有挑戰(zhàn)性的問題谷暮，受到多種復(fù)雜因素的影響蒿往，如不同地點(diǎn)之間的空間相關(guān)性，不同時(shí)間間隔之間的時(shí)間相關(guān)性湿弦，以及外部因素(如事件和天氣)瓤漏。此外，節(jié)點(diǎn)處的流(稱為節(jié)點(diǎn)流)和節(jié)點(diǎn)之間的過渡(邊流)相互影響颊埃。為了解決這些問題蔬充，作者提出了一種多任務(wù)深度學(xué)習(xí)框架，該框架能夠同時(shí)預(yù)測(cè)時(shí)空網(wǎng)絡(luò)中的節(jié)點(diǎn)流和邊流竟秫⊥薰撸基于完全卷積網(wǎng)絡(luò)，設(shè)計(jì)了兩個(gè)復(fù)雜的模型肥败，分別用于預(yù)測(cè)節(jié)點(diǎn)流和邊流趾浅。這兩個(gè)模型通過耦合其中間層的潛在表示而連接在一起，并一起訓(xùn)練馒稍。外部因素也通過門控融合機(jī)制集成到框架中皿哨。在邊流預(yù)測(cè)模型中，使用了一個(gè)嵌入組件來處理節(jié)點(diǎn)之間的稀疏過渡纽谒≈づ颍基于北京和紐約的出租車數(shù)據(jù)對(duì)方法進(jìn)行了評(píng)估。實(shí)驗(yàn)結(jié)果表明鼓黔，該方法在ConvLSTM央勒、CNN、馬爾可夫隨機(jī)場(chǎng)等11條基線上都具有較好的優(yōu)勢(shì)澳化。

?文章亮點(diǎn)總結(jié)：

這篇文章除了從數(shù)據(jù)中挖掘節(jié)點(diǎn)流之間的關(guān)系來預(yù)測(cè)交通流量外崔步，還挖掘了邊流的信息，即進(jìn)行了流向預(yù)測(cè)并提出了一個(gè)基于邊流和節(jié)點(diǎn)流之間關(guān)系的新?lián)p失函數(shù)缎谷。

正文開始：

相關(guān)工作

根據(jù)應(yīng)用場(chǎng)景井濒，將其分為了三類：1、短期交通流預(yù)測(cè)列林。2瑞你、城市路網(wǎng)的中短期和長期交通流預(yù)測(cè)，中短期是5-30分鐘希痴，長期是超過30分鐘者甲。這里的交通流預(yù)測(cè)可以是交通速度、交通流量或者交通密度砌创。3过牙、區(qū)域交通流預(yù)測(cè)甥厦，一般在這個(gè)應(yīng)用場(chǎng)景中纺铭，實(shí)驗(yàn)數(shù)據(jù)都被預(yù)處理為柵格數(shù)據(jù)寇钉。有些論文還會(huì)進(jìn)行流入流出預(yù)測(cè)。

短期交通流預(yù)測(cè)

《Short-term traffic flow prediction with Conv-LSTM》--2017WCSP

本文介紹了利用ConvLSTM模塊對(duì)相鄰區(qū)域的短時(shí)交通流數(shù)據(jù)進(jìn)行處理舶赔，提取時(shí)空特征以及利用雙向LSTM對(duì)預(yù)測(cè)點(diǎn)歷史交通數(shù)據(jù)進(jìn)行處理扫倡，提取交通流數(shù)據(jù)的周期特征的方法。提出了一種無需數(shù)據(jù)預(yù)處理和數(shù)據(jù)特征提取的端到端深度學(xué)習(xí)短時(shí)交通流預(yù)測(cè)體系結(jié)構(gòu)竟纳。最后撵溃，集中時(shí)空特征和周期特征對(duì)交通流進(jìn)行預(yù)測(cè)。這也是這方面問題的baseline之一锥累。

《Diffusion Convolutional Recurrent Neural Network: Data-Driven Traffic Forecasting》--2018ICLR

提出了基于擴(kuò)散卷積循環(huán)神經(jīng)網(wǎng)絡(luò)(DCRNN)的交通流預(yù)測(cè)缘挑，它將交通流建模為有向圖上的擴(kuò)散過程，DCRNN使用圖上的雙向隨機(jī)游走捕獲空間依賴性桶略，以及使用具有調(diào)度采樣的編碼器 - 解碼器架構(gòu)的時(shí)間依賴性

《T-LSTM: A Long Short-Term Memory Neural Network Enhanced by Temporal Information for Traffic Flow Prediction》--2019IEEE ACCESS

提出了一種時(shí)間信息增強(qiáng)LSTM（T-LSTM）來預(yù)測(cè)單個(gè)路段的交通流量语淘。 考慮到每天同一時(shí)間的交通流量的相似特性，該模型可以通過捕獲交通流量與時(shí)間信息之間的內(nèi)在關(guān)聯(lián)性來提高預(yù)測(cè)準(zhǔn)確性际歼。

《City-Wide Traffic Flow Forecasting Using a Deep Convolutional Neural Network》--2020SENSORS

提出了一種基于深度學(xué)習(xí)的多分枝預(yù)測(cè)模型來預(yù)測(cè)城市的短期交通流量惶翻。在這里它引入了外部因素這一概念，例如天氣鹅心、突發(fā)交通事故吕粗、節(jié)假日等都會(huì)影響交通流量。該模型利用時(shí)空交通流矩陣和外部因素作為輸入旭愧，推斷并輸出整個(gè)路網(wǎng)未來的短期交通狀態(tài)(流量)颅筋。為了模擬當(dāng)前路段和相鄰路段之間的交通流的空間相關(guān)性，采用多層全卷積框架進(jìn)行互相關(guān)計(jì)算输枯，并從局部到全局尺度提取分層空間依賴關(guān)系议泵。同時(shí)，通過從時(shí)間軸上的近用押、中肢簿、遠(yuǎn)三個(gè)時(shí)間段構(gòu)造交通流矩陣組成的高維張量，從歷史觀測(cè)中提取交通流的時(shí)間貼近性和周期性蜻拨。同時(shí)考慮外部因素池充，用完全連接的神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，然后與TFFNet也就是這個(gè)模型的框架的主成分的輸出進(jìn)行融合缎讼。多分支模型被自動(dòng)訓(xùn)練以擬合隱藏在交通流矩陣中的復(fù)雜模式收夸，直到通過反向傳播方法達(dá)到預(yù)定義的收斂標(biāo)準(zhǔn)。

在短期交通流量預(yù)測(cè)方面血崭，以前的論文多應(yīng)用RNN及LSTM等的變體進(jìn)行研究卧惜，這種研究方法主要考慮了交通數(shù)據(jù)的時(shí)間特征厘灼，就是2020年的這篇文章也是將時(shí)間特征和空間特征進(jìn)行分開研究的，但是在交通數(shù)據(jù)中其實(shí)不可分的時(shí)空特征能包含更多有用的信息咽瓷。

中短期和長期交通流預(yù)測(cè)

《Spatio-Temporal Graph Convolutional Networks: A Deep Learning Framework for Traffic Forecasting》--2018IJCAI

提出了一種新的深度學(xué)習(xí)結(jié)構(gòu)设凹，時(shí)空?qǐng)D卷積網(wǎng)絡(luò)，由多個(gè)時(shí)空卷積塊組成茅姜，時(shí)空卷積塊由圖卷積層和卷積序列學(xué)習(xí)層組合而成,對(duì)時(shí)空依賴關(guān)系進(jìn)行建模闪朱。

《T-GCN: A Temporal Graph Convolutional Network for Traffic Prediction》--2019ITSS

該模型結(jié)合了圖卷積網(wǎng)絡(luò)(GCN)和門控遞歸單元(GRU)。GCN用于學(xué)習(xí)復(fù)雜的拓?fù)浣Y(jié)構(gòu)來捕獲空間依賴關(guān)系钻洒，GRU用于學(xué)習(xí)交通數(shù)據(jù)的動(dòng)態(tài)變化來捕獲時(shí)間依賴關(guān)系奋姿。

《Attention Based Spatial-Temporal Graph Convolutional Networks for Traf?c Flow Forecasting》--2019AAAI

介紹了基于注意力機(jī)制的時(shí)空?qǐng)D卷積網(wǎng)絡(luò)(ASTGCN)來做交通流預(yù)測(cè)。ASTGCN主要由三個(gè)獨(dú)立部分組成素标，分別對(duì)交通流的三個(gè)時(shí)間特性進(jìn)行建模称诗，即鄰近、每日和每周的依賴關(guān)系头遭。其中每個(gè)獨(dú)立部分又包含兩部分:1)時(shí)空注意力機(jī)制寓免，有效地捕捉交通數(shù)據(jù)中的動(dòng)態(tài)時(shí)空關(guān)聯(lián); 2)時(shí)空卷積，即同時(shí)使用圖卷積來捕捉空間模式和常用的標(biāo)準(zhǔn)卷積來描述時(shí)間特征任岸。對(duì)三個(gè)分量的輸出進(jìn)行加權(quán)融合再榄，生成最終預(yù)測(cè)結(jié)果。

《Multi-Range Attentive Bicomponent Graph Convolutional Network for Traffic Forecasting》--2020AAAI

在前一年研究的基礎(chǔ)上提出了多范圍注意力雙組分GCN（MRA-BGCN）享潜，這是一種用于交通預(yù)測(cè)的新型深度學(xué)習(xí)模型困鸥。首先根據(jù)路網(wǎng)距離構(gòu)建節(jié)點(diǎn)圖，并根據(jù)各種邊沿交互模式構(gòu)建邊圖剑按。然后疾就，使用雙分量圖卷積實(shí)現(xiàn)節(jié)點(diǎn)和邊的交互。引入了多范圍注意力機(jī)制來匯總不同鄰域范圍內(nèi)的信息艺蝴，并自動(dòng)了解不同范圍的重要性猬腰。最新研究主要集中在通過在整個(gè)固定加權(quán)圖中利用圖卷積網(wǎng)絡(luò)（GCN）來對(duì)空間依賴性進(jìn)行建模。這篇論文主要考慮到邊猜敢，即成對(duì)節(jié)點(diǎn)之間的相關(guān)性姑荷，要復(fù)雜得多并且彼此相互作用。所以在這方面做了一些創(chuàng)新缩擂。

區(qū)域交通流預(yù)測(cè)

《Deep Spatio-Temporal Residual Networks for Citywide Crowd Flows Prediction》--2017AAAI

作者用殘差神經(jīng)網(wǎng)絡(luò)框架對(duì)擁堵流的時(shí)間臨近性鼠冕、周期和趨勢(shì)特性建模（closeness, period, trend）。針對(duì)每個(gè)屬性胯盯，設(shè)計(jì)了一個(gè)殘差卷積單元的分支懈费，每個(gè)殘差卷積單元對(duì)擁堵流的空間特性進(jìn)行建模，ST-ResNet動(dòng)態(tài)整合三個(gè)殘差神經(jīng)網(wǎng)絡(luò)分支的輸出博脑，為不同的分支和區(qū)域分配不同的權(quán)重憎乙。將整合結(jié)果進(jìn)一步結(jié)合外部因素（external）票罐，如天氣和一周中的哪一天，來預(yù)測(cè)每個(gè)地區(qū)最終流量.

《Revisiting Spatial-Temporal Similarity: A Deep Learning Framework for Traffic Prediction》--2019AAAI

這篇文章是為了解決兩個(gè)問題泞边，1该押、區(qū)域間的空間依賴是動(dòng)態(tài)的；2繁堡、時(shí)間依賴雖說有天和周的模式沈善，但因?yàn)橛袆?dòng)態(tài)時(shí)間平移，它不是嚴(yán)格周期的椭蹄。本文提出基于時(shí)空神經(jīng)網(wǎng)絡(luò)的，使用局部 CNN 和 LSTM 分別處理時(shí)空信息净赴。一個(gè)門控局部 CNN 使用區(qū)域間的動(dòng)態(tài)相似性對(duì)空間依賴建模绳矩，一個(gè)周期平移的注意力機(jī)制用來學(xué)習(xí)長期周期依賴的模型【脸幔總的來說翼馆，通過注意力機(jī)制對(duì)長期周期信息和時(shí)間平移建模的深度學(xué)習(xí)框架。

《Deep Spatial–Temporal 3D Convolutional Neural Networks for Traffic Data Forecasting》--2019ITSS

ST-3DNet引入了3D卷積來自動(dòng)捕獲交通數(shù)據(jù)在空間和時(shí)間維度上的相關(guān)性金度。提出了一種新的重新校準(zhǔn)(RC)塊來顯式量化空間相關(guān)性貢獻(xiàn)的差異应媚。考慮到交通數(shù)據(jù)的兩種時(shí)間特性猜极，即局部模式和長期模式中姜，ST-3DNet采用由三維卷積和RC塊組成的兩個(gè)分量分別對(duì)這兩種模式進(jìn)行建模，然后將它們加權(quán)聚合在一起進(jìn)行最終預(yù)測(cè)跟伏。這篇文章主要解決的問題是交通數(shù)據(jù)是一種典型的時(shí)空數(shù)據(jù)丢胚，在空間和時(shí)間上同時(shí)表現(xiàn)出相關(guān)性和異構(gòu)性。已有的工作大多只能捕捉交通數(shù)據(jù)的部分屬性受扳，甚至假設(shè)相關(guān)性對(duì)交通預(yù)測(cè)的影響是全局不變的携龟，導(dǎo)致建模不充分，預(yù)測(cè)性能不理想勘高。

《Flow Prediction in Spatio-Temporal Networks Based on Multitask Deep Learning》--2020TKDE

本文設(shè)計(jì)了一個(gè)基于時(shí)空多任務(wù)學(xué)習(xí)框架(MDL)來對(duì)區(qū)域交通進(jìn)行流量預(yù)測(cè)與流向預(yù)測(cè)峡蟋。一個(gè)深度神經(jīng)網(wǎng)絡(luò)來預(yù)測(cè)頂點(diǎn)流量（命名為 NODENET），另一個(gè)深度神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)邊流量（命名為 EDGENET）华望。通過將他們的隱藏狀態(tài)拼接來連接這兩個(gè)深度神經(jīng)網(wǎng)絡(luò)蕊蝗，并一同訓(xùn)練。此外立美，這兩類流量的相關(guān)性通過損失函數(shù)中的正則項(xiàng)來建模匿又。基于深度學(xué)習(xí)的模型可以處理復(fù)雜性和尺度等問題建蹄，同時(shí)多任務(wù)框架增強(qiáng)了每類流量的預(yù)測(cè)性能碌更。下面將具體介紹這篇論文裕偿。

Node Flow and Edge Flow

node flow: the in—and out-flows at a node

outflow metrices:

inflow metrices:

表示節(jié)點(diǎn)(x,y)在區(qū)域點(diǎn)r中，表示此時(shí)的時(shí)間戳在時(shí)間區(qū)間t內(nèi)痛单，(s,e)表示起終點(diǎn)對(duì)嘿棘，P為所有的起終點(diǎn)對(duì)。其中起點(diǎn)和終點(diǎn)由表示旭绒。

edge flow: the transitions between nodes?

St是區(qū)間t內(nèi)的轉(zhuǎn)移矩陣鸟妙，即從節(jié)點(diǎn)Rs到 Re的轉(zhuǎn)移。

在交通系統(tǒng)中挥吵，這兩種類型的流量可以通過：1重父、附近道路行駛的小汽車數(shù)量；2忽匈、乘坐地鐵/公共汽車的人數(shù)房午；3、行人數(shù)量丹允；或者郭厌，4、如果有數(shù)據(jù)雕蔽，全部加在一起來衡量折柠。

圖b給出了一個(gè)插圖。以節(jié)點(diǎn)R1為例批狐，分別根據(jù)手機(jī)信號(hào)和車輛的GPS軌跡計(jì)算流入流量為3扇售，流出流量為3。我們可以看到從r3到r1的過渡是3贾陷，從r1到r2和r4的過度分別是2和1缘眶。在這里我們可以看到兩種類型的流量，一種是節(jié)點(diǎn)流髓废，一種是邊流巷懈，就如圖c所示。所有邊上的過渡被視為有向圖慌洪。

挑戰(zhàn)

由于以下幾個(gè)方面的原因顶燕，同時(shí)預(yù)測(cè)ST網(wǎng)絡(luò)的所有節(jié)點(diǎn)上的輸入/輸出流量和邊緣上的過渡是非常具有挑戰(zhàn)性的：

規(guī)模和復(fù)雜性：位置的流入/流出取決于地理空間中的近鄰和遠(yuǎn)鄰，因?yàn)槿藗兛梢栽谌魏挝恢弥g過境冈爹，特別是當(dāng)一些事件發(fā)生在城市中時(shí)涌攻。給定一個(gè)具有大量(N)個(gè)位置的大城市，有N的2次方個(gè)轉(zhuǎn)換的可能性频伤，盡管這些轉(zhuǎn)換可能不會(huì)在某個(gè)時(shí)間間隔同時(shí)發(fā)生恳谎。但是，要預(yù)測(cè)位置流，無論是輸入/輸出流還是過渡流因痛，我們都需要考慮一個(gè)城市的位置和其他地方之間的依賴關(guān)系婚苹。此外，預(yù)測(cè)還與過去時(shí)間間隔的流量有關(guān)鸵膏。并且膊升，我們不能單獨(dú)和分別預(yù)測(cè)每個(gè)地點(diǎn)的流量，因?yàn)槌鞘兄械牡攸c(diǎn)是相互聯(lián)系谭企、相互關(guān)聯(lián)和相互影響的廓译。這種復(fù)雜性和規(guī)模性對(duì)概率圖模型等傳統(tǒng)的機(jī)器學(xué)習(xí)模型提出了巨大的挑戰(zhàn)。

對(duì)多重相關(guān)性和外部因素進(jìn)行建模：在處理這樣的預(yù)測(cè)問題時(shí)债查，需要對(duì)三種類型的相關(guān)性進(jìn)行建模非区。第一種是不同位置的流量之間的空間相關(guān)性，包括近位置之間的相關(guān)性和遠(yuǎn)位置之間的相關(guān)性攀操。第二種是不同時(shí)間間隔的交通流之間的時(shí)間相關(guān)性院仿，包括時(shí)間貼近性、周期性和趨勢(shì)性速和。第三，進(jìn)出流與過渡流高度相關(guān)剥汤，相互促進(jìn)颠放。流入某個(gè)位置的過渡總和是該位置的流入。同樣吭敢，準(zhǔn)確預(yù)測(cè)某個(gè)位置的總流出流量可以幫助更準(zhǔn)確地預(yù)測(cè)從該位置到其他地方的過渡流量碰凶，反之亦然。此外鹿驼，這些流量還受到事件欲低、天氣和事故等外部因素的影響。

動(dòng)態(tài)性和稀疏性：由于N的2次方的可能性畜晰，位置之間的轉(zhuǎn)換流隨時(shí)間的變化比輸入/輸出流的變化要大得多砾莱。在下一個(gè)時(shí)間間隔真正發(fā)生的轉(zhuǎn)變可能是N的2次方種可能性中非常小的一部分(即非常稀疏)。在如此高維的空間中預(yù)測(cè)如此稀疏的轉(zhuǎn)變是一項(xiàng)非常具有挑戰(zhàn)性的任務(wù)凄鼻。

框架

框架由三個(gè)組件組成腊瑟，分別用于數(shù)據(jù)轉(zhuǎn)換、節(jié)點(diǎn)流建模和邊流建模块蚌。如圖的左側(cè)所示闰非，首先將沿時(shí)間的地圖上的軌跡(或行程)數(shù)據(jù)轉(zhuǎn)換成兩種類型的流：節(jié)點(diǎn)流是按時(shí)間排序的張量序列。邊流作為圖(轉(zhuǎn)移矩陣)的時(shí)序序列峭范，它被進(jìn)一步轉(zhuǎn)換成張量序列财松。

Data Converting

為了將深度神經(jīng)網(wǎng)絡(luò)應(yīng)用于時(shí)變圖，作者建議首先將時(shí)間t處的每個(gè)圖轉(zhuǎn)換為張量纱控。給定時(shí)間t的一個(gè)有向圖辆毡，首先展開它菜秦，然后計(jì)算有向權(quán)矩陣(例如，轉(zhuǎn)移矩陣)胚迫，最后得到張量喷户。以下給出具體說明。

(A)給定一個(gè)在時(shí)間t由4個(gè)結(jié)點(diǎn)和6條邊組成的圖访锻。(B)首先展開它褪尝，這是一個(gè)有向圖。(C)對(duì)于每個(gè)節(jié)點(diǎn)期犬，都有傳入和傳出轉(zhuǎn)換河哑，由向量表示(維數(shù)為8)。以節(jié)點(diǎn)r1為例，其傳出轉(zhuǎn)移向量和傳入轉(zhuǎn)移向量分別為[0;2;0;1]和[0;0;3;0]，它們進(jìn)一步連接成一個(gè)向量[0;2;0;1;0;0;3;0]者铜，包含傳出和傳入信息繁疤。(D)最后，將矩陣重塑為張量舀患，其中每個(gè)節(jié)點(diǎn)根據(jù)原始地圖分割具有固定的空間位置，保護(hù)了空間相關(guān)性。

然后底扳，這兩種類型的類似視頻的數(shù)據(jù)分別被送到NODENET和EDGENET。以EDGENET為例贡耽，選取了三種不同類型的片段衷模，并將其送入3S-FCN，該模型可以對(duì)時(shí)間相關(guān)性進(jìn)行建模蒲赂，包括貼近度阱冶、周期和趨勢(shì)。其中滥嘴，每個(gè)streamFCN都可以通過多次卷積捕獲空間近距離相關(guān)性木蹬。NODENET和EDGENET中間層的潛在表示由BRIDGE組件耦合，并一起訓(xùn)練氏涩。使用一個(gè)嵌入層(稱為Em)來處理過渡稀疏性問題届囚。門控融合組件用于整合外部因素。此外是尖，節(jié)點(diǎn)流和邊流之間的相關(guān)性由^Xt和^Mt之間的正則化來建模.

EDGENET

根據(jù)上述轉(zhuǎn)換方法意系，每個(gè)時(shí)間間隔的轉(zhuǎn)換圖可以轉(zhuǎn)換為張量，對(duì)于每個(gè)節(jié)點(diǎn)Rij饺汹，它具有高達(dá)2N的轉(zhuǎn)換可能性蛔添，包括N個(gè)輸入和N個(gè)輸出。然而，對(duì)于特定的時(shí)間間隔迎瞧，節(jié)點(diǎn)之間的轉(zhuǎn)換可能非常稀疏夸溶。因此，作者受nlp的嵌入方法的啟發(fā)提出采用空間嵌入方法來解決這種稀疏和高維問題凶硅。具體而言缝裁，空間嵌入傾向于學(xué)習(xí)將節(jié)點(diǎn)Rij的2N維向量映射到k維空間的函數(shù):

其中W和B分別是可學(xué)習(xí)參數(shù)矩陣和向量，所有節(jié)點(diǎn)共享這些參數(shù)足绅，M為位于方陣(i,j)的向量捷绑。

流量，就像城市中的人群交通一樣氢妈，總是受到時(shí)空依賴性的影響粹污。為了捕捉不同的時(shí)間依賴關(guān)系(封閉度、周期和趨勢(shì))提出了一種沿時(shí)間方向選擇不同關(guān)鍵幀的深度時(shí)空殘差網(wǎng)絡(luò)首量。受此啟發(fā)壮吩，作者在此選擇最近關(guān)鍵幀、近關(guān)鍵幀和遠(yuǎn)關(guān)鍵幀來預(yù)測(cè)時(shí)間間隔t加缘，分別表示如下所示：

其中p和q分別是周期跨度和趨勢(shì)跨度鸭叙。Lc、Lp和Lq是序列的這三個(gè)部分的長度拣宏。

因?yàn)檫@里的輸出(即递雀，下一時(shí)間間隔的預(yù)測(cè))具有與輸入相同的分辨率。這樣的任務(wù)非常類似于圖像分割問題蚀浆，所以它可以由完全卷積網(wǎng)絡(luò)(FCN)來處理。受此啟發(fā)搜吧，作者提出了一個(gè)3SFCN來捕獲時(shí)間封閉性市俊、周期和趨勢(shì)依賴關(guān)系。其中滤奈，每個(gè)流都是一個(gè)FCN摆昧，由許多卷積組成。根據(jù)卷積的性質(zhì)蜒程，一個(gè)卷積層可以捕獲空間近相關(guān)性绅你。隨著卷積層數(shù)目的增加，F(xiàn)CN可以捕獲越來越遠(yuǎn)的依賴關(guān)系昭躺，甚至城市范圍的空間依賴關(guān)系忌锯。然而，這樣的深層卷積網(wǎng)絡(luò)變得非常難以訓(xùn)練领炫。因此偶垮，使用剩余關(guān)系來幫助培訓(xùn)。與殘差網(wǎng)絡(luò)中使用的殘差塊類似，這里使用由批歸一化(BN)似舵、校正線性單元(RELU)和卷積(Conv)組成的塊脚猾。

設(shè)接近流、周期流和趨勢(shì)流FCN的輸出分別為Mc砚哗，Mp龙助，Mq。不同的節(jié)點(diǎn)可能具有不同的貼近度蛛芥、周期和趨勢(shì)屬性提鸟。為了解決這個(gè)問題，作者建議使用基于參數(shù)矩陣的融合(PM融合)來合并它們常空。

Wc沽一，Wp，Wq分別是調(diào)整受時(shí)間貼近度漓糙、周期和趨勢(shì)影響程度的可學(xué)習(xí)參數(shù)

NODENET

與EDGENET類似铣缠，NODENET也是一個(gè)3S-FCN，選擇最近關(guān)鍵幀昆禽、最近關(guān)鍵幀和遠(yuǎn)離關(guān)鍵幀作為距離蝗蛙、周期和趨勢(shì)依賴項(xiàng)。不同的是醉鳖，NODENET沒有嵌入層捡硅，因?yàn)檩斎氲耐ǖ罃?shù)只有2個(gè)。這三組不同的從屬對(duì)象被饋入三個(gè)不同的流FCN盗棵，其輸出也由PM融合組件進(jìn)一步合并壮韭。然后，我們可以得到3S-FCN的輸出纹因。

融合機(jī)制

Concat Fusion

考慮到節(jié)點(diǎn)流和邊流是相關(guān)的喷屋，所以從NODENET和EDGENET中學(xué)習(xí)到的表示應(yīng)該連接起來。為了連接NODENET和EDGENET瞭恰，假設(shè)NODENET和EDGENET的兩個(gè)潛在表示分別為Xfcn和Mfcn屯曹。考慮到直接融合方法的前提是兩個(gè)任務(wù)的表示必須具有相同的形狀惊畏，即Xfcn和Mfcn在信道維度上具有相同的大小恶耽。為了能從束縛中解脫出來。提出了一種稱為CONCAT的融合方法颜启，兩個(gè)潛在表示映射Xfcn和Mfcn在同一空間節(jié)點(diǎn)Rij跨通道c的拼接如下：

其中Cx和Cm分別是Xfcn和Mfcn的通道數(shù)偷俭， Concat融合實(shí)際上可以通過相互加強(qiáng)更好地整合節(jié)點(diǎn)和邊流的兩個(gè)層次。在CONCAT融合后农曲，分別在NODENET和EDGENET中添加卷積層社搅。使用卷積將組合的潛在特征映射圖H映射到不同大小的通道輸出驻债。

Gating Fusion

外部因素，如事件和天氣形葬，可以影響ST網(wǎng)絡(luò)不同部分的流量合呐。例如，一場(chǎng)事故可能會(huì)堵塞某一地區(qū)的交通笙以，一場(chǎng)暴雨可能會(huì)減少全球范圍內(nèi)的交通淌实。這種外部因素就像開關(guān)一樣，如果發(fā)生了猖腕，流量會(huì)發(fā)生很大的變化拆祈。基于這一認(rèn)識(shí)倘感，在這里發(fā)展了一種基于門控機(jī)制的融合放坏，如圖所示。在時(shí)間t老玛，人們可以獲得ST-網(wǎng)絡(luò)中相應(yīng)的外部特征淤年，表示為ET。

Fm是對(duì)應(yīng)節(jié)點(diǎn)Rij的STnetwork的gating值蜡豹，w和b是可學(xué)習(xí)的參數(shù)麸粮。然后使用基于門機(jī)制的融合。其中tanh是確保輸出值在-1和1之間的雙曲正切镜廉。同樣的弄诲，在NODENET的最終預(yù)測(cè)中，F(xiàn)X是gating的另一個(gè)輸出娇唯。對(duì)節(jié)點(diǎn)流和邊緣流使用不同的gating值(即齐遵，F(xiàn))的一個(gè)原因是，外部因素可以不同地影響不同位置的輸入/輸出流和轉(zhuǎn)換塔插。

LOSSES

總的來說損失函數(shù)包含三個(gè)部分洛搀，其中Jedge和Jnode好理解，分別表示兩個(gè)網(wǎng)絡(luò)各自的損失佑淀。而Jmdl則表示二者結(jié)合起來的損失。Qc是mt所有非零項(xiàng)的指示矩陣彰檬。Pt是xt中所有非零項(xiàng)的指示矩陣

從本質(zhì)上說左右兩邊的表示是等價(jià)的伸刃，因此二者之間的損失應(yīng)該為0。 因此圖中紅色部分也就對(duì)應(yīng)公式中的紅色部分逢倍；藍(lán)色對(duì)應(yīng)藍(lán)色公式捧颅。

實(shí)驗(yàn)

數(shù)據(jù)集

TaxiBJ：軌跡數(shù)據(jù)是指2013年7月1日-2013年10月30日、2014年3月1日-2014年6月30日较雕、2015年3月1日-2015年6月30日碉哑、2015年11月1日-2016年4月10日四個(gè)時(shí)間段的北京市出租車GPS數(shù)據(jù)和氣象數(shù)據(jù)挚币。作者選擇過去四周的數(shù)據(jù)作為測(cè)試集，之前的所有數(shù)據(jù)作為訓(xùn)練集扣典。

TaxiNYC：出租車出行記錄取自2011年至2014年的紐約市妆毕。出行數(shù)據(jù)包括：接送日期/時(shí)間、接送地點(diǎn)贮尖。在這些數(shù)據(jù)中笛粘，最后四周被選為測(cè)試集，其余被選為訓(xùn)練集

baselines

Baselines一共有以上11種湿硝，只考慮時(shí)間信息的7種薪前，加上考慮空間信息的兩種，考慮外部信息的ST-Resnet和考慮了過渡信息的MRF关斜。前面的經(jīng)典統(tǒng)計(jì)方法和rnn及其變體不用贅述示括，下面來說一下剩下的baselines.

ST-ANN：時(shí)空人工神經(jīng)網(wǎng)絡(luò)，以空間(鄰近8個(gè)區(qū)域)和時(shí)間(前8個(gè)時(shí)間間隔)值作為輸入特征痢畜。

ConvLSTM：卷積LSTM垛膝，一個(gè)使用雷達(dá)回波數(shù)據(jù)集(圖像序列)進(jìn)行降水短時(shí)預(yù)報(bào)的最新模型。本文中使用的人群流數(shù)據(jù)可以看作是一系列的圖像裁着，每一幅圖像都是某一時(shí)間間隔內(nèi)的人群流繁涂。前3幀用于預(yù)測(cè)下一幀，該模型由兩層ConvLSTM層和一層卷積層組成二驰。

ST-ResNet：時(shí)空殘差卷積網(wǎng)絡(luò)扔罪，在節(jié)點(diǎn)流量預(yù)測(cè)方面顯示出最先進(jìn)的性能。

MRF：基于馬爾可夫隨機(jī)場(chǎng)的全市流量預(yù)測(cè)模型桶雀，該模型利用所有單個(gè)區(qū)域的流量矿酵、區(qū)域之間的過渡以及外部因素(例如，天氣)矗积。

MDL使用TensorFlow和Kera實(shí)現(xiàn)全肮，并通過反向傳播和ADAM[18]優(yōu)化進(jìn)行訓(xùn)練。

與其他模型的性能比較實(shí)驗(yàn)

上表顯示了TaxiBJ和TaxiNYC節(jié)點(diǎn)流量預(yù)測(cè)的RMSE和MAE棘捣。我們可以觀察到辜腺，MDL和MRF始終優(yōu)于所有其他基線。具體地說乍恐，MDL在TaxiNYC上的性能明顯好于MRF评疗。在數(shù)據(jù)集TaxiBJ上，MDL具有與MRF競(jìng)爭(zhēng)的結(jié)果茵烈。原因可能是TaxiNYC比TaxiBJ大3倍百匆。換句話說，MDL在大數(shù)據(jù)上比MRF有更好的性能呜投。具體來說加匈，以TaxiNYC的流量預(yù)測(cè)為例存璃，RMSE的結(jié)果表明，MDL比HA好87%雕拼，比ARIMA好50%纵东，比SARIMA好44%，比VAR好48%悲没，比ST-ANN好26%篮迎，比RNN好54%，比ST-ResNet好22%示姿，比ConvLSTM好19%甜橱。

上表給出了TaxiBJ和TaxiNYC的邊緣流預(yù)測(cè)的均方根誤差(RMSE)和均方根誤差(MAE)。過渡預(yù)測(cè)任務(wù)的實(shí)驗(yàn)非常耗時(shí)栈戳。主要在MDL和HA岂傲、ARIMA、SARIMA子檀、ST-ANN和ST-ResNet上進(jìn)行實(shí)驗(yàn)镊掖，結(jié)果表明MDL的性能優(yōu)于其他算法。

組件性能測(cè)試實(shí)驗(yàn)

為了耦合NODENET和EDGENET褂痰，我們?cè)谇懊娼榻B了Concat融合亩进。還有一種直接的融合方法是sum融合。需要注意的是缩歪，SUM要求兩個(gè)潛在特征地圖具有相同的形狀归薛。對(duì)于外部因素的融合，可以選擇以下方式之一：門控融合匪蝙、簡(jiǎn)單融合也是就是sum或不使用(即w/o)主籍。對(duì)所有變體使用相同的超參數(shù)設(shè)置(例如，訓(xùn)練迭代次數(shù))逛球。我們可以觀察到千元，CONCAT+GATING方法的性能優(yōu)于基于RMSE和MAE的其他方法。

表和圖10顯示了我們的多任務(wù)組件對(duì)最終實(shí)驗(yàn)性能的影響颤绕。從表格和圖表可以看出幸海，過渡流預(yù)測(cè)任務(wù)在大多數(shù)情況下都可以改進(jìn)，當(dāng)node=edge=1和MDL=0.1時(shí)奥务，我們的多任務(wù)模型取得了最好的性能涕烧，在這種情況下，兩個(gè)任務(wù)都比兩個(gè)單任務(wù)獲得了更好的結(jié)果汗洒，這證明了我們的多任務(wù)部分可以相互促進(jìn)每個(gè)任務(wù)的性能的有效性和可靠性。

上圖刻畫了網(wǎng)絡(luò)深度對(duì)TaxiNYC(3個(gè)月數(shù)據(jù))的影響父款。隨著網(wǎng)絡(luò)的深入(即卷積數(shù)目的增加)溢谤，模型的均方根誤差(RMSE)首先降低瞻凤，這表明網(wǎng)絡(luò)越深往往結(jié)果越好，因?yàn)樗粌H可以捕捉空間上的近依賴關(guān)系世杀，而且可以捕捉到遠(yuǎn)距離依賴關(guān)系阀参。然而，當(dāng)網(wǎng)絡(luò)越深瞻坝，RMSE越大蛛壳，表明訓(xùn)練過程變得更加困難。

描述了兩個(gè)節(jié)點(diǎn)對(duì)照2014年最后4周紐約市(NYC)的實(shí)際情況所刀，對(duì)我們的MDL在未來一小時(shí)內(nèi)的預(yù)測(cè)結(jié)果衙荐。具體地說，（10浮创，1）節(jié)點(diǎn)的流量總是高于（8忧吟，3）節(jié)點(diǎn)的流量≌杜可以觀察到溜族，模型在跟蹤紐約市兩個(gè)節(jié)點(diǎn)的交通流的地面真實(shí)曲線(包括突變)方面是非常準(zhǔn)確的，這證明了所提出的模型的有效性垦沉。

總結(jié)

提出了一種新的多任務(wù)深度學(xué)習(xí)(MDL)框架煌抒，用于同時(shí)預(yù)測(cè)時(shí)空網(wǎng)絡(luò)中的輸入/輸出流(節(jié)點(diǎn)流)和躍遷(邊流)。MDL不僅可以處理預(yù)測(cè)中的復(fù)雜性和規(guī)模性問題厕倍，而且可以相互加強(qiáng)對(duì)各種類型流量的預(yù)測(cè)寡壮。此外，MDL能夠捕獲空間相關(guān)性(近距離和遠(yuǎn)距離)绑青、時(shí)間相關(guān)性(距離诬像、周期、趨勢(shì))和外部因素(如事件和天氣)闸婴。在北京和紐約的兩個(gè)真實(shí)數(shù)據(jù)集上對(duì)MDL進(jìn)行了評(píng)估坏挠，取得了明顯好于11種基本方法的性能。

對(duì)于這篇論文來說邪乍，給自己的啟示也有不少：

同一數(shù)據(jù)能夠從不同角度來挖掘出有用的信息降狠，不同信息之間可相互促進(jìn)；

損失函數(shù)的設(shè)計(jì)庇楞，P,Q的引入榜配，以及對(duì)兩者的結(jié)合。

參考

Short-term traffic flow prediction with Conv-LSTM--2017WCSP

Diffusion Convolutional Recurrent Neural Network: Data-Driven Traffic Forecasting--2018ICLR

T-LSTM: A Long Short-Term Memory Neural Network Enhanced by Temporal Information for Traffic Flow Prediction--2019IEEE ACCESS

City-Wide Traffic Flow Forecasting Using a Deep Convolutional Neural Network--2020SENSORS

Spatio-Temporal Graph Convolutional Networks: A Deep Learning Framework for Traffic Forecasting--2018IJCAI

T-GCN: A Temporal Graph Convolutional Network for Traffic Prediction--2019ITSS

Attention Based Spatial-Temporal Graph Convolutional Networks for Traf?c Flow Forecasting--2019AAAI

Multi-Range Attentive Bicomponent Graph Convolutional Network for Traffic Forecasting--2020AAAI

Deep Spatio-Temporal Residual Networks for Citywide Crowd Flows Prediction--2017AAAI

Revisiting Spatial-Temporal Similarity: A Deep Learning Framework for Traffic Prediction--2019AAAI

Deep Spatial–Temporal 3D Convolutional Neural Networks for Traffic Data Forecasting--2019ITSS

Flow Prediction in Spatio-Temporal Networks Based on Multitask Deep Learning--2020TKDE

正文結(jié)束

熱文推薦：

更多相關(guān)專業(yè)文章吕晌，歡迎關(guān)注公眾號(hào)蛋褥！