卷積神經(jīng)網(wǎng)絡(luò)的條件時間序列預(yù)測

摘要
我們提出了一種基于最新深度卷積WaveNet架構(gòu)的條件時間序列預(yù)測方法怠噪。擬議的網(wǎng)絡(luò)包含堆疊的卷積堆棧下隧，使它們可以在預(yù)測時訪問廣泛的歷史記錄沮尿，ReLU激活函數(shù)和條件是通過將多個卷積濾波器并行應(yīng)用于單獨的時間序列來執(zhí)行的檐束，從而可以快速處理數(shù)據(jù)和利用多元時間序列之間的相關(guān)結(jié)構(gòu)。我們使用S＆P500酌媒，波動率指數(shù)仁烹，CBOE利率和幾種匯率來無條件和有條件地對卷積網(wǎng)絡(luò)的性能進行測試和分析耸弄，并將其與眾所周知的自回歸的性能進行廣泛比較模型和長期記憶網(wǎng)絡(luò)。我們表明卓缰，卷積網(wǎng)絡(luò)非常適合回歸類型的問題计呈，并且能夠有效地學(xué)習(xí)序列中以及序列之間的依賴關(guān)系砰诵，而無需較長的歷史時間序列，它是一種省時且易于實現(xiàn)的替代遞歸類型的方法網(wǎng)絡(luò)捌显，并且往往優(yōu)于線性模型和遞歸模型茁彭。關(guān)鍵字：卷積神經(jīng)網(wǎng)絡(luò)，金融時間序列扶歪，預(yù)測理肺，深度學(xué)習(xí)，多元時間序列
簡介
由于明顯的原因善镰，使用過去的觀察來預(yù)測財務(wù)時間序列已成為人們非常感興趣的話題妹萨。眾所周知，盡管數(shù)據(jù)中存在時間關(guān)系炫欺，但由于序列中存在非線性趨勢乎完，粗尾和噪聲，它們很難準(zhǔn)確分析和預(yù)測[6]品洛。在開發(fā)用于預(yù)測財務(wù)數(shù)據(jù)的模型時树姨，希望它們既能夠?qū)W習(xí)數(shù)據(jù)中的非線性依存關(guān)系，又具有很高的抗噪性桥状。傳統(tǒng)的自回歸模型（例如VAR和ARMA [9]）無法捕獲非線性模式帽揪。前饋神經(jīng)網(wǎng)絡(luò)是一種學(xué)習(xí)數(shù)據(jù)中依存關(guān)系的流行方法，因為前饋神經(jīng)網(wǎng)絡(luò)無需使用預(yù)先指定特定的模型形式辅斟，參見[28]或[4]转晰。Hybrid還提出了使用神經(jīng)網(wǎng)絡(luò)和計量經(jīng)濟學(xué)模型的混合方法，傳統(tǒng)前饋神經(jīng)網(wǎng)絡(luò)的一個缺點是需要大量的數(shù)據(jù)樣本才能獲得穩(wěn)定的預(yù)測結(jié)果砾肺。
本文的主要重點是多元時間序列預(yù)測挽霉，特別是金融時間序列。特別是变汪，我們預(yù)測以其他相關(guān)序列為條件的時間序列。眾所周知蚁趁，金融時間序列既具有高噪聲成分裙盾，又具有有限的持續(xù)時間–即使可用，由于金融環(huán)境的變化他嫡，使用長期股價歷史記錄也可能很困難番官。同時，存在許多不同但密切相關(guān)的財務(wù)時間序列钢属。在這里徘熔，我們旨在利用條件的概念來開發(fā)多變量預(yù)測，以減少短時序列中的噪聲淆党。實際上酷师，我們將多個財務(wù)時間序列用作神經(jīng)網(wǎng)絡(luò)的輸入讶凉，從而根據(jù)其自身的歷史以及多個其他時間序列的歷史來對時間序列的預(yù)測進行調(diào)整。在多個股票系列上訓(xùn)練模型可以使網(wǎng)絡(luò)利用這些系列之間的相關(guān)結(jié)構(gòu)山孔，以便網(wǎng)絡(luò)可以在較短的數(shù)據(jù)序列中了解市場動態(tài)懂讯。如圖所示[30]對于分類，使用多個條件時間序列作為輸入可以通過學(xué)習(xí)序列之間的長期時間依賴性來提高模型的魯棒性和預(yù)測質(zhì)量台颠。
卷積神經(jīng)網(wǎng)絡(luò)（CNN）褐望，參見[18]，是一種生物啟發(fā)型的深度神經(jīng)網(wǎng)絡(luò)（DNN）串前，由于其在分類問題（例如圖像識別[16]或時間序列分類[ 26]）瘫里。 CNN由一系列卷積層組成，其輸出僅連接到輸入中的局部區(qū)域荡碾。這是通過在輸入上滑動濾波器或權(quán)重矩陣并在每個點計算兩者之間的點積（即輸入和濾波器之間的卷積）來實現(xiàn)的谨读。這種結(jié)構(gòu)允許模型學(xué)習(xí)能夠識別輸入數(shù)據(jù)中特定模式的過濾器。 CNN用于時間序列預(yù)測的最新進展包括[20]玩荠，其中作者提出了基于未抽取小波變換的時間序列建模的未抽取卷積網(wǎng)絡(luò)漆腌，[3]作者建議使用自回歸型加權(quán)系統(tǒng)來預(yù)測金融時間序列，其中權(quán)重通過通過CNN進行學(xué)習(xí)而被允許與數(shù)據(jù)相關(guān)阶冈。在一般的文獻中闷尿，關(guān)于卷積架構(gòu)的金融時間序列預(yù)測的文獻仍然很少，因為這些類型的網(wǎng)絡(luò)更常用于分類問題女坑。直觀地填具，將CNN應(yīng)用于時間序列預(yù)測的想法是學(xué)習(xí)表示代表該序列中某些重復(fù)模式的過濾器，并使用它們來預(yù)測未來值匆骗。由于CNN的分層結(jié)構(gòu)劳景，它們可以在嘈雜序列上很好地工作，通過在每個后續(xù)層中丟棄噪聲并僅提取有意義的模式碉就，從而與使用小波變換時間序列的神經(jīng)網(wǎng)絡(luò)（即盟广，高頻和低頻分量）作為輸入，請參見例如[1]瓮钥，[17]筋量。
當(dāng)前，遞歸神經(jīng)網(wǎng)絡(luò)（RNN）碉熄，尤其是長期短期記憶單元（LSTM）[12]桨武，[5]是時間序列預(yù)測的最新技術(shù)，另請參見[14]和特別是[7]的財務(wù)預(yù)測結(jié)果锈津。這些網(wǎng)絡(luò)的效率可以通過循環(huán)連接來解釋呀酸，循環(huán)連接允許網(wǎng)絡(luò)訪問以前時間序列值的整個歷史記錄。另一種選擇是采用多層卷積的卷積神經(jīng)網(wǎng)絡(luò)[27]琼梆。通過跳過輸入中的某些元素來應(yīng)用濾波器的擴張卷積允許網(wǎng)絡(luò)的接收場呈指數(shù)增長性誉，從而允許網(wǎng)絡(luò)類似于RNN窿吩，訪問范圍廣泛的歷史記錄。 CNN相對于遞歸型網(wǎng)絡(luò)的優(yōu)勢在于艾栋，由于網(wǎng)絡(luò)的卷積結(jié)構(gòu)爆存，可訓(xùn)練權(quán)重的數(shù)量很少，從而可以更有效地進行訓(xùn)練和預(yù)測蝗砾。
受[25]的影響先较，作者將PixelCNN與用于圖像生成的網(wǎng)絡(luò)PixelRNN [24]的性能進行了比較。在本文中悼粮，我們旨在研究卷積神經(jīng)網(wǎng)絡(luò)與自回歸算法和自回歸算法相比的性能闲勺。預(yù)測嘈雜的財務(wù)時間序列的遞歸模型。我們使用的CNN是受最早為音頻預(yù)測而開發(fā)的[23]的卷積WaveNet模型啟發(fā)的網(wǎng)絡(luò)扣猫，我們對其結(jié)構(gòu)進行了簡化和優(yōu)化以進行多元時間序列預(yù)測菜循。我們的網(wǎng)絡(luò)專注于學(xué)習(xí)多元，嘈雜的時間序列內(nèi)以及之間的長期關(guān)系申尤。與[23]相似癌幕，它使用膨脹卷積，但是這些卷積與輸入時間序列以及我們所依據(jù)的時間序列中的參數(shù)化跳過連接[11]一起應(yīng)用昧穿，從而學(xué)習(xí)了長和短術(shù)語相互依存關(guān)系的有效方式勺远。此外，原始WaveNet模型的門控激活功能被整流線性單元（ReLU）取代时鸵，簡化了模型并減少了訓(xùn)練時間胶逢。
本文包括幾個主要的貢獻。首先饰潜，我們介紹了受WaveNet模型啟發(fā)的CNN初坠，其結(jié)構(gòu)經(jīng)過簡化和優(yōu)化以用于時間序列預(yù)測，即使用ReLU激活以及通過參數(shù)化跳過連接進行新穎彭雾，更優(yōu)化的調(diào)節(jié)方式碟刺。其次，據(jù)我們所知薯酝，知道CNN在分類問題上的出色表現(xiàn)南誊，我們的工作是（據(jù)我們所知）第一個表明它們可以成功地用于預(yù)測有限長度的金融時間序列。通過對WaveNet模型進行廣泛的分析并將性能與LSTM蜜托，當(dāng)前最新的預(yù)測技術(shù)以及計量經(jīng)濟學(xué)中流行的自回歸模型進行比較，我們證明WaveNet模型是一種高效的方法且易于實施以替代遞歸型網(wǎng)絡(luò)霉赡，并且往往優(yōu)于線性模型和遞歸模型橄务。最后蔑担，我們使用人工時間序列以及S＆P500月腋，VIX挠乳，CBOE利率和五種匯率的示例表明垦江，WaveNet模型中有效的條件調(diào)節(jié)方式使人們能夠提取時間序列之間的時間關(guān)系，從而改善預(yù)測棠涮，而同時限制了長期歷史價格序列的需求并降低了噪音谬哀，因為它允許人們利用相關(guān)時間序列之間的相關(guān)性⊙戏荆總體而言史煎，我們表明卷積網(wǎng)絡(luò)可以更簡單，更容易地訓(xùn)練循環(huán)網(wǎng)絡(luò)的替代方法驳糯，同時在非線性篇梭，嘈雜的預(yù)測任務(wù)上至少達到相同或更高的準(zhǔn)確性。
模型
在這一節(jié)中酝枢，我們首先回顧一下神經(jīng)網(wǎng)絡(luò)和卷積神經(jīng)網(wǎng)絡(luò)恬偷。然后，我們介紹了將用于時間序列預(yù)測的特定卷積網(wǎng)絡(luò)結(jié)構(gòu)帘睦。
前饋神經(jīng)網(wǎng)絡(luò)
略
Convolutions（卷積）
兩個一維信號f和g的離散卷積被定義為f?g

圖2.1

圖2.2

image.png

image.png

圖2.3

討論與結(jié)論在本文中遇绞，我們介紹并分析了基于卷積神經(jīng)網(wǎng)絡(luò)WaveNet架構(gòu)[23]的條件時間序列預(yù)測方法的性能键袱。該網(wǎng)絡(luò)利用了應(yīng)用于輸入和多種條件的膨脹卷積層，從而了解了數(shù)據(jù)中以及數(shù)據(jù)之間的趨勢和關(guān)系摹闽。我們分析了WaveNet模型在各種時間序列上的性能蹄咖，并將其與時間序列預(yù)測的最新技術(shù)，LSTM模型和線性自回歸模型進行了比較付鹿。我們得出結(jié)論澜汤，即使時間序列預(yù)測仍然是一項復(fù)雜的任務(wù)，并且很難找到一個適合所有人的模型舵匾，但我們已經(jīng)證明银亲，WaveNet是一個簡單，高效且易于解釋的網(wǎng)絡(luò)纽匙，可以作為預(yù)測的強大基準(zhǔn)。盡管如此拍谐，仍有改進的空間烛缔。提高CNN學(xué)習(xí)非線性依賴性的能力的一種方法是使用大量的層和濾波器。從圖3.3中我們可以看到轩拨，在學(xué)習(xí)非線性（需要大量的層和濾波器）的能力與過度擬合之間存在權(quán)衡的問題践瓷，因為大量的層會導(dǎo)致較大的接受度字段和許多參數(shù)。通過使用自回歸模型和CNN的組合亡蓉，在[3]中也解決了內(nèi)存需求和非線性之間不平衡的問題晕翠。解決此問題的另一種方法可能是將參數(shù)化的跳過連接與自適應(yīng)濾波器結(jié)合使用，并將在我們的進一步工作中進行研究。此外淋肾，WaveNet模型被證明是LSTM模型的強大競爭者硫麻，尤其是在考慮訓(xùn)練時間時。盡管在相對較短的時間序列上樊卓，與訓(xùn)練時間相比拿愧，預(yù)測時間可以忽略不計，但對于較長的時間序列碌尔，可以通過實施利用網(wǎng)絡(luò)存儲結(jié)構(gòu)的最新變體來加快自回歸模型的預(yù)測浇辜，請參見[21]。 ]或通過在頻域中進行傅里葉變換來加快卷積唾戚，如[19]柳洋，[22]中所述。最后叹坦，眾所周知熊镣，數(shù)據(jù)點之間的相關(guān)性在日內(nèi)基礎(chǔ)上更強。因此立由，可能有必要在日間數(shù)據(jù)上測試模型轧钓，以查看該模型學(xué)習(xí)長期依賴項的能力在這種情況下是否更有價值

文獻綜述

[1] A. Aussem and F. Murtagh, Combining neural network forecasts on wavelet-transformed time series,Connection Science, 9 (1997), pp. 113–122.
[1] A. Aussem和F. Murtagh，結(jié)合小波變換時間序列的神經(jīng)網(wǎng)絡(luò)預(yù)測，Connection Science节吮，9（1997）睦疫，第113-122頁。
[2] Y. Bengio, P. Simard, and P. Frasconi, Learning Long-Term Dependencies with Gradient Descent is Difficult, IEEE Transactions on Neural Networks, 5 (1994).
[3] M. Binkowski, G. Marti, and P. Donnat, Autoregressive convolutional neural networks for asyn-chronous time series, ICML 2017 Time Series Workshop, (2017).
[4] K. Chakraborty, K. Mehrotra, C. K. Mohan, and S. Ranka, Forecasting the Behavior of Multivariate Time Series using Neural Networks, Neural networks, 5 (1992), pp. 961–970.
[5] J. Chung, C. Gulcehre, K. Cho, and Y. Bengio, Empirical evaluation of gated recurrent neural networks on sequence modeling, arXiv preprint arXiv:1412.3555, (2014).
[6] R. Cont, Empirical properties of asset returns: Stylized facts and statistical issues, (2001).
[7] T. Fisher and C. Krauss, Deep learning with Long Short-Term Memory networks for financial market predictions, F AU Discussion papers in Economics, (2017).
[8] X. Glorot and Y. Bengio, Understanding the Difficulty of Training Deep Feedforward Neural Net-works, Proceedings of the 13th International Conference on Artificial Intelligence and Statistics, (2010).
[9] J. D. Hamilton, Time series analysis, vol. 2, Princeton university press Princeton, 1994.
[10] K. He, X. Zhang, S. Ren, and J. Sun, Delving deep into rectifiers: Surpassing human-level per-formance on imagenet classification, in Proceedings of the IEEE international conference on computer vision, 2015, pp. 1026–1034.
[11] , Deep residual learning for image recognition, in Proceedings of the IEEE conference on computer vision and pattern recognition, 2016, pp. 770–778.
[12] S. Hochreiter and J. Schmidhuber, Long Short-Term Memory, Neural computation, 9 (1997),pp. 1735–1780.
[13] K. Hornik, Approximation capabilities of multilayer feedforward networks, Neural networks, 4 (1991),pp. 251–257.
[14] D. Hsu, Time series forecasting based on augmented Long Short-Term Memory, arXiv preprint arXiv:1707.00666, (2017).
[15] D. Kingma and J. Ba, Adam: A method for stochastic optimization, arXiv preprint arXiv:1412.6980,(2014).
[16] A. Krizhevsky, I. Sutskever, and G. E. Hinton, ImageNet Classification with Deep Convolutional Neural Networks, Advances in Neural Information Processing Systems 25, (2012), pp. 1097–1105.
[17] S. Lahmiri, Wavelet low- and high- frequency components as features for predicting stock prices with backpropagation neural networks, Journal of King Saud University - Computer and Information Sciences,26 (2014), pp. 218–227.
[2] Y. Bengio而柑，P。Simard和P. Frasconi荷逞，用梯度下降學(xué)習(xí)長期依賴性很困難媒咳，IEEE Transactions on Neural Networks，5（1994）种远。
[3] M. Binkowski涩澡，G。Marti和P. Donnat坠敷，異步時間序列的自回歸卷積神經(jīng)網(wǎng)絡(luò)妙同，ICML 2017時間序列研討會，（2017年）膝迎。
[4] K. Chakraborty粥帚，K。Mehrotra限次，C芒涡。K. Mohan和S. Ranka，《使用神經(jīng)網(wǎng)絡(luò)預(yù)測多元時間序列的行為》，《神經(jīng)網(wǎng)絡(luò)》费尽，第5期（1992年）赠群，第961–970頁。
[5] J. Chung依啰，C乎串。Gulcehre，K速警。Cho和Y. Bengio叹誉，門控循環(huán)神經(jīng)網(wǎng)絡(luò)在序列建模上的經(jīng)驗評估，arXiv預(yù)印本arXiv：1412.3555闷旧，（2014年）长豁。
[6] R. Cont，資產(chǎn)收益的經(jīng)驗性質(zhì)：程式化的事實和統(tǒng)計問題忙灼，（2001年）匠襟。
[7] T. Fisher和C. Krauss，《用長短期記憶網(wǎng)絡(luò)進行深度學(xué)習(xí)進行金融市場預(yù)測》该园，《非盟經(jīng)濟學(xué)討論》酸舍，（2017年）。
[8] X. Glorot和Y. Bengio里初，“理解深度前饋神經(jīng)網(wǎng)絡(luò)的訓(xùn)練難度”啃勉，第13屆人工智能與統(tǒng)計國際會議論文集，（2010年）双妨。
[9] J. D. Hamilton淮阐，時間序列分析，第一卷刁品。 2泣特，普林斯頓大學(xué)出版社，普林斯頓挑随，1994年状您。
[10] K. He，X兜挨。Zhang膏孟，S。Ren和J. Sun暑劝，深入研究整流器：在IEEE國際會議論文集上超越了人類在圖像網(wǎng)絡(luò)分類方面的性能。計算機視覺颗搂，2015年担猛，第1026至1034頁。
[11]，用于圖像識別的深度殘差學(xué)習(xí)傅联，在IEEE計算機視覺和模式識別會議論文集先改，2016年，第770–778頁蒸走。
[12] S. Hochreiter和J. Schmidhuber仇奶，《長短期記憶，神經(jīng)計算》比驻，第9期该溯，1997年，第1735-1780頁别惦。
[13] K. Hornik狈茉，多層前饋網(wǎng)絡(luò)的逼近能力，神經(jīng)網(wǎng)絡(luò)掸掸，第4期（1991）氯庆，第251-257頁。
[14] D. Hsu扰付，基于增強的長期短期記憶的時間序列預(yù)測堤撵，arXiv預(yù)印本arXiv：1707.00666，（2017年）羽莺。
[15] D. Kingma和J. Ba实昨，亞當(dāng)：一種隨機優(yōu)化方法，arXiv預(yù)印本arXiv：1412.6980禽翼，（2014年）屠橄。
[16] A. Krizhevsky，I闰挡。Sutskever和G. E. Hinton锐墙，《深度卷積神經(jīng)網(wǎng)絡(luò)的ImageNet分類》，神經(jīng)信息處理系統(tǒng)進展25长酗，（2012年）溪北，第1097-1105頁。
[17] S. Lahmiri夺脾，“小波低頻和高頻分量作為利用反向傳播神經(jīng)網(wǎng)絡(luò)預(yù)測股票價格的特征”之拨，《沙特國王大學(xué)學(xué)報-計算機與信息科學(xué)》，第26卷（2014年）咧叭，第218-227頁蚀乔。
[18] Y. LeCun, L. Bottou, Y. Bengio, and P. Haffner, Gradient-based learning applied to document recognition, Proceedings of the IEEE, 86 (1998), pp. 2278–2324.
[19] M. Mathieu, M. Henaff, and Y. LeCun, Fast training of convolutional networks through FFTs,ArXiv e-prints, (2013).
[20] R. Mittelman, Time-series modeling with undecimated fully convolutional neural networks, arXiv preprint arXiv:1508.00317, (2015).
[21] P. Ramachandran, T. L. Paine, P. Khorrami, M. Babaeizadeh, S. Chang, Y. Zhang, M. A.Hasegawa-Johnson, R. H. Campbell, and T. S. Huang, Fast generation for convolutional autore-gressive models, arXiv preprint arXiv:1704.06001, (2017).
[22] O. Rippel, J. Snoek, and R. P. Adams, Spectral representations for convolutional neural networks,NIPS15 Proceedings of the 28th International Conference on Neural Information Processing Systems,(2015), pp. 2449–2457.
[23] A. van den Oord, S. Dieleman, H. Zen, K. Simonyan, O. Vinyals, A. Graves, N. Kalch-brenner, A. Senior, and K. Kavukcuoglu, WaveNet: A Generative Model for Raw Audio, ArXiv e-prints, (2016).
[24] A. van den Oord, N. Kalchbrenner, and K. Kavukcuoglu, Pixel Recurrent Neural Networks,CoRR, abs/1601.06759 (2016).
[25] A. van den Oord, N. Kalchbrenner, O. Vinyals, L. Espeholt, A. Graves, and
K. Kavukcuoglu, Conditional Image Generation with PixelCNN Decoders, CoRR, abs/1606.05328 (2016).
[26] Z. W ang, W. Yan, and T. Oates, Time Series Classification from Scratch with Deep Neural Net-works: A Strong Baseline, CoRR, abs/1611.06455 (2016).
[27] F. Yu and V. Koltun, Multi-Scale Context Aggregation by Dilated Convolutions, ArXiv e-prints,(2015).
[28] G. Zhang, B. E. Patuwo, and M. Y. Hu, Forecasting with artificial neural networks: The state of the art, International journal of forecasting, 14 (1998), pp. 35–62.
[29] G. P. Zhang, Time series forecasting using a hybrid ARIMA and neural network model, Neurocom-puting, 50 (2003), pp. 159–175.
[30] Y. Zheng, Q. Liu, E. Chen, Y. Ge, and J. Zhao, Exploiting Multi-Channels Deep Convolutional Neural Networks for Multivariate Time Series Classification, Front. Comput. Sci., 10 (2016), pp. 96–112.
[18] Y. LeCun，L菲茬。Bottou吉挣，Y派撕。Bengio和P. Haffner，基于梯度的學(xué)習(xí)應(yīng)用于文檔識別睬魂，IEEE终吼，86（1998），pp氯哮。2278-2324际跪。
[19] M. Mathieu，M喉钢。Henaff和Y. LeCun姆打，通過FFT快速訓(xùn)練卷積網(wǎng)絡(luò)，ArXiv電子版出牧，（2013年）穴肘。
[20] R. Mittelman，使用未抽取的全卷積神經(jīng)網(wǎng)絡(luò)進行時間序列建模舔痕，arXiv預(yù)印本arXiv：1508.00317评抚，（2015年）。
[21] P. Ramachandran伯复，TL Paine慨代，P。Khorrami啸如，M侍匙。Babaeizadeh，S叮雳。Chang想暗，Y。Zhang帘不，MA Hasegawa-Johnson说莫，RH Campbell和TS Huang，卷積自回歸模型的快速生成寞焙，arXiv預(yù)印本arXiv：1704.06001 储狭，（2017年）。
[22] O. Rippel捣郊，J辽狈。Snoek和R. P. Adams，卷積神經(jīng)網(wǎng)絡(luò)的頻譜表示呛牲，第28屆國際神經(jīng)信息處理系統(tǒng)會議NIPS15論文集刮萌，（2015年），第2449-2457頁娘扩。
[23] A. van den Oord着茸，S僧凤。Dieleman，H元扔。Zen，K旋膳。Simonyan澎语，O。Vinyals验懊，A擅羞。Graves，N义图。Kalchbrenner减俏，A。Senior和K. Kavukcuoglu碱工，WaveNet：原始音頻的生成模型娃承，ArXiv電子版，（2016年）怕篷。
[24] A. van den Oord历筝，N。Kalchbrenner和K. Kavukcuoglu廊谓，像素遞歸神經(jīng)網(wǎng)絡(luò)梳猪，CoRR，abs / 1601.06759（2016）蒸痹。
[25] A. van den Oord春弥，N。Kalchbrenner叠荠，O匿沛。Vinyals，L蝙叛。Espeholt俺祠，A。Graves和K. Kavukcuoglu借帘，《使用PixelCNN解碼器的條件圖像生成》蜘渣，CoRR，abs / 1606.05328（2016年）肺然。
[26] Z. Wang蔫缸，W。Yan和T. Oates际起，《使用深度神經(jīng)網(wǎng)絡(luò)從頭開始的時間序列分類：強大的基線》拾碌，CoRR吐葱，abs / 1611.06455（2016）。
[27] F. Yu和V. Koltun校翔，通過膨脹卷積進行多尺度上下文聚合弟跑，ArXiv電子版，（2015年）防症。
[28] G. Zhang孟辑，B。E. Patuwo和M. Y. Hu蔫敲，《使用人工神經(jīng)網(wǎng)絡(luò)進行預(yù)測：最新技術(shù)》饲嗽，國際預(yù)測雜志，第14期（1998年）奈嘿，第35-62頁貌虾。
[29] G. P. Zhang，使用混合ARIMA和神經(jīng)網(wǎng)絡(luò)模型進行時間序列預(yù)測裙犹，Neurocomputing尽狠，50（2003年），第159-175頁叶圃。
[30]鄭Y晚唇，劉Q，陳鄂盗似，葛Y哩陕，趙J，為多變量時間序列分類開發(fā)多通道深度卷積神經(jīng)網(wǎng)絡(luò)赫舒，前面悍及。計算Sci。接癌，10（2016）心赶，第96–112頁。

下面就是我閱讀論文后對論文的理解