Abstract
基于深度卷積網(wǎng)絡(luò)的模型統(tǒng)治了近來的圖片說明工作矫废；我們研究了遞歸網(wǎng)絡(luò)對于序列枪蘑、圖片等任務(wù)是否有效人灼。我們描述了一類可端對端訓(xùn)練鳖擒、適用于大規(guī)模圖片理解工作的遞歸卷積網(wǎng)絡(luò)，并且證明了用于行為識別芋忿、圖片描述炸客、視頻描述的這些模型的值。對比于之前的假定一個固定的圖片表示或者運用簡單的時間序列來進(jìn)行序列處的模型戈钢，遞歸卷積模型學(xué)習(xí)空間和時間的組合表示“倍增”了痹仙。當(dāng)非線性被引入網(wǎng)絡(luò)狀態(tài)更新時，學(xué)習(xí)長時依賴成為可能殉了】觯可微的遞歸網(wǎng)絡(luò)之所以吸引人，是因為它們能直接將變長輸入（視頻）映射為變長輸出（自然語言文本），能夠模擬復(fù)雜的動態(tài)時序众弓；目前能夠通過反向傳播進(jìn)行優(yōu)化恩溅。我們的遞歸序列模型是直接和當(dāng)前圖片卷積網(wǎng)絡(luò)連接的，能夠聯(lián)合訓(xùn)練以學(xué)習(xí)動態(tài)時序和卷積表征谓娃。本文結(jié)果顯示這樣的模型相對于現(xiàn)有模型在用于單獨定義或優(yōu)化的識別脚乡、生成任務(wù)上，有明顯優(yōu)勢滨达。
Introduction
圖片奶稠、視頻識別和描述是計算機視覺中的基本挑戰(zhàn)。因為有監(jiān)督CNN的使用捡遍，圖片識別任務(wù)有了迅猛發(fā)展锌订，一系列處理視頻的方法也被提出。理論上講画株，一個視頻模型能允許處理變長的輸入序列辆飘，也能支持變長的輸出，包括全長的語句描述生成（超越了傳統(tǒng)的one-versus-all的預(yù)測任務(wù)）污秆。本文提出Long-term Recurrent Convolutional Networks (LRCNs),一類用于圖片識別和描述的結(jié)構(gòu)劈猪，結(jié)合了卷積層和長時遞歸，同時端對端可訓(xùn)練良拼。下文將通過特定的視頻行為識別战得、圖片描述生成、視頻描述任務(wù)來實例化網(wǎng)絡(luò)庸推。
用于視頻處理的CNN研究考慮了在原始序列數(shù)據(jù)上學(xué)習(xí)3D時空濾波器常侦，幀到幀的表示學(xué)習(xí)包含了瞬時光流或者在固定窗、視頻鏡頭段上聚合的機遇軌跡的模型贬媒。這種模型探索了兩個感知時序表示學(xué)習(xí)的極值：要么學(xué)習(xí)完全通用的時變權(quán)重聋亡，要么應(yīng)用簡單的時間池。跟隨這一推動了目前深度卷積模型發(fā)展的靈感际乘，我們提出了視頻識別和描述模型坡倔，既在時間維度上做到深度，也有潛在變量的時間遞歸脖含。RNN模型在“時間上很深”——準(zhǔn)確說當(dāng)他們展開時——形成了隱式的組合描述罪塔。在時域上，這種深模型先于現(xiàn)有文獻(xiàn)中的空域卷積模型养葵。
RNN在感知應(yīng)用上已經(jīng)有數(shù)十年的研究征堪，也有很多不同結(jié)論。簡單RNN模型一個明顯限制是其在時間上嚴(yán)格整合狀態(tài)信息关拒，也就是“梯度消失”效應(yīng)：在實踐中佃蚜，通過一個長時間間隔去反向傳播誤差信號的能力變得逐漸困難庸娱。LSTM單元，也是一個遞歸模塊谐算，能實現(xiàn)長時學(xué)習(xí)熟尉。LSTM單元有隱狀態(tài)增強和非線性機制，通過利用一個簡單的學(xué)習(xí)過的門限函數(shù)氯夷，可以不修改臣樱、不更新、不復(fù)位地對狀態(tài)進(jìn)行傳播腮考。LSTM近來也被證明可用于大規(guī)模的語音識別、語言翻譯模型玄捕。
本文展示了有遞歸單元的卷積網(wǎng)絡(luò)普遍適用于視覺時間序列模型踩蔚，同時論證了在訓(xùn)練樣本充足并且可用于學(xué)習(xí)和改進(jìn)模型的前提下，LSTM風(fēng)格的RNN 在已被采用的靜態(tài)枚粘、平面的視覺任中馅闽，能提供顯著的性能提升。尤其是馍迄，本文表明了LSTM類型的網(wǎng)絡(luò)在傳統(tǒng)食品行為上能提高識別率福也，能夠在自然語言描述上從圖像像素級到語義級進(jìn)行端到端的優(yōu)化映射。本文同時也展示了這些模型能從傳統(tǒng)視覺模型中得來的中間視覺描述去提升描述子的生產(chǎn)攀圈。
本文通過3個實驗設(shè)置去實例化提出來的模型暴凑。第一，傳統(tǒng)卷積模型直接和深LSTM網(wǎng)絡(luò)向量赘来，我們能夠訓(xùn)練捕捉時態(tài)狀態(tài)依賴項的視頻識別模型现喳。然而現(xiàn)有標(biāo)記的視頻行為數(shù)據(jù)集可能沒有特定的復(fù)雜行為的時序動態(tài)，但是我們?nèi)詫鹘y(tǒng)benchmark進(jìn)行了提升犬辰。
第二嗦篱，我們研究了一個從圖像到語義的端對端可訓(xùn)練的映射。機器翻譯最近取得了很多成果幌缝，這類模型是基于LSTM的編碼-解碼對灸促。我們提出了這個模型的多模型模擬，描述了一個結(jié)構(gòu)涵卵，該結(jié)構(gòu)利用圖片的ConvNet去編碼一個深度狀態(tài)向量浴栽，一個LSTM解碼該向量為一個自然語言字符串。最終模型能夠用于大規(guī)模圖片和文本數(shù)據(jù)集的端對端訓(xùn)練缘厢，即使是不完全訓(xùn)練吃度，對比于現(xiàn)有方法，也能得到一個較好的生成結(jié)果贴硫。
第三椿每，本文顯示伊者，LSTM解碼器能直接從傳統(tǒng)的預(yù)測高級標(biāo)簽的計算機視覺方法上加以運用，例如語義視頻角色數(shù)組預(yù)測间护。這類模型在結(jié)構(gòu)和性能上優(yōu)于原來的基于統(tǒng)計機器翻譯的方法亦渗。
本文方法在Caffe上得到實現(xiàn)，網(wǎng)址是http://jeffdonahue.com/lrcn/
2 Background
傳統(tǒng)循環(huán)神經(jīng)網(wǎng)絡(luò)通過將輸入序列映射為隱狀態(tài)-隱狀態(tài)映射為輸出來對動態(tài)時序進(jìn)行建模汁尺，
公式如下：
盡管RNN已被證明在語音識別法精、文本生成任務(wù)上具有出色的表現(xiàn)，但在學(xué)習(xí)長時的動態(tài)過程中痴突，仍然是難以訓(xùn)練的搂蜓，部分原因是"梯度消失"或者"梯度爆炸"，在梯度向循環(huán)網(wǎng)絡(luò)反向傳播的過程中辽装，每一個都對應(yīng)特定的時間步長帮碰。LSTM通過集合記憶單元解決這一問題，記憶單元能夠準(zhǔn)確指導(dǎo)網(wǎng)絡(luò)什么時候"遺忘"之前的隱狀態(tài)拾积、什么時候更新隱狀態(tài)信息殉挽。鑒于此，提出了很多記憶單元中的隱藏單元的連接方式拓巧。本文使用一個簡化的LSTM單元斯碌，
LSTM在語音識別和機器翻譯等任務(wù)都取得了一定的成果，和CNN類似肛度，LSTM也可以進(jìn)行端對端的fine-tune傻唾。在語音識別中，消除了通過訓(xùn)練一個將輸入映射為文本的映射深度雙向LSTM的過程中贤斜，對于復(fù)雜多步pipeline的需要策吠。即使沒有語言模型或者拼寫詞典，模型也能生成令人信服的文本翻譯瘩绒。源語言中的語句被一個編碼LSTM映射為隱狀態(tài)猴抹，再通過解碼LSTM將隱狀態(tài)映射為目標(biāo)語言的一個序列。這種“編碼-解碼”的方式能使任意長度的輸入序列映射為不同長度的輸出序列锁荔◇案“流到流”的結(jié)構(gòu)對于機器翻譯來說，規(guī)避了對語言模型的需要阳堕。
LSTM對于視覺任務(wù)中序列數(shù)據(jù)建模有兩個方面跋理。第一是對于目前被繼承的視覺系統(tǒng)，LSTM模型能直接進(jìn)行端到端的優(yōu)化恬总。第二前普，LSTM不受固定長度的輸入或輸出的限制，允許對變長的序列數(shù)據(jù)進(jìn)行簡單建模壹堰，例如文本或者視頻拭卿。
3?LONG-TERM RECURRENT CONVOLUTIONAL NETWORK (LRCN) MODEL
