Two-stream Convolution Networks for Action Recognition in Videos

two-stream architecture

1.Spatial stream Convnet:隨機(jī)采樣單幀圖片輸入搂橙,提取靜態(tài)特征(顏色,形狀)

網(wǎng)絡(luò)結(jié)構(gòu)很常用奇唤,類似于圖像領(lǐng)域上的應(yīng)用辫樱,可以現(xiàn)在Imagnet預(yù)訓(xùn)練峭拘,再微調(diào)。

2.Temporal stream Convnet:本文的亮點(diǎn)狮暑。

與以往將堆疊的視頻幀作為輸入不同鸡挠,本文采用堆疊的光流作為網(wǎng)絡(luò)的輸入。將多幀(L幀)光流作為多個(gè)輸入通道(2L)

以往堆疊的視頻幀心例,將堆疊的視頻幀作為輸入宵凌,未從時(shí)序上處理視頻幀鞋囊,只是簡(jiǎn)單地作為多個(gè)輸入通道止后,難以提取時(shí)空運(yùn)動(dòng)信息。

而將堆疊的光流輸入,光流本身已描述了運(yùn)動(dòng)的速度和方向译株,然而存在著計(jì)算量大的問(wèn)題瓜喇。

3.spatial stream convnet與Temporal stream convnet融合:

簡(jiǎn)單求平均或者兩者用L2范式融合再用SVM分類

summary:

1.光流的多種變體:

a。簡(jiǎn)單計(jì)算選定幀I的前向L幀光流

b歉糜。只計(jì)算稠密軌跡點(diǎn)上的光流(計(jì)算量減谐撕?效果差一些匪补?)

問(wèn)題Q:實(shí)驗(yàn)結(jié)果表明該效果比單純的光流效果差伞辛?為什么?

c夯缺。計(jì)算選定幀I的前L/2幀以及后L/2幀光流

2.相機(jī)運(yùn)動(dòng)消除

減去平均光流

3.多任務(wù)學(xué)習(xí)

針對(duì)數(shù)據(jù)集小蚤氏,樣本數(shù)量少:本文聯(lián)合UCF101與HMDB51數(shù)據(jù)集進(jìn)行訓(xùn)練,用兩層softmax分別進(jìn)行兩個(gè)數(shù)據(jù)集的分類

4.訓(xùn)練:

a踊兜。每次迭代從視頻樣本中隨機(jī)抽取一幀(I)作為空域卷積網(wǎng)絡(luò)的輸入

當(dāng)?shù)螖?shù)多時(shí)竿滨,可以保證隨機(jī)采樣得到的幀均勻分布整個(gè)視頻樣本。

問(wèn)題Q:迭代的次數(shù)能否滿足上述要求捏境?每次只學(xué)習(xí)到一幀于游?是否存在效率低的問(wèn)題?

b垫言。計(jì)算選定幀I的L幀光流贰剥,作為時(shí)域卷積網(wǎng)絡(luò)的輸入

問(wèn)題Q:選定幀I位于視頻的開(kāi)始,結(jié)束時(shí)筷频,如何計(jì)算L幀光流

5.測(cè)試

從待測(cè)試的視頻中均勻抽取固定數(shù)量的視頻幀作為輸入

問(wèn)題Q:不同長(zhǎng)度的視頻是否需要不一樣的數(shù)量

最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
  • 序言:七十年代末鸠澈,一起剝皮案震驚了整個(gè)濱河市,隨后出現(xiàn)的幾起案子截驮,更是在濱河造成了極大的恐慌笑陈,老刑警劉巖,帶你破解...
    沈念sama閱讀 219,490評(píng)論 6 508
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件葵袭,死亡現(xiàn)場(chǎng)離奇詭異涵妥,居然都是意外死亡,警方通過(guò)查閱死者的電腦和手機(jī)坡锡,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 93,581評(píng)論 3 395
  • 文/潘曉璐 我一進(jìn)店門蓬网,熙熙樓的掌柜王于貴愁眉苦臉地迎上來(lái),“玉大人鹉勒,你說(shuō)我怎么就攤上這事帆锋。” “怎么了禽额?”我有些...
    開(kāi)封第一講書人閱讀 165,830評(píng)論 0 356
  • 文/不壞的土叔 我叫張陵锯厢,是天一觀的道長(zhǎng)皮官。 經(jīng)常有香客問(wèn)我,道長(zhǎng)实辑,這世上最難降的妖魔是什么捺氢? 我笑而不...
    開(kāi)封第一講書人閱讀 58,957評(píng)論 1 295
  • 正文 為了忘掉前任,我火速辦了婚禮剪撬,結(jié)果婚禮上摄乒,老公的妹妹穿的比我還像新娘。我一直安慰自己残黑,他們只是感情好馍佑,可當(dāng)我...
    茶點(diǎn)故事閱讀 67,974評(píng)論 6 393
  • 文/花漫 我一把揭開(kāi)白布。 她就那樣靜靜地躺著梨水,像睡著了一般寞奸。 火紅的嫁衣襯著肌膚如雪言疗。 梳的紋絲不亂的頭發(fā)上惊暴,一...
    開(kāi)封第一講書人閱讀 51,754評(píng)論 1 307
  • 那天浪慌,我揣著相機(jī)與錄音,去河邊找鬼踊沸。 笑死歇终,一個(gè)胖子當(dāng)著我的面吹牛,可吹牛的內(nèi)容都是我干的逼龟。 我是一名探鬼主播评凝,決...
    沈念sama閱讀 40,464評(píng)論 3 420
  • 文/蒼蘭香墨 我猛地睜開(kāi)眼,長(zhǎng)吁一口氣:“原來(lái)是場(chǎng)噩夢(mèng)啊……” “哼腺律!你這毒婦竟也來(lái)了奕短?” 一聲冷哼從身側(cè)響起,我...
    開(kāi)封第一講書人閱讀 39,357評(píng)論 0 276
  • 序言:老撾萬(wàn)榮一對(duì)情侶失蹤匀钧,失蹤者是張志新(化名)和其女友劉穎翎碑,沒(méi)想到半個(gè)月后,有當(dāng)?shù)厝嗽跇?shù)林里發(fā)現(xiàn)了一具尸體之斯,經(jīng)...
    沈念sama閱讀 45,847評(píng)論 1 317
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡日杈,尸身上長(zhǎng)有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 37,995評(píng)論 3 338
  • 正文 我和宋清朗相戀三年,在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了佑刷。 大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片莉擒。...
    茶點(diǎn)故事閱讀 40,137評(píng)論 1 351
  • 序言:一個(gè)原本活蹦亂跳的男人離奇死亡,死狀恐怖瘫絮,靈堂內(nèi)的尸體忽然破棺而出涨冀,到底是詐尸還是另有隱情,我是刑警寧澤麦萤,帶...
    沈念sama閱讀 35,819評(píng)論 5 346
  • 正文 年R本政府宣布鹿鳖,位于F島的核電站扁眯,受9級(jí)特大地震影響,放射性物質(zhì)發(fā)生泄漏栓辜。R本人自食惡果不足惜,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 41,482評(píng)論 3 331
  • 文/蒙蒙 一垛孔、第九天 我趴在偏房一處隱蔽的房頂上張望藕甩。 院中可真熱鬧,春花似錦周荐、人聲如沸狭莱。這莊子的主人今日做“春日...
    開(kāi)封第一講書人閱讀 32,023評(píng)論 0 22
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽(yáng)腋妙。三九已至,卻和暖如春讯榕,著一層夾襖步出監(jiān)牢的瞬間骤素,已是汗流浹背。 一陣腳步聲響...
    開(kāi)封第一講書人閱讀 33,149評(píng)論 1 272
  • 我被黑心中介騙來(lái)泰國(guó)打工愚屁, 沒(méi)想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留济竹,地道東北人。 一個(gè)月前我還...
    沈念sama閱讀 48,409評(píng)論 3 373
  • 正文 我出身青樓霎槐,卻偏偏與公主長(zhǎng)得像送浊,于是被迫代替她去往敵國(guó)和親。 傳聞我的和親對(duì)象是個(gè)殘疾皇子丘跌,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 45,086評(píng)論 2 355

推薦閱讀更多精彩內(nèi)容