一皆撩、視頻時(shí)序動(dòng)作識(shí)別算法分類
根據(jù)網(wǎng)絡(luò)的工作方式，可以將視頻時(shí)序動(dòng)作識(shí)別算法大致分為四大類：
- 采用2D卷積的方法
- 采用3D卷積的方法
- 雙流法
- 引入VLAD的方法
1.1 采用2D卷積的方法
- 《TSM: Temporal Shift Module for Efficient Video Understanding》算法詳解
- 《TEA: Temporal Excitation and Aggregation for Action Recognition》算法詳解
- 《TDN: Temporal Difference Networks for Efficient Action Recognition》算法詳解
- 《No frame left behind: Full Video Action Recognition》算法詳解
1.2 采用3D卷積的方法
- 《Learning Spatiotemporal Features with 3D Convolutional Networks》(C3D)算法詳解
- 《Rethinking Spatiotemporal Feature Learning: Speed-Accuracy Trade-offs in Video Classification》(S3D)算法詳解
- 《ECO: Efficient Convolutional Network for Online Video Understanding》算法詳解
- 《Learning Spatio-Temporal Representation with Pseudo-3D Residual Networks》(P3D)算法詳解
- 《SlowFast Networks for Video Recognition》論文詳解
- 《X3D: Expanding Architectures for Efficient Video Recognition》論文詳解
1.2 雙流法
- 《Two-Stream Convolutional Networks for Action Recognition in Videos》（TSN）算法詳解
- 《Temporal Segment Networks: Towards Good Practices for Deep Action Recognition》(TSM)論文詳解
1.3 引入VLAD的方法
二、常用數(shù)據(jù)集介紹
Sports-1M數(shù)據(jù)集介紹：
* 1.1 millions運(yùn)動(dòng)視頻
* 487個(gè)視頻類
UCF101數(shù)據(jù)集介紹：
* 13320個(gè)視頻片段
* 9.5K訓(xùn)練，3.7K測(cè)試視頻
* 視頻幀大小320*240
* 總共101類，內(nèi)容包含化妝刷牙票渠、爬行、理發(fā)芬迄、彈奏樂器问顷、體育運(yùn)動(dòng)五大類。
* 每類動(dòng)作由25個(gè)人做動(dòng)作，每人做4-7組
ActivatyNet數(shù)據(jù)庫(kù)介紹
* 人類動(dòng)作識(shí)別數(shù)據(jù)庫(kù)
* v1.3版本中有19994段視頻杜窄，包含200類
* 10024段視頻為訓(xùn)練集肠骆，4926段視頻為驗(yàn)證集，5044段視頻為測(cè)試集
* 測(cè)試集label沒有公開塞耕，一般就是使用驗(yàn)證集來(lái)作為測(cè)試集
HMDB51數(shù)據(jù)介紹
* 6766個(gè)視頻
* 51個(gè)動(dòng)作類別
* 內(nèi)容包括人面部蚀腿、肢體、和物體交互的動(dòng)作這幾大類
Kinetic-400 數(shù)據(jù)庫(kù)介紹
* 240k訓(xùn)練視頻扫外，20k驗(yàn)證莉钙，35k測(cè)試
* 400類人類動(dòng)作類別
* 內(nèi)容為畫畫、大笑筛谚、擁抱磁玉、除草等
* 每個(gè)視頻大約10秒
* 數(shù)據(jù)來(lái)源于YouTube
Kinetic-600 數(shù)據(jù)庫(kù)介紹
* Kinetic-400數(shù)據(jù)庫(kù)的擴(kuò)展
* 600類人類動(dòng)作類別
* 總共500k段視頻
Charades 數(shù)據(jù)庫(kù)介紹
* 9848段視頻
* 157類室內(nèi)日常行為
* 多標(biāo)簽
* 每個(gè)視頻大約30s
其它視頻任務(wù)介紹請(qǐng)查看-文章<<主流的視頻動(dòng)作類算法任務(wù)介紹>>
