基于視頻流的行為事件分析

1、動作行為識別方法概述(理解總結版)

1.1基于模式識別的識別方法

1.1.1 基于輪廓特征識別

? ? ? 針對輪廓特征識別年堆,我所理解的最簡化版是這樣的,首先將歸一化輪廓圖像劃分16個區(qū)域喊递,計算每個子區(qū)域的面積砸狞,將區(qū)域面積特征寫成列向量并歸一化。然后計算關鍵距離的變化量(如左腳尖與右腳跟权她、質(zhì)心到最外輪廓的距離等)寫成列向量并歸一化虹茶。最后將樣本進行降維、主成分分析等隅要,采用最鄰分類器進行分類進行訓練學習蝴罪。【圖片是分割的一個距離步清,線條ppt手畫要门,較菜±。】


輪廓特征分割

1.1.2 基于協(xié)同表示識別

? ? ? ?一般來講欢搜,提到協(xié)同表示是要和核協(xié)同表示是相結合的,協(xié)同表示的分類方法即將每類特征向量進分為訓練和測試兩組谴轮,用訓練集計算協(xié)同表示系數(shù)炒瘟,最后以該系數(shù)計算測試樣本的重構殘差進行分類。核協(xié)同表示則是加入了核方法(一種解決非線性模式分析的方法)第步,基本思想史將原始數(shù)據(jù)映射到特征空間疮装,使原來線性不可分的數(shù)據(jù)變得具有可分行缘琅,然后進行特征提取,最后采用協(xié)同表示方法構建測試樣本的重構矩陣斩个,然后進行訓練分類學習胯杭。

1.1.3基于視角歸一化識別

? ? ?通俗的講驯杜,視覺歸一化即是要找到用以目標不同視角的姿態(tài)或步態(tài)圖像之間的變換關系(找到對應特征點或特征區(qū)域)受啥。具體的方法則是找到圖像的不變特征以后,在不變特征的基礎上鸽心,通過對不同視角下的特征圖像的秩進行低秩優(yōu)化滚局,即將圖像全部歸一化到90°(因為通常90°下特征圖像秩最小,最準確)顽频,然后與訓練樣本進行匹配藤肢。

1.2 基于向量空間的識別方法

1.2.1 時空幀特征識別

? ? ?其主要核心思想是將每一幀動作的特征表示為向量空間的一點,則一個動作表示成點的集合糯景,然后從幀集合中提取聚類中心嘁圈,構成最終的向量空間用于分類。最后使用方差加權法或熵加權法蟀淮,根據(jù)聚類中心判定能力的強弱最住,賦予不同的權重,最后判定這是哪一個動作怠惶。

1.2.2 加權圖+全局最優(yōu)匹配識別

? ? ? 其主要核心思想是從每一類行為的幀特征集合中提取聚類中心涨缚,構成加權圖的頂點,利用中心點的事件相關性構成加權圖的邊策治,用時間聚類算法計算邊的權重脓魏,最后用全局最優(yōu)行為序列匹配方法計算加權圖和特征序列之間的距離。

1.3 基于深度學習的方法

1.3.1 基于分類模型識別

? ? ?主要核心思想是將每一個單獨的動作動作當成是單獨的類別通惫,以分類的形式去識別動作茂翔,目前用的最多的依舊是萬能的ResNet系列,其它的VGG之類的分類網(wǎng)絡都能用履腋,由于比較常用珊燎,不多啰嗦。

1.3.2 基于骨骼分析識別

? ? ? 主要核心思想是講人分解成一個個骨骼關節(jié)點府树,因為骨骼不受背景俐末、光照等因素影響,目前骨骼模型除了萬能的ResNet系列(沒錯奄侠,又是它)卓箫,其它的POSE模型大多是SPPE架構模型,SPP框架結構主要由SSTN垄潮、PNMS烹卒、PGPG闷盔、三部分組成,其中旅急,SSTN分為STN和SDTN逢勾,STN負責接收人體框、SDTN負責產(chǎn)生候選姿態(tài)藐吮,PNMS負責過濾溺拱、然后PGPG投入網(wǎng)絡訓練。目前比較流行的有OpenPose(包括原版和light版)谣辞、AlphaPose迫摔、各種輕量級MoblieNet。


取自AlphaPose


2泥从、行為識別后的事件分析策略和輔助方法

2.1 事件分析基本策略概述

2.1.1 基于原子動作和一二元關系策略(基礎)

? ? 單個最簡單的動作我們通常稱為原子動作句占,因此我們最為基礎和簡單的事件分析方法就是在時序的基礎上,將這些原子動作通過一元和二元關系串聯(lián)起來躯嫉。下面舉例兩個基本的纱烘。

【同樣PPT畫的,萬能的PPT啊祈餐±奚叮】

一元和二元關系圖



最簡動作舉例

2.1.2 時間時序與或圖策略(微微進化)

??????? 時序與或圖是一種隨機上下文關聯(lián)法,可以有效的表示多種事件的發(fā)生昼弟。其核心思想是分析每一幀的動作啤它,通過串聯(lián)原子動作中的關系,對下一步的關系進行預測舱痘。我們舉個栗子(熟的变骡,可以吃的那種):辦公室場景中,一個人去到桌子旁芭逝,有可能是拿杯子喝咖啡塌碌,有可能是打電話,可能是玩手機旬盯、也有可能是用電腦台妆,當拿起電話時,有兩個便被排除胖翰,剩下玩手機和打電話接剩,以此類推,計算每一幀動作的概率萨咳,并將大于閾值的概率推給下一步懊缺,小于的不解析,從而降低算法復雜度培他。

2.2 事件分析的一些輔助方法

2.2.1 基于某個關鍵性的原子動作

? 字面意思鹃两∫抛基于某個關鍵性的原子動作,就認定行為俊扳,比如床上范圍內(nèi)途蒋,躺著就認定是在睡覺之類的。

2.2.2? 基于社會角色的判斷

? ? ?在一定的社會角色范疇中馋记,根據(jù)每個角色執(zhí)行相關事件的概率号坡,以空間向量的方式確立角色模型,使用加權的形式進行訓練抗果。比如教師靠近黑板是教書筋帖,學生則是在答題奸晴。

2.2.3 基于場景的事件解析

? ? ?即在某個特定的場景中冤馏,通過場景里群體干某一件事的概率的多少,比如同時裝水的概率寄啼、同時讀書的概率逮光、同時吃飯的概率等等來判定某個目標的事件。


摻雜大量個人理解墩划,記錄準確性不擔保涕刚,隨時改(●ˇ?ˇ●)

最后編輯于
?著作權歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
  • 序言:七十年代末,一起剝皮案震驚了整個濱河市乙帮,隨后出現(xiàn)的幾起案子杜漠,更是在濱河造成了極大的恐慌,老刑警劉巖察净,帶你破解...
    沈念sama閱讀 222,807評論 6 518
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件驾茴,死亡現(xiàn)場離奇詭異,居然都是意外死亡氢卡,警方通過查閱死者的電腦和手機锈至,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 95,284評論 3 399
  • 文/潘曉璐 我一進店門,熙熙樓的掌柜王于貴愁眉苦臉地迎上來译秦,“玉大人峡捡,你說我怎么就攤上這事≈玻” “怎么了们拙?”我有些...
    開封第一講書人閱讀 169,589評論 0 363
  • 文/不壞的土叔 我叫張陵,是天一觀的道長阁吝。 經(jīng)常有香客問我砚婆,道長,這世上最難降的妖魔是什么求摇? 我笑而不...
    開封第一講書人閱讀 60,188評論 1 300
  • 正文 為了忘掉前任射沟,我火速辦了婚禮殊者,結果婚禮上,老公的妹妹穿的比我還像新娘验夯。我一直安慰自己猖吴,他們只是感情好,可當我...
    茶點故事閱讀 69,185評論 6 398
  • 文/花漫 我一把揭開白布挥转。 她就那樣靜靜地躺著海蔽,像睡著了一般。 火紅的嫁衣襯著肌膚如雪绑谣。 梳的紋絲不亂的頭發(fā)上党窜,一...
    開封第一講書人閱讀 52,785評論 1 314
  • 那天,我揣著相機與錄音借宵,去河邊找鬼幌衣。 笑死,一個胖子當著我的面吹牛壤玫,可吹牛的內(nèi)容都是我干的豁护。 我是一名探鬼主播,決...
    沈念sama閱讀 41,220評論 3 423
  • 文/蒼蘭香墨 我猛地睜開眼欲间,長吁一口氣:“原來是場噩夢啊……” “哼楚里!你這毒婦竟也來了?” 一聲冷哼從身側(cè)響起猎贴,我...
    開封第一講書人閱讀 40,167評論 0 277
  • 序言:老撾萬榮一對情侶失蹤班缎,失蹤者是張志新(化名)和其女友劉穎,沒想到半個月后她渴,有當?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體达址,經(jīng)...
    沈念sama閱讀 46,698評論 1 320
  • 正文 獨居荒郊野嶺守林人離奇死亡,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點故事閱讀 38,767評論 3 343
  • 正文 我和宋清朗相戀三年惹骂,在試婚紗的時候發(fā)現(xiàn)自己被綠了苏携。 大學時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片。...
    茶點故事閱讀 40,912評論 1 353
  • 序言:一個原本活蹦亂跳的男人離奇死亡对粪,死狀恐怖右冻,靈堂內(nèi)的尸體忽然破棺而出,到底是詐尸還是另有隱情著拭,我是刑警寧澤纱扭,帶...
    沈念sama閱讀 36,572評論 5 351
  • 正文 年R本政府宣布,位于F島的核電站儡遮,受9級特大地震影響乳蛾,放射性物質(zhì)發(fā)生泄漏。R本人自食惡果不足惜,卻給世界環(huán)境...
    茶點故事閱讀 42,254評論 3 336
  • 文/蒙蒙 一肃叶、第九天 我趴在偏房一處隱蔽的房頂上張望蹂随。 院中可真熱鬧,春花似錦因惭、人聲如沸岳锁。這莊子的主人今日做“春日...
    開封第一講書人閱讀 32,746評論 0 25
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽激率。三九已至,卻和暖如春勿决,著一層夾襖步出監(jiān)牢的瞬間乒躺,已是汗流浹背。 一陣腳步聲響...
    開封第一講書人閱讀 33,859評論 1 274
  • 我被黑心中介騙來泰國打工低缩, 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留嘉冒,地道東北人。 一個月前我還...
    沈念sama閱讀 49,359評論 3 379
  • 正文 我出身青樓表制,卻偏偏與公主長得像健爬,于是被迫代替她去往敵國和親。 傳聞我的和親對象是個殘疾皇子么介,可洞房花燭夜當晚...
    茶點故事閱讀 45,922評論 2 361