1、動作行為識別方法概述(理解總結版)
1.1基于模式識別的識別方法
1.1.1 基于輪廓特征識別
? ? ? 針對輪廓特征識別年堆,我所理解的最簡化版是這樣的,首先將歸一化輪廓圖像劃分16個區(qū)域喊递,計算每個子區(qū)域的面積砸狞,將區(qū)域面積特征寫成列向量并歸一化。然后計算關鍵距離的變化量(如左腳尖與右腳跟权她、質(zhì)心到最外輪廓的距離等)寫成列向量并歸一化虹茶。最后將樣本進行降維、主成分分析等隅要,采用最鄰分類器進行分類進行訓練學習蝴罪。【圖片是分割的一個距離步清,線條ppt手畫要门,較菜±。】
1.1.2 基于協(xié)同表示識別
? ? ? ?一般來講欢搜,提到協(xié)同表示是要和核協(xié)同表示是相結合的,協(xié)同表示的分類方法即將每類特征向量進分為訓練和測試兩組谴轮,用訓練集計算協(xié)同表示系數(shù)炒瘟,最后以該系數(shù)計算測試樣本的重構殘差進行分類。核協(xié)同表示則是加入了核方法(一種解決非線性模式分析的方法)第步,基本思想史將原始數(shù)據(jù)映射到特征空間疮装,使原來線性不可分的數(shù)據(jù)變得具有可分行缘琅,然后進行特征提取,最后采用協(xié)同表示方法構建測試樣本的重構矩陣斩个,然后進行訓練分類學習胯杭。
1.1.3基于視角歸一化識別
? ? ?通俗的講驯杜,視覺歸一化即是要找到用以目標不同視角的姿態(tài)或步態(tài)圖像之間的變換關系(找到對應特征點或特征區(qū)域)受啥。具體的方法則是找到圖像的不變特征以后,在不變特征的基礎上鸽心,通過對不同視角下的特征圖像的秩進行低秩優(yōu)化滚局,即將圖像全部歸一化到90°(因為通常90°下特征圖像秩最小,最準確)顽频,然后與訓練樣本進行匹配藤肢。
1.2 基于向量空間的識別方法
1.2.1 時空幀特征識別
? ? ?其主要核心思想是將每一幀動作的特征表示為向量空間的一點,則一個動作表示成點的集合糯景,然后從幀集合中提取聚類中心嘁圈,構成最終的向量空間用于分類。最后使用方差加權法或熵加權法蟀淮,根據(jù)聚類中心判定能力的強弱最住,賦予不同的權重,最后判定這是哪一個動作怠惶。
1.2.2 加權圖+全局最優(yōu)匹配識別
? ? ? 其主要核心思想是從每一類行為的幀特征集合中提取聚類中心涨缚,構成加權圖的頂點,利用中心點的事件相關性構成加權圖的邊策治,用時間聚類算法計算邊的權重脓魏,最后用全局最優(yōu)行為序列匹配方法計算加權圖和特征序列之間的距離。
1.3 基于深度學習的方法
1.3.1 基于分類模型識別
? ? ?主要核心思想是將每一個單獨的動作動作當成是單獨的類別通惫,以分類的形式去識別動作茂翔,目前用的最多的依舊是萬能的ResNet系列,其它的VGG之類的分類網(wǎng)絡都能用履腋,由于比較常用珊燎,不多啰嗦。
1.3.2 基于骨骼分析識別
? ? ? 主要核心思想是講人分解成一個個骨骼關節(jié)點府树,因為骨骼不受背景俐末、光照等因素影響,目前骨骼模型除了萬能的ResNet系列(沒錯奄侠,又是它)卓箫,其它的POSE模型大多是SPPE架構模型,SPP框架結構主要由SSTN垄潮、PNMS烹卒、PGPG闷盔、三部分組成,其中旅急,SSTN分為STN和SDTN逢勾,STN負責接收人體框、SDTN負責產(chǎn)生候選姿態(tài)藐吮,PNMS負責過濾溺拱、然后PGPG投入網(wǎng)絡訓練。目前比較流行的有OpenPose(包括原版和light版)谣辞、AlphaPose迫摔、各種輕量級MoblieNet。
2泥从、行為識別后的事件分析策略和輔助方法
2.1 事件分析基本策略概述
2.1.1 基于原子動作和一二元關系策略(基礎)
? ? 單個最簡單的動作我們通常稱為原子動作句占,因此我們最為基礎和簡單的事件分析方法就是在時序的基礎上,將這些原子動作通過一元和二元關系串聯(lián)起來躯嫉。下面舉例兩個基本的纱烘。
【同樣PPT畫的,萬能的PPT啊祈餐±奚叮】
2.1.2 時間時序與或圖策略(微微進化)
??????? 時序與或圖是一種隨機上下文關聯(lián)法,可以有效的表示多種事件的發(fā)生昼弟。其核心思想是分析每一幀的動作啤它,通過串聯(lián)原子動作中的關系,對下一步的關系進行預測舱痘。我們舉個栗子(熟的变骡,可以吃的那種):辦公室場景中,一個人去到桌子旁芭逝,有可能是拿杯子喝咖啡塌碌,有可能是打電話,可能是玩手機旬盯、也有可能是用電腦台妆,當拿起電話時,有兩個便被排除胖翰,剩下玩手機和打電話接剩,以此類推,計算每一幀動作的概率萨咳,并將大于閾值的概率推給下一步懊缺,小于的不解析,從而降低算法復雜度培他。
2.2 事件分析的一些輔助方法
2.2.1 基于某個關鍵性的原子動作
? 字面意思鹃两∫抛基于某個關鍵性的原子動作,就認定行為俊扳,比如床上范圍內(nèi)途蒋,躺著就認定是在睡覺之類的。
2.2.2? 基于社會角色的判斷
? ? ?在一定的社會角色范疇中馋记,根據(jù)每個角色執(zhí)行相關事件的概率号坡,以空間向量的方式確立角色模型,使用加權的形式進行訓練抗果。比如教師靠近黑板是教書筋帖,學生則是在答題奸晴。
2.2.3 基于場景的事件解析
? ? ?即在某個特定的場景中冤馏,通過場景里群體干某一件事的概率的多少,比如同時裝水的概率寄啼、同時讀書的概率逮光、同時吃飯的概率等等來判定某個目標的事件。
摻雜大量個人理解墩划,記錄準確性不擔保涕刚,隨時改(●ˇ?ˇ●)