Openpose最早在2017年提出來纸泄，2019年發(fā)布改良版和開源庫，速度和精度分別增加了約200%和7%肢扯。 它屬于多人姿態(tài)檢測中bottom-up的方法误算，先檢測軀體部位，再組成成每個人體迷殿。這類方法中最重要的就是如何組合多人畫面中分散的關(guān)節(jié)點儿礼，而Openpose提出的一個重要策略就是，PAF庆寺，Part Affinity Fields 部位親和場蚊夫， 用來對分散的關(guān)節(jié)點之間建立聯(lián)系。
PAF乍一聽不好理解懦尝，我們拆開來一層一層看：
這是一個向量場的集合知纷，其中每一個向量場從屬于圖像中某一軀體部位，向量場中的每一個向量對應(yīng)軀體部位區(qū)域每一個元素在其中的一個2D向量編碼指向下一個關(guān)鍵關(guān)節(jié)的方向陵霉。
PAF部位親和場
整個區(qū)域所有像素的編碼向量（一個像素可能對應(yīng)多個軀體部位）求和平均組成了PAF踊挠≌Ч穑看下圖，訓(xùn)練時如果P點在部位區(qū)域內(nèi)效床，P點的向量的ground truth就是歸一化的向量, 如果不在就是零向量睹酌。
由于多人圖像中有很多個潛在的軀體部位剩檀，最終用來做判斷的是所有軀體部位對應(yīng)的向量場的求和平均憋沿。另外我們還需要判斷關(guān)鍵點之間的 “親和” 度，好進(jìn)行最后的組合沪猴，用
關(guān)鍵點置信圖
通過標(biāo)記好的2D關(guān)鍵點生成置信圖
用PAF進(jìn)行多人預(yù)測
用,
表示關(guān)鍵點
,
的個數(shù)士复，用一個0到1之間的變量
表示兩個關(guān)鍵點之間是否是相連的图谷，那么所有可能的
組成一個集合。這個集合是一個圖形結(jié)構(gòu)（上圖(a)）阱洪，每條邊用
作為權(quán)重便贵，我們的目標(biāo)就是使用匈牙利算法最大化所有邊的總和。匈牙利算法在openpose的應(yīng)用例子還可以參考這篇博客冗荸。
作者采用了兩個松弛方法簡化問題：
- 選擇最小數(shù)量的邊來獲得人體姿勢的樹骨架承璃，而不是使用完整的圖，如上圖(b)和(c)對比蚌本。
- 進(jìn)一步將匹配問題分解為一組二分圖匹配子問題盔粹，并獨立地確定相鄰樹節(jié)點中的匹配情況。
模型
模型是基于2016年的Convolutional Pose Maschine, 下圖中F是經(jīng)VGG-19前10層作為主干網(wǎng)絡(luò)處理之后的特征圖程癌，ρ 負(fù)責(zé)預(yù)測所有置信圖 （所有相同部位在同一個圖）舷嗡，Φ負(fù)責(zé)預(yù)測所有PAF （每個部位單獨占一個）。2017版使用兩個分支的多級CNN嵌莉，19版加深了網(wǎng)絡(luò)結(jié)構(gòu)进萄，砍掉了置信圖的Refine，另外把7*7卷積核換成了3個相連的3*3卷積核锐峭，這樣既保留了大的感受野又加快了速度中鼠。
目前的模型還加入了冗余的PAF連接（例如，耳朵和肩膀沿癞、手腕和肩膀等之間）援雇，特別提高了擁擠圖像中的準(zhǔn)確性。
總結(jié)
openpose 用神經(jīng)網(wǎng)絡(luò)預(yù)測所有軀體關(guān)鍵點的置信圖抛寝，以及關(guān)鍵點與關(guān)鍵點相連軀體部位區(qū)域的PAF部位親和向量場熊杨，再用匈牙利算法最大化兩個關(guān)鍵點之間的親和度總和的方法進(jìn)行關(guān)鍵點之間的二分圖匹配。
- 文/潘曉璐 我一進(jìn)店門，熙熙樓的掌柜王于貴愁眉苦臉地迎上來尸曼，“玉大人们何，你說我怎么就攤上這事】亟危” “怎么了冤竹？”我有些...
- 文/不壞的土叔 我叫張陵，是天一觀的道長茬射。 經(jīng)常有香客問我鹦蠕，道長，這世上最難降的妖魔是什么在抛？ 我笑而不...
- 正文 為了忘掉前任钟病，我火速辦了婚禮，結(jié)果婚禮上刚梭，老公的妹妹穿的比我還像新娘肠阱。我一直安慰自己，他們只是感情好朴读，可當(dāng)我...
- 文/花漫 我一把揭開白布辖所。 她就那樣靜靜地躺著，像睡著了一般磨德。 火紅的嫁衣襯著肌膚如雪。 梳的紋絲不亂的頭發(fā)上吆视，一...
- 文/蒼蘭香墨 我猛地睜開眼，長吁一口氣：“原來是場噩夢啊……” “哼般堆！你這毒婦竟也來了在孝？” 一聲冷哼從身側(cè)響起，我...
- 正文 年R本政府宣布吁讨，位于F島的核電站髓迎，受9級特大地震影響，放射性物質(zhì)發(fā)生泄漏建丧。R本人自食惡果不足惜排龄，卻給世界環(huán)境...
- 文/蒙蒙 一、第九天 我趴在偏房一處隱蔽的房頂上張望翎朱。 院中可真熱鬧橄维，春花似錦、人聲如沸拴曲。這莊子的主人今日做“春日...
- 文/蒼蘭香墨 我抬頭看了看天上的太陽澈灼。三九已至竞川，卻和暖如春，著一層夾襖步出監(jiān)牢的瞬間叁熔，已是汗流浹背委乌。 一陣腳步聲響...
推薦閱讀更多精彩內(nèi)容
- 這是CVPR2017的一篇文章删铃。 在本文中耳贬，文章通過實時算法來檢測圖像中多個人的二維姿態(tài)。文章提出了關(guān)鍵點關(guān)聯(lián)的明...
- 目錄1泳姐、人體姿態(tài)簡介2效拭、OpenPose論文方案解讀?? 2.1 文章亮點?? 2.2 網(wǎng)絡(luò)結(jié)構(gòu)?? 2.3 lo...
- 01.任務(wù)概覽 人體姿態(tài)估計的任務(wù)是從包含人體的圖片中檢測出人體關(guān)鍵點，并恢復(fù)人體位姿。隨著深度學(xué)習(xí)的發(fā)展缎患，越來越...
- 今天感恩節(jié)哎慕的，感謝一直在我身邊的親朋好友。感恩相遇挤渔！感恩不離不棄肮街。 中午開了第一次的黨會，身份的轉(zhuǎn)變要...
