SMPL

轉(zhuǎn)載自https://blog.csdn.net/chingswy/article/details/82118956

摘要:這篇文章提出了一個(gè)使用poseshape參數(shù)驅(qū)動(dòng)的線性的人體模型肴敛,模型的主要參數(shù)有:rest pose template,blend weights,pose-dependent blend shapes,identity-dependent blend shapes,和一個(gè)從vertices到j(luò)oint的regressor堕仔,這些參數(shù)都是是從訓(xùn)練數(shù)據(jù)中學(xué)習(xí)得來的急黎。與之前的工作不同的是,pose-dependent blend shapes這一項(xiàng)是pose旋轉(zhuǎn)矩陣的線性函數(shù)攻臀。這樣使得從一個(gè)大型數(shù)據(jù)集里面訓(xùn)練這個(gè)模型成為可能的。

關(guān)鍵詞:Body shape, skinning(不重要),blendshapes,soft-tissue(不重要)

項(xiàng)目地址SMPL

導(dǎo)論

他們的目標(biāo)是創(chuàng)造一個(gè)可以表示不同形狀的身體的催训,可以隨著動(dòng)作自然的變形的霍转,并且軟組織在運(yùn)動(dòng)過程中還能發(fā)生形變的 人體模型现使。一般商業(yè)上的操作手法是手動(dòng)操作mesh,來修改使用傳統(tǒng)模型時(shí)出的問題弹澎。人的工作量就比較大朴下。也有人從掃描的人體數(shù)據(jù)集中學(xué)習(xí)一個(gè)統(tǒng)計(jì)的身體模型,但是與商用軟件不兼容苦蒿,沒法使用殴胧。

因此SMPL模型的目標(biāo)就是,既能使用佩迟,又能表示大范圍的人體团滥,還要能通過pose來自然的形變,還要有軟組織的動(dòng)力學(xué)报强,做動(dòng)畫的效率高灸姊,并且和現(xiàn)有的渲染引擎兼容。

現(xiàn)有的LBS模型是使用得最廣泛的秉溉,他是建立vertices和骨架之間的關(guān)系力惯。但是這個(gè)模型會(huì)出現(xiàn)一些問題。

模型定義

模型與SCAPE類似召嘶,將身體形狀分解為identity-dependent shape和non-rigid pose dependent shape父晶。這個(gè)人體模型包含了N=6890個(gè)點(diǎn),與K=23個(gè)關(guān)節(jié)弄跌。男女的大部分參數(shù)都是通用的甲喝。

模型的輸入?yún)?shù)為形狀參數(shù)\beta,和動(dòng)作參數(shù)\theta,模型中包含以下幾項(xiàng):

  • \bar{\textbf{T}} \in \mathbb{R}^{3N} ,平均的模板形狀 (mean template shape)

    這個(gè)時(shí)候的pose是zero pose,(\vec{\theta^*})

  • \mathcal{W}\in \mathbb{R}^{N\times K} ,各個(gè)關(guān)節(jié)的混合權(quán)重

  • B_S(\vec{\beta}):\mathbb{R}^{|\vec{\beta}|} \mapsto \mathbb{R}^{3N} ,blend shape函數(shù)铛只,將shape參數(shù)映射到每一個(gè)點(diǎn)上

  • J(\vec{\beta}):\mathbb{R}^{|\vec{\beta}|} \mapsto \mathbb{R}^{3K} 埠胖,將shape參數(shù)映射到每個(gè)joint的位置上

  • B_P(\vec{\theta}):\mathbb{R}^{|\vec{\theta}|} \mapsto \mathbb{R}^{3N} ,將pose參數(shù)映射到每個(gè)點(diǎn)上

最終得到的結(jié)果就是M(\vec{\beta},\vec{\theta};\Phi):\mathbb{R}^{|\vec{\theta}|\times |\vec{\beta}|} \mapsto \mathbb{R}^{3N} ,將shape和pose參數(shù)映射到每個(gè)點(diǎn)上。這里的\Phi 指的是學(xué)習(xí)的模型的參數(shù)淳玩。

模型參數(shù)

pose參數(shù)是使用axis-angle來定義的直撤,對(duì)于每一個(gè)joint,都有一個(gè)\vec{\omega}_k\in \mathbb{R}^3凯肋,然后加上原點(diǎn)處的谊惭,總共24個(gè)關(guān)節(jié),就有72個(gè)參數(shù)侮东。旋轉(zhuǎn)矩陣是使用Rodrigues formula計(jì)算得到

W(\bar{\mathbf{T}},\mathbf{J},\vec{\theta},\mathcal{W}):\mathbb{R}^{2N\times 3K\times|\vec{\theta}|\times |\mathcal{W}|} \mapsto \mathbb{R}^{3N} ,將rest pose圈盔、joint location、pose參數(shù)悄雅、blend weights權(quán)重轉(zhuǎn)化成每個(gè)點(diǎn)的坐標(biāo)量驱敲。

<img src="http://10.76.2.114/wp-content/uploads/2018/08/1533969119775-300x96.png" alt="" width="300" height="96" class="aligncenter size-medium wp-image-36" />

代碼實(shí)現(xiàn)

原始的代碼是基于 chumpy 實(shí)現(xiàn)的,這個(gè)庫(kù)似乎已經(jīng)沒有人維護(hù)了宽闲。而且也沒法進(jìn)行GPU計(jì)算众眨。

模型參數(shù):

SMPL的numpy及TensorFlow實(shí)現(xiàn)

hmr論文中SMPL的tf實(shí)現(xiàn)

作者:chingswy
來源:CSDN
原文:https://blog.csdn.net/chingswy/article/details/82118956
版權(quán)聲明:本文為博主原創(chuàng)文章握牧,轉(zhuǎn)載請(qǐng)附上博文鏈接!

最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
  • 序言:七十年代末娩梨,一起剝皮案震驚了整個(gè)濱河市沿腰,隨后出現(xiàn)的幾起案子,更是在濱河造成了極大的恐慌狈定,老刑警劉巖颂龙,帶你破解...
    沈念sama閱讀 216,324評(píng)論 6 498
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件,死亡現(xiàn)場(chǎng)離奇詭異纽什,居然都是意外死亡措嵌,警方通過查閱死者的電腦和手機(jī),發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 92,356評(píng)論 3 392
  • 文/潘曉璐 我一進(jìn)店門芦缰,熙熙樓的掌柜王于貴愁眉苦臉地迎上來企巢,“玉大人,你說我怎么就攤上這事让蕾±斯妫” “怎么了?”我有些...
    開封第一講書人閱讀 162,328評(píng)論 0 353
  • 文/不壞的土叔 我叫張陵探孝,是天一觀的道長(zhǎng)罗丰。 經(jīng)常有香客問我,道長(zhǎng)再姑,這世上最難降的妖魔是什么? 我笑而不...
    開封第一講書人閱讀 58,147評(píng)論 1 292
  • 正文 為了忘掉前任找御,我火速辦了婚禮元镀,結(jié)果婚禮上,老公的妹妹穿的比我還像新娘霎桅。我一直安慰自己栖疑,他們只是感情好,可當(dāng)我...
    茶點(diǎn)故事閱讀 67,160評(píng)論 6 388
  • 文/花漫 我一把揭開白布滔驶。 她就那樣靜靜地躺著遇革,像睡著了一般。 火紅的嫁衣襯著肌膚如雪揭糕。 梳的紋絲不亂的頭發(fā)上萝快,一...
    開封第一講書人閱讀 51,115評(píng)論 1 296
  • 那天,我揣著相機(jī)與錄音著角,去河邊找鬼揪漩。 笑死,一個(gè)胖子當(dāng)著我的面吹牛吏口,可吹牛的內(nèi)容都是我干的奄容。 我是一名探鬼主播冰更,決...
    沈念sama閱讀 40,025評(píng)論 3 417
  • 文/蒼蘭香墨 我猛地睜開眼,長(zhǎng)吁一口氣:“原來是場(chǎng)噩夢(mèng)啊……” “哼昂勒!你這毒婦竟也來了蜀细?” 一聲冷哼從身側(cè)響起,我...
    開封第一講書人閱讀 38,867評(píng)論 0 274
  • 序言:老撾萬(wàn)榮一對(duì)情侶失蹤戈盈,失蹤者是張志新(化名)和其女友劉穎奠衔,沒想到半個(gè)月后,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體奕谭,經(jīng)...
    沈念sama閱讀 45,307評(píng)論 1 310
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡涣觉,尸身上長(zhǎng)有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 37,528評(píng)論 2 332
  • 正文 我和宋清朗相戀三年,在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了血柳。 大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片官册。...
    茶點(diǎn)故事閱讀 39,688評(píng)論 1 348
  • 序言:一個(gè)原本活蹦亂跳的男人離奇死亡,死狀恐怖难捌,靈堂內(nèi)的尸體忽然破棺而出膝宁,到底是詐尸還是另有隱情,我是刑警寧澤根吁,帶...
    沈念sama閱讀 35,409評(píng)論 5 343
  • 正文 年R本政府宣布员淫,位于F島的核電站,受9級(jí)特大地震影響击敌,放射性物質(zhì)發(fā)生泄漏介返。R本人自食惡果不足惜,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 41,001評(píng)論 3 325
  • 文/蒙蒙 一沃斤、第九天 我趴在偏房一處隱蔽的房頂上張望圣蝎。 院中可真熱鬧,春花似錦衡瓶、人聲如沸徘公。這莊子的主人今日做“春日...
    開封第一講書人閱讀 31,657評(píng)論 0 22
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽(yáng)关面。三九已至,卻和暖如春十厢,著一層夾襖步出監(jiān)牢的瞬間等太,已是汗流浹背。 一陣腳步聲響...
    開封第一講書人閱讀 32,811評(píng)論 1 268
  • 我被黑心中介騙來泰國(guó)打工蛮放, 沒想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留澈驼,地道東北人。 一個(gè)月前我還...
    沈念sama閱讀 47,685評(píng)論 2 368
  • 正文 我出身青樓筛武,卻偏偏與公主長(zhǎng)得像缝其,于是被迫代替她去往敵國(guó)和親挎塌。 傳聞我的和親對(duì)象是個(gè)殘疾皇子,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 44,573評(píng)論 2 353

推薦閱讀更多精彩內(nèi)容