Tensorflow.js 對視頻 / 直播人臉檢測和特征點收集

前言

? ? ? ? 這里要介紹的是 Tensorflow.js 官方提供的兩個人臉檢測模型斤葱,分別是 face-detection 和 face-landmarks-detection。他們不但可以對視頻中的人間進行精確定位甚负,而且還能對當前設備 (手機 / 電腦攝像頭) 采集的直播流實時監(jiān)測人臉霎挟。所以這些的應用場景就很常見了窝剖,比如在線美顏,實時添加互動虛擬掛件等等酥夭。

? ? ? ? 雖然這兩個模型實現(xiàn)的功能類似赐纱,但是也還是有區(qū)別滴。face-landmarks-detection 相比 face-detection 對人臉的檢測有更多的特征點熬北,而特征點更多可用來做類似建模匹配的重合度就越高疙描,以下會通過官方的例子打印出臉部的特征點數(shù)據(jù)。

實操

1. 下載源碼讶隐。

2. 單獨提出 demos 里 upload_video起胰。

? ? ? ? 這里要說明一下,因為個人習慣巫延,我這里還是通過 parcel 方式打包效五。官方推薦是 yarn,而且有文檔流程介紹炉峰,可以按著上面運行畏妖。而我的方法完全不按套路出牌,其實單獨提出 demo 里項目運行也是不正確疼阔,npm 安裝報錯連連瓜客,那我就對我遇到的幾個錯誤做一一復原吧。

2.1. npm install 拋出各種依賴包版本沖突竿开,npm ERR! code ERESOLVE npm ERR谱仪,如下。

2.1.1. 原因:

? ? ? ?由于本人前端水平有限否彩,經(jīng)過查閱疯攒,是 npm 版本原因。npm 從 v7 開始列荔,默認安裝 peerDependencies敬尺。在多數(shù)情況下,導致版本沖突贴浙,從而終端安裝過程砂吞,在安裝前可以查詢一下 npm -v,小于 v7 就不用看下面方法了崎溃。

2.1.2. 解決方法:

在命令后面添加 --legacy-peer-deps

? ? ? ? ?加了這個就可以繞過 peerDependency 自動安裝蜻直,告訴 NPM 忽略項目中引入的各個模塊之間的相同模塊,但不同版本的問題,保證各個引入的依賴之間對自身所使用的不同版本模塊共存概而,最后的依賴就安裝成功了呼巷,最后就執(zhí)行 parcel index 打包。

2.2. parcel 時赎瑰,拋出 face-detection 模型不存在王悍,如下。

2.2.1. 原因:

? ? ? ? 這里就是我運行項目時的方法不對餐曼,因為運行時需要在外面進行安裝打包會生成模型文件压储,而 demos 里的模型引入其實是引入前面打包好的文件,我們可以看到 package.json 里源譬。

2.2.2. 解決方法:

? ? ? ? 將 package.json 里的模型依賴刪掉渠脉,也就是上面標注的部分,然后通過 npm 進行安裝瓶佳,安裝成后 json 文件會更新芋膘,其他問題類似。

npm install@tensorflow-models/face-detection --legacy-peer-deps


運行效果

1.?face-detection

參數(shù):?model=mediapipe_face_detector

通過打印可以看到以上數(shù)據(jù)霸饲,box 是目標的寬高等值为朋,而 keypoints 就是檢測出人臉的 6 個特征點。包括特征的名稱和移動位置等信息厚脉。

2.?face-landmarks-detection

參數(shù):?model=mediapipe_face_mesh

? ? 打印出的不同的 face-detection 的是习寸,keypoints 數(shù)據(jù)更多,除了檢測出人臉五官傻工,而且五官輪廓的點位置也全部識別出來了霞溪。

?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
  • 序言:七十年代末,一起剝皮案震驚了整個濱河市中捆,隨后出現(xiàn)的幾起案子鸯匹,更是在濱河造成了極大的恐慌,老刑警劉巖泄伪,帶你破解...
    沈念sama閱讀 222,104評論 6 515
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件殴蓬,死亡現(xiàn)場離奇詭異,居然都是意外死亡蟋滴,警方通過查閱死者的電腦和手機染厅,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 94,816評論 3 399
  • 文/潘曉璐 我一進店門,熙熙樓的掌柜王于貴愁眉苦臉地迎上來津函,“玉大人肖粮,你說我怎么就攤上這事《啵” “怎么了涩馆?”我有些...
    開封第一講書人閱讀 168,697評論 0 360
  • 文/不壞的土叔 我叫張陵行施,是天一觀的道長。 經(jīng)常有香客問我凌净,道長,這世上最難降的妖魔是什么屋讶? 我笑而不...
    開封第一講書人閱讀 59,836評論 1 298
  • 正文 為了忘掉前任冰寻,我火速辦了婚禮,結(jié)果婚禮上皿渗,老公的妹妹穿的比我還像新娘斩芭。我一直安慰自己,他們只是感情好乐疆,可當我...
    茶點故事閱讀 68,851評論 6 397
  • 文/花漫 我一把揭開白布划乖。 她就那樣靜靜地躺著,像睡著了一般挤土。 火紅的嫁衣襯著肌膚如雪琴庵。 梳的紋絲不亂的頭發(fā)上,一...
    開封第一講書人閱讀 52,441評論 1 310
  • 那天仰美,我揣著相機與錄音迷殿,去河邊找鬼。 笑死咖杂,一個胖子當著我的面吹牛庆寺,可吹牛的內(nèi)容都是我干的。 我是一名探鬼主播诉字,決...
    沈念sama閱讀 40,992評論 3 421
  • 文/蒼蘭香墨 我猛地睜開眼懦尝,長吁一口氣:“原來是場噩夢啊……” “哼!你這毒婦竟也來了壤圃?” 一聲冷哼從身側(cè)響起陵霉,我...
    開封第一講書人閱讀 39,899評論 0 276
  • 序言:老撾萬榮一對情侶失蹤,失蹤者是張志新(化名)和其女友劉穎伍绳,沒想到半個月后撩匕,有當?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體,經(jīng)...
    沈念sama閱讀 46,457評論 1 318
  • 正文 獨居荒郊野嶺守林人離奇死亡墨叛,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點故事閱讀 38,529評論 3 341
  • 正文 我和宋清朗相戀三年止毕,在試婚紗的時候發(fā)現(xiàn)自己被綠了。 大學時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片漠趁。...
    茶點故事閱讀 40,664評論 1 352
  • 序言:一個原本活蹦亂跳的男人離奇死亡扁凛,死狀恐怖,靈堂內(nèi)的尸體忽然破棺而出闯传,到底是詐尸還是另有隱情谨朝,我是刑警寧澤,帶...
    沈念sama閱讀 36,346評論 5 350
  • 正文 年R本政府宣布,位于F島的核電站字币,受9級特大地震影響则披,放射性物質(zhì)發(fā)生泄漏。R本人自食惡果不足惜洗出,卻給世界環(huán)境...
    茶點故事閱讀 42,025評論 3 334
  • 文/蒙蒙 一士复、第九天 我趴在偏房一處隱蔽的房頂上張望。 院中可真熱鬧翩活,春花似錦阱洪、人聲如沸。這莊子的主人今日做“春日...
    開封第一講書人閱讀 32,511評論 0 24
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽。三九已至利耍,卻和暖如春蚌本,著一層夾襖步出監(jiān)牢的瞬間,已是汗流浹背隘梨。 一陣腳步聲響...
    開封第一講書人閱讀 33,611評論 1 272
  • 我被黑心中介騙來泰國打工魂毁, 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留,地道東北人出嘹。 一個月前我還...
    沈念sama閱讀 49,081評論 3 377
  • 正文 我出身青樓席楚,卻偏偏與公主長得像,于是被迫代替她去往敵國和親税稼。 傳聞我的和親對象是個殘疾皇子烦秩,可洞房花燭夜當晚...
    茶點故事閱讀 45,675評論 2 359

推薦閱讀更多精彩內(nèi)容