需求
啟動(dòng)攝像頭,在預(yù)覽視頻流中識(shí)別人臉未玻,并標(biāo)注人臉框毛秘;當(dāng)用戶按下拍照按鈕饭寺,將人臉部分裁剪出來(lái),現(xiàn)實(shí)在ImageView中熔脂。
解決方案
開發(fā)環(huán)境:android studio佩研、ecplise
1.人臉標(biāo)注功能可采用第三方依賴庫(kù)實(shí)現(xiàn),如谷歌自帶的FaceDetector霞揉、Face++旬薯、科大訊飛等。當(dāng)拍照按鈕被按下适秩,先把整張圖像保存下來(lái)绊序,再啟動(dòng)系統(tǒng)自帶的CROP應(yīng)用硕舆,指引用戶手動(dòng)定位到人臉區(qū)域并截圖。
? ?缺點(diǎn):操作復(fù)雜骤公,用戶需進(jìn)行4次點(diǎn)擊操作抚官;整個(gè)流程下來(lái)耗時(shí)約7秒。
2.采用開源庫(kù)open cv阶捆,該已封裝好人臉檢測(cè)功能凌节,可自動(dòng)將人臉區(qū)域標(biāo)注出來(lái),當(dāng)用戶按下拍照按鈕洒试,直接將人臉數(shù)據(jù)轉(zhuǎn)換為bitmap倍奢,即可顯示。
? ?缺點(diǎn):open cv對(duì)安卓系統(tǒng)的兼容性還不是很好垒棋,相應(yīng)的so庫(kù)需要手動(dòng)編譯卒煞。版本也較多,不同版本之間的也有一定的差異性叼架。
明顯看得出畔裕,第二方案優(yōu)于第一方案,花了好一些時(shí)間乖订,填了好些坑才把功能調(diào)通了扮饶。下面把整個(gè)debug過(guò)程記錄下來(lái),供他人參考垢粮。
1.文件下載
第一想法贴届,是去官網(wǎng)opencv.org/下靠粪,目前官網(wǎng)提供的最新版本是3.2蜡吧,是寄存在Github上,可能是由于國(guó)外服務(wù)器的原因占键,我電腦沒(méi)翻墻昔善,就總是下載不了,也沒(méi)啥錯(cuò)誤提示∨弦遥現(xiàn)在我把文件上傳到了百度云盤君仆,方便大家下載:pan.baidu.com/s/1qYyfxzI
文件的結(jié)構(gòu)我就不去分析了,網(wǎng)上很多這方面的資料牲距。
2.so庫(kù)編譯
官網(wǎng)提供的文件里面并沒(méi)有包含android可調(diào)用的so庫(kù)文件返咱,只提供了相應(yīng)的頭文件、編譯文件牍鞠。關(guān)于這點(diǎn)咖摹,我也是挺疑惑的,為何官網(wǎng)不直接編譯好so文件难述,同時(shí)也保留相應(yīng)的頭文件萤晴、編譯文件吐句,有特殊需求的再去重新編譯。
實(shí)現(xiàn)ndk編譯店读,需要先搭建好編譯環(huán)境(搭建方法嗦枢,百度一下,要多詳細(xì)有多詳細(xì))屯断。打開cmd文虏,進(jìn)入到項(xiàng)目(我這里用的是face-detection)結(jié)構(gòu)下的jni文件夾,如:
輸入 ndk-build 執(zhí)行后殖演,libs下(我用的是ecplise)便會(huì)多出一個(gè)文件:
3.排除錯(cuò)誤
將項(xiàng)目和sdk都導(dǎo)入到ecplise中择葡,會(huì)提示camera2這個(gè)類找不到。查了一下剃氧,這個(gè)類是從Android5.0之后才引入的敏储,但opencv sdk默認(rèn)的編譯版本是4.0.這點(diǎn)上,感覺(jué)官方真的好坑朋鞍。解決起來(lái)也很容易已添,修改project.properties文件中的target=android-21
解決以上錯(cuò)誤后,項(xiàng)目就可以跑起來(lái)了滥酥,但如果沒(méi)有第2步編譯的so文件更舞,應(yīng)用一啟動(dòng)就會(huì)蹦了,log只看到某個(gè)類加載不了坎吻。在這里卡了好一段時(shí)間缆蝉,官方既不提供so庫(kù),log提示又沒(méi)有明確說(shuō)明是由于某個(gè)動(dòng)態(tài)庫(kù)未加載瘦真。
4.去除manager
在使用某個(gè)功能時(shí)刊头,需要先安裝一個(gè)manager.apk應(yīng)用,官方將某些服務(wù)封裝到了manager.apk里面诸尽。無(wú)疑原杂,這是一個(gè)很雞肋的操作。
其實(shí)要解決起來(lái)也很簡(jiǎn)單您机,在官網(wǎng)下載的文件中穿肄,找到sdk-->native-->libs-->armeabi-v7(這是我的設(shè)備架構(gòu),大家需要根據(jù)自己的設(shè)備來(lái)選擇不同的文件夾)-->libopencv_java3.so ? 將該文件拷貝至項(xiàng)目下际看,clean一下咸产,再運(yùn)行,就可以脫離manager.apk正常運(yùn)行了仲闽。
5.數(shù)據(jù)格式轉(zhuǎn)換
face-detection項(xiàng)目跑起來(lái)后脑溢,也只是捕捉到了人臉數(shù)據(jù)。我們需要將rect類型的數(shù)據(jù)轉(zhuǎn)換為bitmap蔼囊,但官網(wǎng)并沒(méi)有提供現(xiàn)有的方式進(jìn)行轉(zhuǎn)換焚志,只能講rect先轉(zhuǎn)為mat衣迷,再轉(zhuǎn)換為bitmap,相關(guān)函數(shù)為:
rect-->mat? Utils.matToBitmap(Rect roi)
mat-->bitmap Utils.matToBitmap(Mat mat, Bitmap bitmap);
總結(jié)
以上看似簡(jiǎn)單的幾個(gè)步驟,實(shí)際上花了將近一周的時(shí)間酱酬,現(xiàn)在回頭想想壶谒,根源是對(duì)opencv實(shí)現(xiàn)流程不熟悉,套用慣性思維去對(duì)待膳沽。下意識(shí)總覺(jué)著汗菜,官方下載下來(lái)的東西都是可以直接跑的。這次算是長(zhǎng)見(jiàn)識(shí)了挑社。如對(duì)上述項(xiàng)目源碼有需要的陨界,可以將郵箱留言,我會(huì)第一時(shí)間給你發(fā)過(guò)去痛阻。opencv還有很多強(qiáng)大的功能菌瘪,后期有時(shí)間慢慢研究。