前言
一個(gè)群友用琨君的美顏錄制和訊飛離線人臉識(shí)別SDK做了一個(gè)demo吩翻，功能是錄制視頻电媳，要求有美顏蒙揣，并且能識(shí)別人臉并放置貼圖洪乍。但是遇到一個(gè)問(wèn)題：
錄制過(guò)程能過(guò)進(jìn)行人臉識(shí)別眯杏，也有美顏效果；
但是錄制的視頻壳澳，有美顏效果岂贩，但沒(méi)有貼圖；
在幫忙查找bug的過(guò)程中巷波，發(fā)現(xiàn)代碼寫得略復(fù)雜萎津，不便于學(xué)習(xí)卸伞。
于是，抽空把核心代碼抽離出來(lái)锉屈，做成了本次的demo荤傲。
效果如下
正文
核心邏輯
demo的流程圖如下
在GPUImage-實(shí)時(shí)美顏濾鏡的基礎(chǔ)上，引入了IFlyFaceDetector類颈渊，用GPUImageUIElement來(lái)繪制人臉識(shí)別后的貼圖遂黍，并用GPUImageAddBlendFilter把美顏后的圖像（GPUImageBeautifyFilter）和貼圖（GPUImageUIElement）合并，傳給GPUImageMovieWriter寫入文件俊嗽。
人臉識(shí)別相關(guān)
IFlyFaceDetector
IFlyFaceDetector是訊飛提供的本地人臉檢測(cè)類妓湘，可以人臉檢測(cè)、視頻流檢測(cè)功能乌询。
初始化代碼如下
self.faceDetector = [IFlyFaceDetector sharedInstance];
if(self.faceDetector){
[self.faceDetector setParameter:@"1" forKey:@"detect"];
[self.faceDetector setParameter:@"1" forKey:@"align"];
}
demo會(huì)用到IFlyFaceDetector對(duì)NSData的識(shí)別接口
/**
* 檢測(cè)frame視頻幀中的人臉
*
* @param frame 視頻幀數(shù)據(jù)
* @param width 視頻幀圖像寬
* @param height 視頻幀圖像高
* @param dir 圖像的方向
*
* @return json格式人臉數(shù)組榜贴，沒(méi)有檢測(cè)到人臉則返回空
*/
- (NSString*)trackFrame:(NSData*)frame withWidth:(int)width height:(int)height direction:(int)dir;
CanvasView
CanvasView是群友提供demo中的繪制貼圖類，可以對(duì)頭部妹田、眼睛唬党、鼻子、嘴巴鬼佣、面部進(jìn)行貼圖驶拱，本demo會(huì)用到headMap頭部貼圖。
//頭部貼圖
@property (nonatomic,strong) UIImage * headMap;
//眼睛貼圖
@property (nonatomic,strong) UIImage * eyesMap;
//鼻子貼圖
@property (nonatomic,strong) UIImage * noseMap;
//嘴巴貼圖
@property (nonatomic,strong) UIImage * mouthMap;
//面部貼圖
@property (nonatomic,strong) UIImage * facialTextureMap;
GPUImage相關(guān)
GPUImageAddBlendFilter
繼承類GPUImageTwoInputFilter用于合并兩個(gè)圖像晶衷，公式如下：
float r; // 顏色的紅色分量
if (overlay.r * base.a + base.r * overlay.a >= overlay.a * base.a) {
r = overlay.a * base.a + overlay.r * (1.0 - base.a) + base.r * (1.0 - overlay.a);
} else {
r = overlay.r + base.r;
}
GPUImageUIElement
GPUImageUIElement繼承GPUImageOutput類蓝纲，作為響應(yīng)鏈的源頭。
通過(guò)CoreGraphics把UIView渲染到圖像晌纫，并通過(guò)glTexImage2D綁定到outputFramebuffer指定的紋理税迷，最后通知targets紋理就緒。
demo中的作用是把CanvasView轉(zhuǎn)成紋理锹漱，并傳遞給GPUImageAddBlendFilter箭养。
遇到的問(wèn)題
1、貼圖無(wú)法出現(xiàn)在錄制的視頻中
啟動(dòng)群友提供的demo哥牍，預(yù)覽正常毕泌，錄制的視頻確實(shí)沒(méi)有貼圖；
檢查響應(yīng)鏈代碼嗅辣，發(fā)現(xiàn)代碼的實(shí)現(xiàn)存在一個(gè)問(wèn)題：
預(yù)覽的幀和寫入視頻的幀不是相同的撼泛，GPUImageUIElement的輸出的結(jié)果是直接指向合并的filter，合并后的圖像直接輸給writer寫入文件澡谭；屏幕的貼圖預(yù)覽效果是因?yàn)閏anvasView直接被addsubview到視圖層中愿题。
懷疑是GPUImageUIElement繪制的紋理的為空。通過(guò)檢查GPU的紋理，GPUImageUIElement對(duì)應(yīng)紋理id的紋理預(yù)覽為正常抠忘，排除這個(gè)問(wèn)題。
檢查美顏filter的輸出外永，同樣正常崎脉。
檢查合并filter的輸出，發(fā)現(xiàn)貼圖消失伯顶。
定位到是合并filter的問(wèn)題囚灼，檢查著色器代碼，正常祭衩。
檢查初始化代碼灶体，找到問(wèn)題所在：
群友把合并的filter的
mix=0.0；導(dǎo)致合并的filter只取第一個(gè)的圖像掐暮。
小結(jié)蝎抽，在查找bug的過(guò)程，因?yàn)閐emo較為復(fù)雜路克，花費(fèi)了較多時(shí)間熟悉代碼樟结；通過(guò)Xcode的工具，可以較快定位大多數(shù)GPUImage 的問(wèn)題精算。
2瓢宦、貼圖沒(méi)有隨著臉移動(dòng)
測(cè)試本demo的過(guò)程中疙赠，出現(xiàn)過(guò)貼圖固定住不動(dòng)的情況减余。
通過(guò)檢查人臉識(shí)別的輸出結(jié)果，確定人臉識(shí)別的輸出是正常鹦肿；
檢查canvasView的更新廉嚼，發(fā)現(xiàn)問(wèn)題：
canvasView沒(méi)有更新玫镐。
解決方案是把canvasView添加到視圖層。
但不知道是否為[self.viewCanvas setNeedsDisplay];造成的影響怠噪。
總結(jié)
demo在這里摘悴，代碼較短。
因?yàn)槭敲繋R(shí)別舰绘，所以CPU的消耗較高蹂喻。
如果是實(shí)際應(yīng)用，可以考慮3~5幀左右做一次人臉識(shí)別捂寿。
還有另外一個(gè)簡(jiǎn)單的思路：把輸入從攝像頭變成視頻口四，對(duì)視頻進(jìn)行逐幀人臉識(shí)別并把貼圖合并到視頻中。
