前言
一個群友用琨君的美顏錄制和訊飛離線人臉識別SDK做了一個demo沐序，功能是錄制視頻，要求有美顏，并且能識別人臉并放置貼圖溯泣。但是遇到一個問題：
錄制過程能過進行人臉識別，也有美顏效果榕茧；
但是錄制的視頻垃沦，有美顏效果，但沒有貼圖用押；
在幫忙查找bug的過程中肢簿，發(fā)現代碼寫得略復雜，不便于學習。
于是池充，抽空把核心代碼抽離出來桩引，做成了本次的demo。
效果如下
正文
核心邏輯
demo的流程圖如下
在GPUImage詳細解析（三）- 實時美顏濾鏡的基礎上收夸，引入了IFlyFaceDetector類坑匠，用GPUImageUIElement來繪制人臉識別后的貼圖，并用GPUImageAddBlendFilter把美顏后的圖像（GPUImageBeautifyFilter）和貼圖（GPUImageUIElement）合并卧惜，傳給GPUImageMovieWriter寫入文件厘灼。
人臉識別相關
IFlyFaceDetector
IFlyFaceDetector是訊飛提供的本地人臉檢測類，可以人臉檢測咽瓷、視頻流檢測功能设凹。
初始化代碼如下
self.faceDetector = [IFlyFaceDetector sharedInstance];
if(self.faceDetector){
[self.faceDetector setParameter:@"1" forKey:@"detect"];
[self.faceDetector setParameter:@"1" forKey:@"align"];
}
demo會用到IFlyFaceDetector對NSData的識別接口
/**
* 檢測frame視頻幀中的人臉
*
* @param frame 視頻幀數據
* @param width 視頻幀圖像寬
* @param height 視頻幀圖像高
* @param dir 圖像的方向
*
* @return json格式人臉數組，沒有檢測到人臉則返回空
*/
- (NSString*)trackFrame:(NSData*)frame withWidth:(int)width height:(int)height direction:(int)dir;
CanvasView
CanvasView是群友提供demo中的繪制貼圖類茅姜，可以對頭部闪朱、眼睛、鼻子匈睁、嘴巴监透、面部進行貼圖，本demo會用到headMap頭部貼圖航唆。
//頭部貼圖
@property (nonatomic,strong) UIImage * headMap;
//眼睛貼圖
@property (nonatomic,strong) UIImage * eyesMap;
//鼻子貼圖
@property (nonatomic,strong) UIImage * noseMap;
//嘴巴貼圖
@property (nonatomic,strong) UIImage * mouthMap;
//面部貼圖
@property (nonatomic,strong) UIImage * facialTextureMap;
GPUImage相關
GPUImageAddBlendFilter
繼承類GPUImageTwoInputFilter用于合并兩個圖像胀蛮，公式如下：
float r; // 顏色的紅色分量
if (overlay.r * base.a + base.r * overlay.a >= overlay.a * base.a) {
r = overlay.a * base.a + overlay.r * (1.0 - base.a) + base.r * (1.0 - overlay.a);
} else {
r = overlay.r + base.r;
}
GPUImageUIElement
GPUImageUIElement繼承GPUImageOutput類，作為響應鏈的源頭糯钙。
通過CoreGraphics把UIView渲染到圖像粪狼，并通過glTexImage2D綁定到outputFramebuffer指定的紋理，最后通知targets紋理就緒任岸。
demo中的作用是把CanvasView轉成紋理再榄，并傳遞給GPUImageAddBlendFilter。
遇到的問題
1享潜、貼圖無法出現在錄制的視頻中
啟動群友提供的demo困鸥，預覽正常，錄制的視頻確實沒有貼圖剑按；
檢查響應鏈代碼疾就，發(fā)現代碼的實現存在一個問題：
預覽的幀和寫入視頻的幀不是相同的，GPUImageUIElement的輸出的結果是直接指向合并的filter艺蝴，合并后的圖像直接輸給writer寫入文件猬腰；屏幕的貼圖預覽效果是因為canvasView直接被addsubview到視圖層中。
懷疑是GPUImageUIElement繪制的紋理的為空猜敢。通過檢查GPU的紋理姑荷，GPUImageUIElement對應紋理id的紋理預覽為正常盒延，排除這個問題。
檢查美顏filter的輸出鼠冕，同樣正常添寺。
檢查合并filter的輸出，發(fā)現貼圖消失懈费。
定位到是合并filter的問題畦贸，檢查著色器代碼，正常楞捂。
檢查初始化代碼薄坏，找到問題所在：
群友把合并的filter的
mix=0.0；導致合并的filter只取第一個的圖像寨闹。
小結胶坠，在查找bug的過程，因為demo較為復雜繁堡，花費了較多時間熟悉代碼沈善；通過Xcode的工具，可以較快定位大多數GPUImage 的問題椭蹄。
2闻牡、貼圖沒有隨著臉移動
測試本demo的過程中，出現過貼圖固定住不動的情況绳矩。
通過檢查人臉識別的輸出結果罩润，確定人臉識別的輸出是正常；
檢查canvasView的更新翼馆，發(fā)現問題：
canvasView沒有更新割以。
解決方案是把canvasView添加到視圖層。
但不知道是否為[self.viewCanvas setNeedsDisplay];造成的影響应媚。
總結
demo在這里严沥，代碼較短。
因為是每幀識別中姜，所以CPU的消耗較高消玄。
如果是實際應用，可以考慮3~5幀左右做一次人臉識別丢胚。
還有另外一個簡單的思路：把輸入從攝像頭變成視頻翩瓜，對視頻進行逐幀人臉識別并吧貼圖合并到視頻中。
