[26]——Android 人臉識別了解一下（中）

轉載請注明作者及出處：http://www.reibang.com/p/b41f64389c21

[25]——Android 人臉識別了解一下（上）
在上文中我大致的介紹了官方 Demo 中人臉注冊的流程母截，本文我們接著來看看到忽，在完成了人臉注冊之后我們該如何識別出用戶的人臉特征，從而通過人臉識別獲取用戶信息清寇。

人臉識別的全部流程集成在官方 Demo 的 DetecterActivity 文件中喘漏。

還是來了解幾個概念

人臉追蹤 FT
年齡檢測 Age
性別檢測 Gender

其中人臉追蹤 FT 與人臉檢測 FD 功能基本一致（甚至代碼基本都是相同的），Age 引擎用于識別年齡华烟，Gender 引擎用于識別性別翩迈。

識別流程

整體上比人臉注冊還要簡單，官方提供了很好的封裝供我們使用垦江，我們來看看流程帽馋。

第一步：

創(chuàng)建兩個疊加在一起的 SurfaceView，一個用于顯示攝像頭的預覽信息比吭，一個用于框出攝像頭預覽中人臉的位置绽族；

//覆蓋在相機預覽之上的一層surfaceview
mGLSurfaceView = (CameraGLSurfaceView) findViewById(R.id.glsurfaceView);
mGLSurfaceView.setOnTouchListener(this);
//攝像頭的surfaceview
mSurfaceView = (CameraSurfaceView) findViewById(R.id.surfaceView);
mSurfaceView.setOnCameraListener(this);
mSurfaceView.setupGLSurafceView(mGLSurfaceView, true, mCameraMirror, mCameraRotate);
mSurfaceView.debug_print_fps(true, false);

這里面出現了兩個監(jiān)聽器，分別是View.OnTouchListener 衩藤、CameraSurfaceView.OnCameraListener吧慢，第一個監(jiān)聽器用于設置觸摸對焦，第二個監(jiān)聽器就是我們實現人臉識別的最基礎一步：設置赏表、獲取攝像頭的數據检诗；

該接口共有6個方法：

public interface OnCameraListener {
    /**
     * setup camera. 設置相機參數
     * @return the camera
     */
    public Camera setupCamera();
    /**
     * reset on surfaceChanged.  在Surfacechanged之后重置
     * @param format image format.
     * @param width width
     * @param height height.
     */
    public void setupChanged(int format, int width, int height);
    /**
     * start preview immediately, after surfaceCreated 在surfaceCreated之后是否立即開始預覽
     * @return true or false.
     */
    public boolean startPreviewImmediately();
    /**
     * on ui thread. 在預覽時剛方法會被調用，該方法的返回值是后兩個方法的傳入值
     * @param data image data
     * @param width  width
     * @param height height
     * @param format format
     * @param timestamp time stamp
     * @return image params.
     */
    public Object onPreview(byte[] data, int width, int height, int format, long timestamp);
    public void onBeforeRender(CameraFrameData data);
    public void onAfterRender(CameraFrameData data);
}

初始化相機

@Override
public Camera setupCamera() {
    // TODO Auto-generated method stub
    //初始化相機??
    mCamera = Camera.open(mCameraID);
    try {
        Camera.Parameters parameters = mCamera.getParameters();
        parameters.setPreviewSize(mWidth, mHeight);
        parameters.setPreviewFormat(mFormat);
        for( Camera.Size size : parameters.getSupportedPreviewSizes()) {
            Log.d(TAG, "SIZE:" + size.width + "x" + size.height);
        }
        for( Integer format : parameters.getSupportedPreviewFormats()) {
            Log.d(TAG, "FORMAT:" + format);
        }
        List<int[]> fps = parameters.getSupportedPreviewFpsRange();
        for(int[] count : fps) {
            Log.d(TAG, "T:");
            for (int data : count) {
                Log.d(TAG, "V=" + data);
            }
        }
        //parameters.setPreviewFpsRange(15000, 30000);
        //parameters.setExposureCompensation(parameters.getMaxExposureCompensation());
        //parameters.setWhiteBalance(Camera.Parameters.WHITE_BALANCE_AUTO);
        //parameters.setAntibanding(Camera.Parameters.ANTIBANDING_AUTO);
        //parmeters.setFocusMode(Camera.Parameters.FOCUS_MODE_AUTO);
        //parameters.setSceneMode(Camera.Parameters.SCENE_MODE_AUTO);
        //parameters.setColorEffect(Camera.Parameters.EFFECT_NONE);
        mCamera.setParameters(parameters);
    } catch (Exception e) {
        e.printStackTrace();
    }
    if (mCamera != null) {
        mWidth = mCamera.getParameters().getPreviewSize().width;
        mHeight = mCamera.getParameters().getPreviewSize().height;
    }
    return mCamera;
}

攝像頭開始預覽時：

@Override
public Object onPreview(byte[] data, int width, int height, int format, long timestamp) {
    //獲取攝像頭的幀數據瓢剿，該數據為NV21格式 byte數組
    //調用FT人臉追蹤引擎的人臉特征查明方法逢慌，結果保存到List<AFT_FSDKFace> result
    AFT_FSDKError err = engine.AFT_FSDK_FaceFeatureDetect(data, width, height, AFT_FSDKEngine.CP_PAF_NV21, result);
    Log.d(TAG, "AFT_FSDK_FaceFeatureDetect =" + err.getCode());
    Log.d(TAG, "Face=" + result.size());
    for (AFT_FSDKFace face : result) {
        Log.d(TAG, "Face:" + face.toString());
    }
    if (mImageNV21 == null) {
        if (!result.isEmpty()) {
            //追蹤到人臉數據，取出當前追蹤的人臉间狂，取出當前幀的NV21數據（用于人臉識別）
            mAFT_FSDKFace = result.get(0).clone();
            mImageNV21 = data.clone();
        } else {
            if (!isPostted) {
                                //隱藏人臉信息的提示
                mHandler.removeCallbacks(hide);
                mHandler.postDelayed(hide, 2000);
                isPostted = true;
            }
        }
    }
    //copy rects  取出人臉追蹤的Rect
    Rect[] rects = new Rect[result.size()];
    for (int i = 0; i < result.size(); i++) {
        rects[i] = new Rect(result.get(i).getRect());
    }
    //clear result.清空原來的人臉追蹤結果List
    result.clear();
    //return the rects for render.
    return rects;
}

渲染之后調用：

@Override
    public void onAfterRender(CameraFrameData data) {
        //在該surfaceview上畫方塊攻泼，這里的data就是上一個方法中的返回值 return rects;
        mGLSurfaceView.getGLES2Render().draw_rect((Rect[])data.getParams(), Color.GREEN, 2);
    }

第二步：

使用 FR 人臉識別引擎識別人臉信息，如果你已經瀏覽了上一步的代碼，你會發(fā)現這一行關鍵代碼：

if (!result.isEmpty()) {
            //追蹤到人臉數據忙菠，取出當前追蹤的人臉何鸡，取出當前幀的NV21數據（用于人臉識別）
            mAFT_FSDKFace = result.get(0).clone();
            mImageNV21 = data.clone();
        }

當 FT 人臉追蹤引擎識別出人臉信息時，我們將當前幀的人臉信息集合放在 mAFT_FSDKFace 當前幀的 NV21 格式 byte 數組放在 mImageNV21 中牛欢，有了長兩個關鍵數據骡男，聯(lián)系我們的上一篇文章你大概知道我們可以用他們來做什么了吧？
上次我們已經介紹過
AFR_FSDK_ExtractFRFeature 特征提取接口傍睹，我們就不再贅述了隔盛。

流程是這樣的 提取圖片中的人臉 → 與我們已經注冊過得特征集合進行特征匹配 → 匹配程度最高的作為最終識別結果

這一過程是放在一個子線程中運行的，代碼如下：

//人臉識別線程
class FRAbsLoop extends AbsLoop {
    AFR_FSDKVersion version = new AFR_FSDKVersion();
    AFR_FSDKEngine engine = new AFR_FSDKEngine(); //人臉識別引擎
    AFR_FSDKFace result = new AFR_FSDKFace(); //人臉特征
    //全部已經保存的人臉特征集合
    List<FaceDB.FaceRegist> mResgist = ((Application)DetecterActivity.this.getApplicationContext()).mFaceDB.mRegister;
    List<ASAE_FSDKFace> face1 = new ArrayList<>();//年齡識別結果
    List<ASGE_FSDKFace> face2 = new ArrayList<>();//性別識別結果
    
    @Override
    public void setup() {
        AFR_FSDKError error = engine.AFR_FSDK_InitialEngine(FaceDB.appid, FaceDB.fr_key);   //初始化人臉識別引擎
        Log.d(TAG, "AFR_FSDK_InitialEngine = " + error.getCode());
        error = engine.AFR_FSDK_GetVersion(version);
        Log.d(TAG, "FR=" + version.toString() + "," + error.getCode()); //(210, 178 - 478, 446), degree = 1　780, 2208 - 1942, 3370
    }
    @Override
    public void loop() {
        //當人臉追蹤FT引擎獲取到人臉后拾稳，該數據不為null
        if (mImageNV21 != null) {
            final int rotate = mCameraRotate;
            long time = System.currentTimeMillis();
            //FR引擎人臉特征提取
            AFR_FSDKError error = engine.AFR_FSDK_ExtractFRFeature(mImageNV21, mWidth, mHeight, AFR_FSDKEngine.CP_PAF_NV21, mAFT_FSDKFace.getRect(), mAFT_FSDKFace.getDegree(), result);
            Log.d(TAG, "AFR_FSDK_ExtractFRFeature cost :" + (System.currentTimeMillis() - time) + "ms");
            Log.d(TAG, "Face=" + result.getFeatureData()[0] + "," + result.getFeatureData()[1] + "," + result.getFeatureData()[2] + "," + error.getCode());
            //特征匹配結果實例
            AFR_FSDKMatching score = new AFR_FSDKMatching();
            float max = 0.0f;
            String name = null;
            for (FaceDB.FaceRegist fr : mResgist) {
                for (AFR_FSDKFace face : fr.mFaceList) {
                    //FT人臉追蹤提取出的特征骚亿、for循環(huán)取出的系統(tǒng)中保存的特征、特征匹配結果
                    error = engine.AFR_FSDK_FacePairMatching(result, face, score);
                    Log.d(TAG,  "Score:" + score.getScore() + ", AFR_FSDK_FacePairMatching=" + error.getCode());
                    if (max < score.getScore()) {
                        max = score.getScore();
                        name = fr.mName;
                    } //從整個集合中取出最大匹配結果與姓名
                }
            }
            //age & gender
            face1.clear();
            face2.clear();
            face1.add(new ASAE_FSDKFace(mAFT_FSDKFace.getRect(), mAFT_FSDKFace.getDegree()));
            face2.add(new ASGE_FSDKFace(mAFT_FSDKFace.getRect(), mAFT_FSDKFace.getDegree()));
            ASAE_FSDKError error1 = mAgeEngine.ASAE_FSDK_AgeEstimation_Image(mImageNV21, mWidth, mHeight, AFT_FSDKEngine.CP_PAF_NV21, face1, ages);
            ASGE_FSDKError error2 = mGenderEngine.ASGE_FSDK_GenderEstimation_Image(mImageNV21, mWidth, mHeight, AFT_FSDKEngine.CP_PAF_NV21, face2, genders);
            Log.d(TAG, "ASAE_FSDK_AgeEstimation_Image:" + error1.getCode() + ",ASGE_FSDK_GenderEstimation_Image:" + error2.getCode());
            Log.d(TAG, "age:" + ages.get(0).getAge() + ",gender:" + genders.get(0).getGender());
            final String age = ages.get(0).getAge() == 0 ? "年齡未知" : ages.get(0).getAge() + "歲";
            final String gender = genders.get(0).getGender() == -1 ? "性別未知" : (genders.get(0).getGender() == 0 ? "男" : "女");
            
            //crop  截取該人臉信息
            byte[] data = mImageNV21;
            YuvImage yuv = new YuvImage(data, ImageFormat.NV21, mWidth, mHeight, null);
            ExtByteArrayOutputStream ops = new ExtByteArrayOutputStream();
            //傳入要截取的Rect范圍
            yuv.compressToJpeg(mAFT_FSDKFace.getRect(), 80, ops);
            final Bitmap bmp = BitmapFactory.decodeByteArray(ops.getByteArray(), 0, ops.getByteArray().length);
            try {
                ops.close();
            } catch (IOException e) {
                e.printStackTrace();
            }
            if (max > 0.6f) {
                //fr success.置信度大于0.6
                final float max_score = max;
                Log.d(TAG, "fit Score:" + max + ", NAME:" + name);
                final String mNameShow = name;
                mHandler.removeCallbacks(hide);
                mHandler.post(new Runnable() {
                    @Override
                    public void run() {
                        mTextView.setAlpha(1.0f);
                        mTextView.setText(mNameShow);
                        mTextView.setTextColor(Color.RED);
                        mTextView1.setVisibility(View.VISIBLE);
                        mTextView1.setText("置信度：" + (float)((int)(max_score * 1000)) / 1000.0);
                        mTextView1.setTextColor(Color.RED);
                        mImageView.setRotation(rotate);
                        if (mCameraMirror) {
                            mImageView.setScaleY(-1);
                        }
                        mImageView.setImageAlpha(255);
                        mImageView.setImageBitmap(bmp);
                    }
                });
            } else {
                final String mNameShow = "未識別";
                DetecterActivity.this.runOnUiThread(new Runnable() {
                    @Override
                    public void run() {
                        mTextView.setAlpha(1.0f);
                        mTextView1.setVisibility(View.VISIBLE);
                        mTextView1.setText( gender + "," + age);
                        mTextView1.setTextColor(Color.RED);
                        mTextView.setText(mNameShow);
                        mTextView.setTextColor(Color.RED);
                        mImageView.setImageAlpha(255);
                        mImageView.setRotation(rotate);
                        if (mCameraMirror) {
                            mImageView.setScaleY(-1);
                        }
                        mImageView.setImageBitmap(bmp);
                    }
                });
            }
            mImageNV21 = null;
        }
    }
    @Override
    public void over() {
        AFR_FSDKError error = engine.AFR_FSDK_UninitialEngine();
        Log.d(TAG, "AFR_FSDK_UninitialEngine : " + error.getCode());
    }
}

這段代碼還是很簡單的熊赖，關鍵部分我都已經加了注釋来屠，相比大家看了也都能理解。

這里在廢話幾句：FD與FT引擎功能大致相同震鹉，完成的都是從一個 NV21 格式的圖片 byte 數組中檢測識別出人臉的位置 Rect 與角度信息俱笛。在獲得這個信息后，我們調用FR人臉識別引擎識別出特征值信息传趾，然后使用AFR_FSDK_FacePairMatching特征值匹配方法迎膜，一一的與我們程序中原來存儲的人臉特征進行匹配，取出其中匹配值最高的那組特征值浆兰，獲取該特征值的注冊名磕仅。

到這里整個人臉識別的流程我們就都已經清晰的掌握了，如果沒有看明白簸呈，就下載我加過注釋的源碼榕订，再仔細看看代碼是如何實現的。

本文有可能是這次文章的最后一篇了蜕便，但我標題上寫的是中劫恒，下一片文章可能會介紹下我在實際使用虹軟人臉識別 SDK 中遇到的問題以及解決方法（目前還沒投入到項目中使用）。如果沒有遇到問題的話轿腺，本文就此全文終两嘴。

最后編輯于：2021.04.20 13:04:28

?著作權歸作者所有,轉載或內容合作請聯(lián)系作者

人面猴
序言：七十年代末，一起剝皮案震驚了整個濱河市族壳，隨后出現的幾起案子憔辫，更是在濱河造成了極大的恐慌，老刑警劉巖仿荆，帶你破解...
沈念sama閱讀 219,270評論 6贊 508
死咒
序言：濱河連續(xù)發(fā)生了三起死亡事件贰您，死亡現場離奇詭異喧务，居然都是意外死亡，警方通過查閱死者的電腦和手機枉圃，發(fā)現死者居然都...
沈念sama閱讀 93,489評論 3贊 395
救了他兩次的神仙讓他今天三更去死
文/潘曉璐我一進店門，熙熙樓的掌柜王于貴愁眉苦臉地迎上來庐冯，“玉大人孽亲，你說我怎么就攤上這事≌垢福” “怎么了返劲？”我有些...
開封第一講書人閱讀 165,630評論 0贊 356
道士緝兇錄：失蹤的賣姜人
文/不壞的土叔我叫張陵，是天一觀的道長栖茉。經常有香客問我篮绿，道長，這世上最難降的妖魔是什么吕漂？我笑而不...
開封第一講書人閱讀 58,906評論 1贊 295
?港島之戀（遺憾婚禮）
正文為了忘掉前任亲配，我火速辦了婚禮，結果婚禮上惶凝，老公的妹妹穿的比我還像新娘吼虎。我一直安慰自己，他們只是感情好苍鲜，可當我...
茶點故事閱讀 67,928評論 6贊 392
惡毒庶女頂嫁案：這布局不是一般人想出來的
文/花漫我一把揭開白布思灰。她就那樣靜靜地躺著，像睡著了一般混滔。火紅的嫁衣襯著肌膚如雪洒疚。梳的紋絲不亂的頭發(fā)上，一...
開封第一講書人閱讀 51,718評論 1贊 305
城市分裂傳說
那天坯屿，我揣著相機與錄音油湖，去河邊找鬼。笑死领跛，一個胖子當著我的面吹牛肺魁，可吹牛的內容都是我干的。我是一名探鬼主播隔节，決...
沈念sama閱讀 40,442評論 3贊 420
雙鴛鴦連環(huán)套：你想象不到人心有多黑
文/蒼蘭香墨我猛地睜開眼鹅经，長吁一口氣：“原來是場噩夢啊……” “哼！你這毒婦竟也來了怎诫？” 一聲冷哼從身側響起瘾晃，我...
開封第一講書人閱讀 39,345評論 0贊 276
萬榮殺人案實錄
序言：老撾萬榮一對情侶失蹤，失蹤者是張志新（化名）和其女友劉穎幻妓，沒想到半個月后蹦误，有當地人在樹林里發(fā)現了一具尸體劫拢，經...
沈念sama閱讀 45,802評論 1贊 317
?護林員之死
正文獨居荒郊野嶺守林人離奇死亡，尸身上長有42處帶血的膿包…… 初始之章·張勛以下內容為張勛視角年9月15日...
茶點故事閱讀 37,984評論 3贊 337
?白月光啟示錄
正文我和宋清朗相戀三年强胰，在試婚紗的時候發(fā)現自己被綠了舱沧。大學時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片。...
茶點故事閱讀 40,117評論 1贊 351
活死人
序言：一個原本活蹦亂跳的男人離奇死亡偶洋，死狀恐怖熟吏，靈堂內的尸體忽然破棺而出，到底是詐尸還是另有隱情玄窝，我是刑警寧澤牵寺，帶...
沈念sama閱讀 35,810評論 5贊 346
?日本核電站爆炸內幕
正文年R本政府宣布，位于F島的核電站恩脂，受9級特大地震影響帽氓，放射性物質發(fā)生泄漏。R本人自食惡果不足惜俩块，卻給世界環(huán)境...
茶點故事閱讀 41,462評論 3贊 331
男人毒藥：我在死后第九天來索命
文/蒙蒙一黎休、第九天我趴在偏房一處隱蔽的房頂上張望。院中可真熱鬧玉凯，春花似錦奋渔、人聲如沸。這莊子的主人今日做“春日...
開封第一講書人閱讀 32,011評論 0贊 22
一樁弒父案嫉鲸，背后竟有這般陰謀
文/蒼蘭香墨我抬頭看了看天上的太陽。三九已至歹啼，卻和暖如春玄渗，著一層夾襖步出監(jiān)牢的瞬間，已是汗流浹背狸眼。一陣腳步聲響...
開封第一講書人閱讀 33,139評論 1贊 272
情欲美人皮
我被黑心中介騙來泰國打工藤树，沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留，地道東北人拓萌。一個月前我還...
沈念sama閱讀 48,377評論 3贊 373
代替公主和親
正文我出身青樓岁钓，卻偏偏與公主長得像，于是被迫代替她去往敵國和親微王。傳聞我的和親對象是個殘疾皇子屡限，可洞房花燭夜當晚...
茶點故事閱讀 45,060評論 2贊 355

[26]——Android 人臉識別了解一下 （中）

還是來了解幾個概念

識別流程

第一步：

第二步：

推薦閱讀更多精彩內容

[26]——Android 人臉識別了解一下（中）