實(shí)現(xiàn)檢測人臉功能的控件

歡迎Follow我的GitHub, 關(guān)注我的簡書. 其余參考Android目錄.

效果

本文的合集已經(jīng)編著成書状婶,高級Android開發(fā)強(qiáng)化實(shí)戰(zhàn)就漾,歡迎各位讀友的建議和指導(dǎo)盆佣。在京東即可購買:https://item.jd.com/12385680.html

Android

檢測人臉有很多用處, 可以提供更好的交互, 和一些有針對性的意見. 檢測臉部關(guān)鍵信息, 也可以處理一些微表情的內(nèi)容.

Google推出了官方的人臉檢測功能, 很不幸依賴Google Service, 需要版本8.1以上. 國內(nèi)手機(jī)基本不會默認(rèn)配置. 下載地址, 此版本適配手機(jī)系統(tǒng)4.4+.

關(guān)注:
(1) 如何提取人臉(Face)位置.
(2) 如何提取臉部關(guān)鍵點(diǎn)(Landmark)位置.
(3) 如何在畫布(Canvas)創(chuàng)建居中圖片控件.

官方API

我講解一下用法, 寫了一個簡單的顯示控件, 注釋詳細(xì).

本文源碼的GitHub下載地址

1. 配置項(xiàng)目

新建HelloWorld項(xiàng)目, 配置build.gradle.

    compile 'com.google.android.gms:play-services-vision:8.1.0' // 包含人臉識別類
    compile 'com.jakewharton:butterknife:7.0.1'

一般都會從最基礎(chǔ)的HelloWorld開始, 方便學(xué)習(xí)和理解. ButterKnife必用.

2. 檢測人臉控件

控件居中顯示一張圖片, 在圖片上, 繪制人臉位置和關(guān)鍵點(diǎn)(Landmarks).
關(guān)鍵點(diǎn)包括: 眼睛, 鼻子, 嘴等屬性. 存在遮擋, 根據(jù)不同人臉提取量不同.
通過FaceDetector檢測Bitmap, 獲取圖片的所有臉部(face)信息.
根據(jù)位置(Position)畫出臉的形狀, 根據(jù)關(guān)鍵點(diǎn)(Landmarks)畫出臉部特征.
同時可以獲取各種特征的概率(Probability), 和臉部偏移.

/**
 * 檢測人臉的控件
 * <p/>
 * Created by wangchenlong on 15/12/15.
 */
public class FacesDisplayView extends View {

    private static final String TAG = "DEBUG-WCL: " + FacesDisplayView.class.getSimpleName();

    private Bitmap mBitmap; // 圖片
    private SparseArray<Face> mFaces; // 人臉數(shù)組

    // 確保圖片居中
    private int mHorizonOffset; // 水平偏移
    private int mVerticalOffset; // 豎直偏移

    public FacesDisplayView(Context context) {
        this(context, null);
    }

    public FacesDisplayView(Context context, AttributeSet attrs) {
        this(context, attrs, 0);
    }

    public FacesDisplayView(Context context, AttributeSet attrs, int defStyleAttr) {
        super(context, attrs, defStyleAttr);
    }

    // 設(shè)置顯示圖片
    @SuppressWarnings("unused")
    public void setBitmap(Bitmap bitmap) {
        mBitmap = bitmap;
        FaceDetector detector = new FaceDetector.Builder(getContext())
                .setTrackingEnabled(true)
                .setLandmarkType(FaceDetector.ALL_LANDMARKS)
                .setMode(FaceDetector.ACCURATE_MODE)
                .build();

        if (!detector.isOperational()) {
            Log.e(TAG, "加載失敗");
            return;
        } else {
            Frame frame = new Frame.Builder().setBitmap(bitmap).build();
            mFaces = detector.detect(frame);
            detector.release();
        }

        logFaceData(); // 打印人臉數(shù)據(jù)
        invalidate();  // 填充
    }

    @Override
    protected void onDraw(Canvas canvas) {
        super.onDraw(canvas);

        if ((mBitmap != null) && (mFaces != null)) {
            double scale = drawBitmap(canvas);
            drawFaceBox(canvas, scale);
            drawFaceLandmarks(canvas, scale);
        }
    }

    // 繪制圖片, 返回縮放概率
    private double drawBitmap(Canvas canvas) {
        double viewWidth = canvas.getWidth(); // 顯示寬度
        double viewHeight = canvas.getHeight(); // 顯示高度
        double imageWidth = mBitmap.getWidth(); // 圖片寬度
        double imageHeight = mBitmap.getHeight(); // 圖片高度

        double wScale = viewWidth / imageWidth;
        double hScale = viewHeight / imageHeight;

        double scale;
        Rect destBounds;

        // 水平豎直縮放
        if (wScale > hScale) {
            mHorizonOffset = (int) ((viewWidth - imageWidth * hScale) / 2.0f);
            destBounds = new Rect(mHorizonOffset, 0,
                    (int) (imageWidth * hScale) + mHorizonOffset, (int) (imageHeight * hScale));
            scale = hScale;
        } else {
            mVerticalOffset = (int) ((viewHeight - imageHeight * wScale) / 2.0f);
            destBounds = new Rect(0, mVerticalOffset,
                    (int) (imageWidth * wScale), (int) (imageHeight * wScale) + mVerticalOffset);
            scale = wScale;
        }

        canvas.drawBitmap(mBitmap, null, destBounds, null); // 添加圖片

        return scale;
    }

    // 繪制臉部方形
    private void drawFaceBox(Canvas canvas, double scale) {

        // 畫筆
        Paint paint = new Paint();
        paint.setColor(Color.GREEN);
        paint.setStyle(Paint.Style.STROKE);
        paint.setStrokeWidth(5);

        float left;
        float top;
        float right;
        float bottom;

        // 繪制每張臉
        for (int i = 0; i < mFaces.size(); i++) {
            Face face = mFaces.valueAt(i);

            left = (float) (face.getPosition().x * scale);
            top = (float) (face.getPosition().y * scale);
            right = (float) scale * (face.getPosition().x + face.getWidth());
            bottom = (float) scale * (face.getPosition().y + face.getHeight());

            canvas.drawRect(left + mHorizonOffset, top + mVerticalOffset,
                    right + mHorizonOffset, bottom + mVerticalOffset, paint);
        }
    }

    // 繪制臉部關(guān)鍵部位
    private void drawFaceLandmarks(Canvas canvas, double scale) {
        Paint paint = new Paint();
        paint.setColor(Color.YELLOW);
        paint.setStyle(Paint.Style.STROKE);
        paint.setStrokeWidth(5);

        for (int i = 0; i < mFaces.size(); i++) {
            Face face = mFaces.valueAt(i);

            for (Landmark landmark : face.getLandmarks()) {
                int cx = (int) (landmark.getPosition().x * scale);
                int cy = (int) (landmark.getPosition().y * scale);
                canvas.drawCircle(cx + mHorizonOffset, cy + mVerticalOffset, 10, paint);
            }

        }
    }

    // 輸出臉部數(shù)據(jù)
    private void logFaceData() {

        float smilingProbability;
        float leftEyeOpenProbability;
        float rightEyeOpenProbability;
        float eulerY;
        float eulerZ;

        for (int i = 0; i < mFaces.size(); i++) {
            Face face = mFaces.valueAt(i);

            // 可能性
            smilingProbability = face.getIsSmilingProbability();
            leftEyeOpenProbability = face.getIsLeftEyeOpenProbability();
            rightEyeOpenProbability = face.getIsRightEyeOpenProbability();

            eulerY = face.getEulerY(); // 豎直軸偏移
            eulerZ = face.getEulerZ(); // 前后偏移

            Log.e(TAG, "臉數(shù): " + i);
            Log.e(TAG, "微笑概率: " + smilingProbability);
            Log.e(TAG, "左眼睜開概率: " + leftEyeOpenProbability);
            Log.e(TAG, "右眼睜開概率: " + rightEyeOpenProbability);
            Log.e(TAG, "豎直軸偏移: " + eulerY);
            Log.e(TAG, "前后偏移: " + eulerZ);
            Log.e(TAG, "--------------------");
        }
    }
}

圖像和特征是顯示在畫布上, 根據(jù)畫布大小, 等比例縮放, 并居中顯示.

3. 主頁面

主界面通過一個簡單的ViewPager連續(xù)顯示圖片.

    @Bind(R.id.main_vp_container) ViewPager mVpContainer; // 連續(xù)

    @Override
    protected void onCreate(Bundle savedInstanceState) {
        super.onCreate(savedInstanceState);
        setContentView(R.layout.activity_main);
        ButterKnife.bind(this);
        Toolbar toolbar = (Toolbar) findViewById(R.id.toolbar);
        setSupportActionBar(toolbar);

        mVpContainer.setAdapter(new FacesViewPagerAdapter(getSupportFragmentManager()));
    }

適配傳遞參數(shù), 根據(jù)參數(shù), 返回不同的圖片頁面.

/**
 * 臉部適配器
 * <p/>
 * Created by wangchenlong on 15/12/15.
 */
public class FacesViewPagerAdapter extends FragmentPagerAdapter {

    private static final int NUM = 9;

    public FacesViewPagerAdapter(FragmentManager fm) {
        super(fm);
    }

    @Override public Fragment getItem(int position) {
        return ShowFaceFragment.newInstance(position);
    }

    @Override public int getCount() {
        return NUM;
    }
}

每頁是個Fragment, 根據(jù)參數(shù), 使用不同資源.

/**
 * 顯示人臉的界面
 * <p/>
 * Created by wangchenlong on 15/12/15.
 */
public class ShowFaceFragment extends Fragment {
    private static final String ARG_SELECTION_NUM = "arg_selection_num";

    @Bind(R.id.main_fdv_face_detector) FacesDisplayView mFdvFaceDetector;
    @RawRes ArrayList<Integer> mPhotos; // 圖片集合

    public ShowFaceFragment() {
        mPhotos = new ArrayList<>();
        mPhotos.add(R.raw.total_large_poster);
        mPhotos.add(R.raw.jessicajung_large_poster);
        mPhotos.add(R.raw.seohyun_large_poster);
        mPhotos.add(R.raw.sooyoung_large_poster);
        mPhotos.add(R.raw.sunny_large_poster);
        mPhotos.add(R.raw.taeyeon_large_poster);
        mPhotos.add(R.raw.tiffany_large_poster);
        mPhotos.add(R.raw.yoona_large_poster);
        mPhotos.add(R.raw.yuri_large_poster);
    }

    public static ShowFaceFragment newInstance(int selectionNum) {
        ShowFaceFragment simpleFragment = new ShowFaceFragment();
        Bundle args = new Bundle();
        args.putInt(ARG_SELECTION_NUM, selectionNum);
        simpleFragment.setArguments(args);
        return simpleFragment;
    }

    @Nullable @Override
    public View onCreateView(LayoutInflater inflater, @Nullable ViewGroup container, @Nullable Bundle savedInstanceState) {
        View view = inflater.inflate(R.layout.fragment_show_face, container, false);
        ButterKnife.bind(this, view);
        return view;
    }

    @Override public void onViewCreated(View view, @Nullable Bundle savedInstanceState) {
        super.onViewCreated(view, savedInstanceState);
        @RawRes int image = mPhotos.get(getArguments().getInt(ARG_SELECTION_NUM));
        InputStream stream = getResources().openRawResource(image);
        Bitmap bitmap = BitmapFactory.decodeStream(stream);
        mFdvFaceDetector.setBitmap(bitmap);
    }

    @Override public void onDestroyView() {
        super.onDestroyView();
        ButterKnife.unbind(this);
    }
}

注意使用注釋(Annotation), 判斷資源類型, 如@RawRes.

動畫

有時間再完善一下這個小控件吧.

OK, Enjoy It.

最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
  • 序言:七十年代末辈毯,一起剝皮案震驚了整個濱河市,隨后出現(xiàn)的幾起案子乙埃,更是在濱河造成了極大的恐慌闸英,老刑警劉巖锯岖,帶你破解...
    沈念sama閱讀 218,682評論 6 507
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件,死亡現(xiàn)場離奇詭異甫何,居然都是意外死亡出吹,警方通過查閱死者的電腦和手機(jī),發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 93,277評論 3 395
  • 文/潘曉璐 我一進(jìn)店門辙喂,熙熙樓的掌柜王于貴愁眉苦臉地迎上來捶牢,“玉大人,你說我怎么就攤上這事巍耗∏雉铮” “怎么了?”我有些...
    開封第一講書人閱讀 165,083評論 0 355
  • 文/不壞的土叔 我叫張陵炬太,是天一觀的道長灸蟆。 經(jīng)常有香客問我,道長亲族,這世上最難降的妖魔是什么炒考? 我笑而不...
    開封第一講書人閱讀 58,763評論 1 295
  • 正文 為了忘掉前任,我火速辦了婚禮孽水,結(jié)果婚禮上票腰,老公的妹妹穿的比我還像新娘城看。我一直安慰自己女气,他們只是感情好,可當(dāng)我...
    茶點(diǎn)故事閱讀 67,785評論 6 392
  • 文/花漫 我一把揭開白布测柠。 她就那樣靜靜地躺著炼鞠,像睡著了一般。 火紅的嫁衣襯著肌膚如雪轰胁。 梳的紋絲不亂的頭發(fā)上谒主,一...
    開封第一講書人閱讀 51,624評論 1 305
  • 那天,我揣著相機(jī)與錄音赃阀,去河邊找鬼霎肯。 笑死,一個胖子當(dāng)著我的面吹牛榛斯,可吹牛的內(nèi)容都是我干的观游。 我是一名探鬼主播,決...
    沈念sama閱讀 40,358評論 3 418
  • 文/蒼蘭香墨 我猛地睜開眼驮俗,長吁一口氣:“原來是場噩夢啊……” “哼懂缕!你這毒婦竟也來了?” 一聲冷哼從身側(cè)響起王凑,我...
    開封第一講書人閱讀 39,261評論 0 276
  • 序言:老撾萬榮一對情侶失蹤搪柑,失蹤者是張志新(化名)和其女友劉穎聋丝,沒想到半個月后,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體工碾,經(jīng)...
    沈念sama閱讀 45,722評論 1 315
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡弱睦,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 37,900評論 3 336
  • 正文 我和宋清朗相戀三年,在試婚紗的時候發(fā)現(xiàn)自己被綠了。 大學(xué)時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片图筹。...
    茶點(diǎn)故事閱讀 40,030評論 1 350
  • 序言:一個原本活蹦亂跳的男人離奇死亡扭吁,死狀恐怖,靈堂內(nèi)的尸體忽然破棺而出焦读,到底是詐尸還是另有隱情,我是刑警寧澤舱权,帶...
    沈念sama閱讀 35,737評論 5 346
  • 正文 年R本政府宣布矗晃,位于F島的核電站,受9級特大地震影響宴倍,放射性物質(zhì)發(fā)生泄漏张症。R本人自食惡果不足惜,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 41,360評論 3 330
  • 文/蒙蒙 一鸵贬、第九天 我趴在偏房一處隱蔽的房頂上張望俗他。 院中可真熱鬧,春花似錦阔逼、人聲如沸兆衅。這莊子的主人今日做“春日...
    開封第一講書人閱讀 31,941評論 0 22
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽羡亩。三九已至,卻和暖如春危融,著一層夾襖步出監(jiān)牢的瞬間畏铆,已是汗流浹背。 一陣腳步聲響...
    開封第一講書人閱讀 33,057評論 1 270
  • 我被黑心中介騙來泰國打工吉殃, 沒想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留辞居,地道東北人。 一個月前我還...
    沈念sama閱讀 48,237評論 3 371
  • 正文 我出身青樓蛋勺,卻偏偏與公主長得像瓦灶,于是被迫代替她去往敵國和親。 傳聞我的和親對象是個殘疾皇子迫卢,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 44,976評論 2 355

推薦閱讀更多精彩內(nèi)容

  • Android 自定義View的各種姿勢1 Activity的顯示之ViewRootImpl詳解 Activity...
    passiontim閱讀 172,161評論 25 707
  • 發(fā)現(xiàn) 關(guān)注 消息 iOS 第三方庫倚搬、插件、知名博客總結(jié) 作者大灰狼的小綿羊哥哥關(guān)注 2017.06.26 09:4...
    肇東周閱讀 12,105評論 4 62
  • 在云陽山山腳下乾蛤,紫云寺中每界,看到孩子誠心拜佛捅僵,很欣慰。人之初眨层,性本善庙楚。 在這個物質(zhì)橫流、金錢至上的...
    心之戀a閱讀 338評論 0 0
  • 彭震先生為創(chuàng)豐資本創(chuàng)始人、管理合伙人叁征,他擁有超過15年的私募股權(quán)纳账、資本運(yùn)作與并購經(jīng)驗(yàn),彭震帶出創(chuàng)豐資本一個近60人...
    投資人說閱讀 292評論 0 0
  • 作者前話:嗯捺疼,我突然想起小的時候疏虫,干過這種傻事:看太陽。但是啤呼,這件事確實(shí)是如文中所描述的那種感覺卧秘,我曾經(jīng)一度沉迷。...
    落棲公子閱讀 401評論 0 1