最近，公司的項(xiàng)目中用到了圖像識(shí)別技術(shù)膊升，通過拍照來識(shí)別身份證號(hào)怎炊，之前沒有做過，經(jīng)過一番的研究廓译，總算是搞定了评肆，下面就將整個(gè)的實(shí)現(xiàn)過程分享一下：
圖像識(shí)別主要用到了兩個(gè)第三方的框架：OpenCV和TesseractOCR，OpenCV用來做圖像處理非区，定位到身份證號(hào)碼的區(qū)域瓜挽，TesseractOCR則是對(duì)定位到的區(qū)域內(nèi)的內(nèi)容進(jìn)行識(shí)別。
框架的導(dǎo)入
1征绸、OpenCv
OpenCV的導(dǎo)入比較簡單秸抚，首先從OpenCV官網(wǎng)上下載iOS對(duì)應(yīng)的framework，然后將其直接拖入到工程中即可歹垫。
OpenCV是一套C++的框架，所以在使用到OpenCV的類中要將.m文件的后綴改為.mm文件颠放。如果在.pch文件中導(dǎo)入頭文件的話排惨，需要將頭文件放到下面的代碼中，表示只有C++文件才會(huì)編譯：
#ifdef __cplusplus
#endif
然后倒入一下三個(gè)頭文件
#import <opencv2/opencv.hpp>
#import <opencv2/imgproc/types_c.h>
#import <opencv2/imgcodecs/ios.h>
2碰凶、TesseractOCR
TesseractOCR是谷歌開源的一個(gè)OCR引擎暮芭，從github上下載Tesseract的工程和語言包(tessdata)，默認(rèn)TesseractOCR使用的是英文包（名稱：eng.traineddata）欲低，如果要識(shí)別中文辕宏，還需要將中文包（名稱：chi_sim.traineddata）導(dǎo)入到tessdata中（一個(gè)簡單的方法是將中文包導(dǎo)入到tessdata中，并將名稱改為eng.traineddata砾莱，這樣其他的地方就不用做改變了）瑞筐。
注意：在將tessdata文件夾導(dǎo)入到工程中時(shí)，要選擇Create folder refrences腊瑟，如圖：
獲取圖片
要識(shí)別圖像聚假，首先得能獲取圖像，可以通過拍照闰非，也可以從相冊(cè)中獲取膘格，下面是我為身份證識(shí)別做的一下準(zhǔn)備工作：
在控制器中添加一個(gè)label（顯示結(jié)果）、一個(gè)imageView（顯示圖像）财松、兩個(gè)button（點(diǎn)擊分別拍照和進(jìn)入相冊(cè)）瘪贱，添加UIImagePickerController的全局變量，并初始化。
@interface ViewController ()<UINavigationControllerDelegate, UIImagePickerControllerDelegate>
{
UIImagePickerController *_imagePickerVC;
}
@property (weak, nonatomic) IBOutlet UILabel *resultLabel;
@property (weak, nonatomic) IBOutlet UIImageView *cardImageView;
@end
@implementation ViewController
- (void)viewDidLoad {
[super viewDidLoad];
_imagePickerVC = [[UIImagePickerController alloc] init];
_imagePickerVC.delegate = self;
_imagePickerVC.modalTransitionStyle = UIModalTransitionStyleFlipHorizontal;
_imagePickerVC.allowsEditing = YES;
}
- (IBAction)cameraAction:(id)sender {
//判斷是否可以打開照相機(jī)
if ([UIImagePickerController isSourceTypeAvailable:UIImagePickerControllerSourceTypeCamera]) {
_imagePickerVC.sourceType = UIImagePickerControllerSourceTypeCamera;
//設(shè)置攝像頭模式（拍照菜秦，錄制視頻）為拍照
_imagePickerVC.cameraCaptureMode = UIImagePickerControllerCameraCaptureModePhoto;
[self presentViewController:_imagePickerVC animated:YES completion:^{
}];
}
}
- (IBAction)photoLibaryAction:(id)sender {
_imagePickerVC.sourceType = UIImagePickerControllerSourceTypePhotoLibrary;
[self presentViewController:_imagePickerVC animated:YES completion:nil];
}
#pragma mark - UIImagePickerControllerDelegate
- (void)imagePickerController:(UIImagePickerController *)picker didFinishPickingMediaWithInfo:(NSDictionary<NSString *,id> *)info{
UIImage *srcImage = nil;
NSString *mediaType=[info objectForKey:UIImagePickerControllerMediaType];
//判斷資源類型
if ([mediaType isEqualToString:@"public.image"]){
srcImage = info[UIImagePickerControllerEditedImage];
self.cardImageView.image = srcImage;//得到圖片并顯示
}
[_imagePickerVC dismissViewControllerAnimated:YES completion:^{
}];
}
圖像處理和識(shí)別
接下來甜害，就說一下圖像處理的過程，得到最適合的識(shí)別區(qū)域：
首先喷户，在工程中創(chuàng)建一個(gè)圖像識(shí)別處理的工具類：RecognizeUtil唾那，在.h文件中聲明如下方法，并在.m中實(shí)現(xiàn)褪尝。
RecognizeUtil工具類中的結(jié)構(gòu)基本如下：
#import <Foundation/Foundation.h>
@class UIImage;
@interface RecognizeUtil : NSObject
/*
單例
*/
+ (instancetype)recognizeUtil;
/*
身份證號(hào)碼識(shí)別
*/
- (void)recognizeCardNumWithImage:(UIImage *)image complete:(void(^)(NSString *resultNum,UIImage *resultImage))complete;
@end
#import "RecognizeUtil.h"
#import <opencv2/opencv.hpp>
#import <opencv2/imgproc/types_c.h>
#import <opencv2/imgcodecs/ios.h>
#import "TesseractOCRiOS/TesseractOCR/TesseractOCR.h"
@implementation RecognizeUtil
static RecognizeUtil *recognizeUtil = nil;
+ (instancetype)recognizeUtil {
static dispatch_once_t onceToken;
dispatch_once(&onceToken, ^{
recognizeUtil = [[RecognizeUtil alloc] init];
});
return recognizeCardManager;
}
- (void)recognizeCardNumWithImage:(UIImage *)image complete:(void(^)(NSString *resultNum))complete{
UIImage *handledImage = [self opencvHandleImage:image];
[self tesseractRecognizeImage:handledImage complete:^(NSString *resultNum,UIImage *image) {
complete(resultNum, image);
}];
}
/*
OpenCV 圖像處理 返回處理過后的圖片
*/
- (UIImage *)opencvHandleImage:(UIImage *)image{
return nil;
}
/*
tesseract 圖像識(shí)別 block回調(diào)識(shí)別結(jié)果
*/
- (void)recognizeCardNumWithImage:(UIImage *)image complete:(void(^)(NSString *resultNum,UIImage *resultImage))complete;
complete(resultNum,resultImage);
}
@end
下面到了最關(guān)鍵的環(huán)節(jié)闹获，就是圖像處理和識(shí)別的具體方法：
1、處理
opencvHandleImage:方法實(shí)現(xiàn)
/*
OpenCV 圖像處理 返回處理過后的圖片
*/
- (UIImage *)opencvHandleImage:(UIImage *)image{
//將UIImage轉(zhuǎn)換成Mat
cv::Mat resultImage;
UIImageToMat(image, resultImage);
//轉(zhuǎn)為灰度圖
cvtColor(resultImage, resultImage, cv::COLOR_BGR2GRAY);
//閾值二值化
cv::threshold(resultImage, resultImage, 100, 255, CV_THRESH_BINARY);
//腐蝕河哑，填充（腐蝕是讓黑色點(diǎn)變大）
cv::Mat erodeElement = getStructuringElement(cv::MORPH_RECT, cv::Size(26,26));
cv::erode(resultImage, resultImage, erodeElement);
//定義一個(gè)容器來存儲(chǔ)所有檢測(cè)到的輪廓
std::vector<std::vector<cv::Point>> contours;
cv::findContours(resultImage, contours, CV_RETR_TREE, CV_CHAIN_APPROX_SIMPLE, cvPoint(0, 0));
//取出身份證號(hào)碼區(qū)域
std::vector<cv::Rect> rects;
cv::Rect numberRect = cv::Rect(0,0,0,0);
std::vector<std::vector<cv::Point>>::const_iterator itContours = contours.begin();
for ( ; itContours != contours.end(); ++itContours) {
cv::Rect rect = cv::boundingRect(*itContours);
rects.push_back(rect);//push_back 在容器尾部插入一個(gè)數(shù)據(jù)
//算法原理（寬度最大避诽，并且寬度大于高度的5倍）
if (rect.width > numberRect.width && rect.width > rect.height * 5) {
numberRect = rect;
}
}
//定位失敗
if (numberRect.width == 0 || numberRect.height == 0) {
return nil;
}
//得到身份證號(hào)的區(qū)域，去原圖中后去該區(qū)域璃谨，并轉(zhuǎn)成二值圖
cv::Mat matImage;
UIImageToMat(image, matImage);
resultImage = matImage(numberRect);
cvtColor(resultImage, resultImage, cv::COLOR_BGR2GRAY);
cv::threshold(resultImage, resultImage, 80, 255, CV_THRESH_BINARY);
//將Mat轉(zhuǎn)換成UIImage
UIImage *numberImage = MatToUIImage(resultImage);
return numberImage;
}
上面主要利用到了OpenCV中的一些簡單的處理圖像的方法：灰度處理沙庐、二值化、腐蝕佳吞、邊緣檢測(cè)等等拱雏。
灰度處理和二值化的作用是將圖像變?yōu)橹挥泻诎變煞N顏色的二值圖；
腐蝕的作用是將黑色的區(qū)域 擴(kuò)大底扳，這樣铸抑，相鄰的黑色區(qū)域就會(huì)連在一起，便于將號(hào)碼的區(qū)域隔離出來衷模；
邊緣檢測(cè)的作用就是獲取各個(gè)黑色區(qū)域的值
最后通過比較各個(gè)黑色區(qū)域的特點(diǎn)鹊汛，就可以將號(hào)碼的區(qū)域分離出來，得到號(hào)碼區(qū)域的值阱冶，再從原圖中截取號(hào)碼區(qū)域即可刁憋。
在處理之前，先要將UIImage類型轉(zhuǎn)換為OpenCV中的圖像類型：Mat
UIImageToMat()
2木蹬、識(shí)別
識(shí)別就比較簡單了至耻，代碼基本上都是從Demo中拷貝的，選擇好語言镊叁，將圖片作為參數(shù)傳入有梆，就可以返回識(shí)別的內(nèi)容。
/*
tesseract 圖像識(shí)別 block回調(diào)識(shí)別結(jié)果
*/
- (void)tesseractRecognizeImage:(UIImage *)image complete:(void(^)(NSString *resultNum,UIImage *image))complete{
dispatch_async(dispatch_get_global_queue(DISPATCH_QUEUE_PRIORITY_BACKGROUND, 0), ^{
G8Tesseract *tesseract = [[G8Tesseract alloc] initWithLanguage:@"eng"];
tesseract.image = [image g8_blackAndWhite];
tesseract.image = image;
// Start the recognition
[tesseract recognize];
dispatch_async(dispatch_get_main_queue(), ^{
//執(zhí)行回調(diào)
complete(tesseract.recognizedText,image);
});
});
}
總結(jié)：
關(guān)于圖像識(shí)別意系，最關(guān)鍵的應(yīng)該就是處理的環(huán)節(jié)了泥耀，在以上的代碼中，所做的處理比較簡單蛔添，所以對(duì)照片的要求比較高痰催，拍照時(shí)兜辞，身份證的背景為純白色，識(shí)別的幾率為更高夸溶。
關(guān)于OpenCV逸吵，其中還有好多對(duì)圖像處理的方法，使用OpenCV對(duì)圖像進(jìn)行最合適的預(yù)處理缝裁，可以很大程度的提高識(shí)別概率扫皱。
