身份證識(shí)別午衰，又稱(chēng)OCR技術(shù)立宜。OCR技術(shù)是光學(xué)字符識(shí)別的縮寫(xiě)，是通過(guò)掃描等光學(xué)輸入方式將各種票據(jù)臊岸、報(bào)刊橙数、書(shū)籍、文稿及其它印刷品的文字轉(zhuǎn)化為圖像信息帅戒，再利用文字識(shí)別技術(shù)將圖像信息轉(zhuǎn)化為可以使用的計(jì)算機(jī)輸入技術(shù)灯帮。
身份證識(shí)別需要用到的技術(shù)：
圖像處理技術(shù)
包括灰度化處理，二值化逻住，腐蝕钟哥，輪廊檢測(cè)等等。
-
灰度化處理
圖片灰度化處理就是將指定圖片每個(gè)像素點(diǎn)的RGB三個(gè)分量通過(guò)一定的算法計(jì)算出該像素點(diǎn)的灰度值瞎访，使圖像只含亮度而不含色彩信息腻贰。
-
二值化
二值化處理就是將經(jīng)過(guò)灰度化處理的圖片轉(zhuǎn)換為只包含黑色和白色兩種顏色的圖像，他們之間沒(méi)有其他灰度的變化扒秸。在二值圖中用255便是白色播演，0表示黑色。
-
腐蝕
圖片的腐蝕就是將得到的二值圖中的黑色塊進(jìn)行放大鸦采。即連接圖片中相鄰黑色像素點(diǎn)的元素宾巍。通過(guò)腐蝕可以把身份證上的身份證號(hào)碼連接在一起形成一個(gè)矩形區(qū)域。
-
輪廊檢測(cè)
圖片經(jīng)過(guò)腐蝕操作后相鄰點(diǎn)會(huì)連接在一起形成一個(gè)大的區(qū)域渔伯，這個(gè)時(shí)候通過(guò)輪廊檢測(cè)就可以把每個(gè)大的區(qū)域找出來(lái)顶霞，這樣就可以定位到身份證上面號(hào)碼的區(qū)域。
-
文字識(shí)別技術(shù)
通過(guò)識(shí)別圖像锣吼，將圖像信息轉(zhuǎn)化為可以使用的計(jì)算機(jī)輸入技術(shù)选浑。比如下面這張包含一串?dāng)?shù)字的圖片，通過(guò)ocr識(shí)別技術(shù)可以將圖片中包含的數(shù)字信息以字符串的方式輸出玄叠。
使用的開(kāi)源框架有：OpenCV和TesseractOCRiOS
OpenCV（完成圖像處理技術(shù)）
OpenCV是一個(gè)開(kāi)源的跨平臺(tái)計(jì)算機(jī)視覺(jué)和機(jī)器學(xué)習(xí)庫(kù)姻成，通俗點(diǎn)的說(shuō)，就是他給計(jì)算機(jī)提供了一雙眼睛勺三，一雙可以從圖片中獲取信息的眼鏡囤采，從而完成人臉識(shí)別代态、身份證識(shí)別、去紅眼疹吃、追蹤移動(dòng)物體等等的圖像相關(guān)的功能蹦疑。
TesseractOCRiOS（完成文字識(shí)別技術(shù)）
Tesseract是目前可用的最準(zhǔn)確的開(kāi)源OCR引擎，可以讀取各種格式的圖片并將他們轉(zhuǎn)換成各種語(yǔ)言文本萨驶。而TesseractOCRiOS則是針對(duì)iOS平臺(tái)封裝的Tesseract引擎庫(kù)歉摧。
項(xiàng)目演示：
1.創(chuàng)建一個(gè)項(xiàng)目
2.使用Cocoapods導(dǎo)入OpenCV和TesseractOCRiOS
注意：OpenCV庫(kù)比較大，導(dǎo)入時(shí)間較長(zhǎng)
3.因?yàn)閷?dǎo)入的庫(kù)不支持Bitcode機(jī)制腔呜，所以需要將TARGETS->Build Setting-> Enable Bitcode設(shè)置為NO
4.導(dǎo)入TesseractOCRiOS需要的語(yǔ)言包
TesseractOCRiOS庫(kù)中沒(méi)有自帶的語(yǔ)言包叁温，需要我們自己手動(dòng)導(dǎo)入，我們這里直接到tesseract-ocr 網(wǎng)站核畴，tessdata即是我們需要用到的語(yǔ)言包膝但。下載下來(lái)的語(yǔ)言包有400多兆。這里我們只需要用到英語(yǔ)語(yǔ)言包谤草，所以就只導(dǎo)入eng.traineddata就可以了锰镀。
注意：1.語(yǔ)言包需要放在tessdata目錄下。TesseractOCRiOS中查找語(yǔ)言包是在tessdata目錄下進(jìn)行查找的咖刃，所以我們不能單獨(dú)把eng.traineddata導(dǎo)入項(xiàng)目中泳炉，而需要放在tessdata目錄下導(dǎo)入項(xiàng)目中。
2.將tessdata導(dǎo)入xcode項(xiàng)目嚎杨，需要勾選Create folder refrences花鹅。上面已經(jīng)提到了語(yǔ)言包需要放在tessdata目錄下，所以導(dǎo)入文件到xcode的時(shí)候需要?jiǎng)?chuàng)建文件夾的形式枫浙，而不是創(chuàng)建組的形式刨肃。
5.創(chuàng)建一個(gè)CardManager類(lèi)來(lái)管理身份證識(shí)別的相關(guān)代碼
由于OpenCV和TesseractOCRiOS庫(kù)都是基于c++編寫(xiě)的，所以需要把RecogizeCardManager.m后綴的.m改成.mm
.h文件
#import <Foundation/Foundation.h>
@class UIImage;
typedef void (^CompleateBlock)(NSString *text);
@interface FQIDCardManager : NSObject
/**
* 初始化一個(gè)單例
*
* @return 返回一個(gè)RecogizeCardManager的實(shí)例對(duì)象
*/
+ (instancetype)fqIDCardManager;
/**
* 根據(jù)身份證照片得到身份證號(hào)碼
*
* @param cardImage 傳入的身份證照片
* @param compleate 識(shí)別完成后的回調(diào)
*/
- (void)FQIDCardWithImage:(UIImage *)cardImage compleate:(CompleateBlock)compleate;
- (UIImage *)opencvScanCard:(UIImage *)image;
@end
.mm文件
#import "FQIDCardManager.h"
#import <opencv2/opencv.hpp>
#import <opencv2/imgproc/types_c.h>
#import <opencv2/imgcodecs/ios.h>
#import <TesseractOCR/TesseractOCR.h>
@implementation FQIDCardManager
+ (instancetype)fqIDCardManager {
static FQIDCardManager *fqIDCardManager = nil;
static dispatch_once_t onceToken;
dispatch_once(&onceToken, ^{
fqIDCardManager = [[FQIDCardManager alloc] init];
});
return fqIDCardManager;
}
- (void)FQIDCardWithImage:(UIImage *)cardImage compleate:(CompleateBlock)compleate {
//掃描身份證圖片箩帚，并進(jìn)行預(yù)處理真友，定位號(hào)碼區(qū)域圖片并返回
UIImage *numberImage = [self opencvScanCard:cardImage];
if (numberImage == nil) {
compleate(nil);
}
//利用TesseractOCR識(shí)別文字
[self tesseractRecognizeImage:numberImage compleate:^(NSString *numbaerText) {
compleate(numbaerText);
}];
}
//掃描身份證圖片，并進(jìn)行預(yù)處理紧帕，定位號(hào)碼區(qū)域圖片并返回
- (UIImage *)opencvScanCard:(UIImage *)image {
//將UIImage轉(zhuǎn)換成Mat
cv::Mat resultImage;
UIImageToMat(image, resultImage);
//轉(zhuǎn)為灰度圖
cvtColor(resultImage, resultImage, cv::COLOR_BGR2GRAY);
//利用閾值二值化
cv::threshold(resultImage, resultImage, 100, 255,CV_THRESH_BINARY);
//腐蝕盔然，填充（腐蝕是讓黑色點(diǎn)變大）
cv::Mat erodeElement = getStructuringElement(cv::MORPH_RECT, cv::Size(26,26));
cv::erode(resultImage, resultImage, erodeElement);
//輪廊檢測(cè)
std::vector<std::vector<cv::Point>> contours;//定義一個(gè)容器來(lái)存儲(chǔ)所有檢測(cè)到的輪廊
cv::findContours(resultImage, contours, CV_RETR_TREE, CV_CHAIN_APPROX_SIMPLE, cvPoint(0, 0));
//取出身份證號(hào)碼區(qū)域
std::vector<cv::Rect> rects;
cv::Rect numberRect = cv::Rect(0,0,0,0);
std::vector<std::vector<cv::Point>>::const_iterator itContours = contours.begin();
for ( ; itContours != contours.end(); ++itContours) {
cv::Rect rect = cv::boundingRect(*itContours);
rects.push_back(rect);
//算法原理
if (rect.width > numberRect.width && rect.width > rect.height * 5) {
numberRect = rect;
}
}
//身份證號(hào)碼定位失敗
if (numberRect.width == 0 || numberRect.height == 0) {
return nil;
}
//定位成功成功，去原圖截取身份證號(hào)碼區(qū)域是嗜，并轉(zhuǎn)換成灰度圖愈案、進(jìn)行二值化處理
cv::Mat matImage;
UIImageToMat(image, matImage);
resultImage = matImage(numberRect);
cvtColor(resultImage, resultImage, cv::COLOR_BGR2GRAY);
cv::threshold(resultImage, resultImage, 80, 255, CV_THRESH_BINARY);
//將Mat轉(zhuǎn)換成UIImage
UIImage *numberImage = MatToUIImage(resultImage);
return numberImage;
}
//利用TesseractOCR識(shí)別文字
- (void)tesseractRecognizeImage:(UIImage *)image compleate:(CompleateBlock)compleate {
dispatch_async(dispatch_get_global_queue(DISPATCH_QUEUE_PRIORITY_BACKGROUND, 0), ^{
G8Tesseract *tesseract = [[G8Tesseract alloc] initWithLanguage:@"eng"];
tesseract.image = [image g8_blackAndWhite];
tesseract.image = image;
// Start the recognition
[tesseract recognize];
//執(zhí)行回調(diào)
compleate(tesseract.recognizedText);
});
}
@end
6.編寫(xiě)識(shí)別界面代碼
.m具體實(shí)現(xiàn)代碼
#import "FQViewController.h"
#import "FQIDCardManager.h"
@interface FQViewController ()<UINavigationControllerDelegate,UIImagePickerControllerDelegate>
@property (weak, nonatomic) IBOutlet UIImageView *imgView;
@property (weak, nonatomic) IBOutlet UILabel *textLabel;
- (IBAction)cameraAction:(id)sender;
- (IBAction)photoAction:(id)sender;
@end
@implementation FQViewController
{
UIImagePickerController *imgagePickController;
}
- (void)viewDidLoad {
[super viewDidLoad];
self.imgView.contentMode = UIViewContentModeScaleAspectFit;
imgagePickController = [[UIImagePickerController alloc] init];
imgagePickController.delegate = self;
imgagePickController.modalTransitionStyle = UIModalTransitionStyleFlipHorizontal;
imgagePickController.allowsEditing = YES;
}
- (void)didReceiveMemoryWarning {
[super didReceiveMemoryWarning];
// Dispose of any resources that can be recreated.
}
//拍照
- (IBAction)cameraAction:(id)sender {
//判斷是否可以打開(kāi)照相機(jī)
if ([UIImagePickerController isSourceTypeAvailable:UIImagePickerControllerSourceTypeCamera]) {
imgagePickController.sourceType = UIImagePickerControllerSourceTypeCamera;
//設(shè)置攝像頭模式（拍照，錄制視頻）為拍照
imgagePickController.cameraCaptureMode = UIImagePickerControllerCameraCaptureModePhoto;
[self presentViewController:imgagePickController animated:YES completion:nil];
} else {
UIAlertView *alert = [[UIAlertView alloc] initWithTitle:@"提示" message:@"設(shè)備不能打開(kāi)相機(jī)" delegate:self cancelButtonTitle:@"知道了" otherButtonTitles: nil];
[alert show];
}
}
//相冊(cè)
- (IBAction)photoAction:(id)sender {
imgagePickController.sourceType = UIImagePickerControllerSourceTypePhotoLibrary;
[self presentViewController:imgagePickController animated:YES completion:nil];
}
#pragma mark - UIImagePickerControllerDelegate
//適用獲取所有媒體資源鹅搪，只需判斷資源類(lèi)型
- (void)imagePickerController:(UIImagePickerController *)picker didFinishPickingMediaWithInfo:(NSDictionary<NSString *,id> *)info{
NSString *mediaType=[info objectForKey:UIImagePickerControllerMediaType];
UIImage *srcImage = nil;
//判斷資源類(lèi)型
if ([mediaType isEqualToString:@"public.image"]){
srcImage = info[UIImagePickerControllerEditedImage];
self.imgView.image = srcImage;
//識(shí)別身份證
self.textLabel.text = @"圖片插入成功站绪，正在識(shí)別中...";
[[FQIDCardManager fqIDCardManager] FQIDCardWithImage:srcImage compleate:^(NSString *text) {
if (text != nil) {
self.textLabel.text = [NSString stringWithFormat:@"識(shí)別結(jié)果：%@",text];
}else {
self.textLabel.text = @"請(qǐng)選擇照片";
UIAlertView *alert = [[UIAlertView alloc] initWithTitle:@"提示" message:@"照片識(shí)別失敗，請(qǐng)選擇清晰丽柿、沒(méi)有復(fù)雜背景的身份證照片重試恢准！" delegate:self cancelButtonTitle:@"知道了" otherButtonTitles: nil];
[alert show];
}
}];
}
[self dismissViewControllerAnimated:YES completion:nil];
}
//進(jìn)入拍攝頁(yè)面點(diǎn)擊取消按鈕
- (void)imagePickerControllerDidCancel:(UIImagePickerController *)picker {
[self dismissViewControllerAnimated:YES completion:nil];
}
@end
總結(jié):
??通過(guò)上面的實(shí)驗(yàn)魂挂，該程序?qū)ι矸葑C識(shí)別的正確率幾乎可以達(dá)到90%，剩下的10%主要取決于圖像的預(yù)處理馁筐，預(yù)處理程序是整個(gè)識(shí)別系統(tǒng)的關(guān)鍵所在锰蓬。該系統(tǒng)的原理同樣也適用于獲取身份證上其他的信息，也可以應(yīng)用于銀行卡眯漩、車(chē)牌號(hào)等的識(shí)別。最后針對(duì)實(shí)現(xiàn)的效果進(jìn)行一步總結(jié)麻顶。
- 識(shí)別的正確率
主要取決于腐蝕赦抖、取出身份證號(hào)碼區(qū)域（輪廊提取）的算法這幾個(gè)關(guān)鍵點(diǎn)辅肾。 - 腐蝕
腐蝕的參數(shù)很重要队萤，關(guān)于腐蝕的一些介紹，可以參考這篇文章 腐蝕與膨脹(Eroding and Dilating) - 取出身份證號(hào)碼區(qū)域的算法（輪廊提冉玫觥）
所有的處理都是為了在圖片中定位到身份證號(hào)碼的區(qū)域要尔，輪廊提取就是這樣一個(gè)操作。篩選輪廊圖的算法很重要但是也是個(gè)難點(diǎn)新娜。我從這篇博客iOS身份證號(hào)碼識(shí)別中找到了思路赵辕。要提取身份證號(hào)碼區(qū)域的輪廊，算法的原理就是該輪廊的寬度是所有中最寬的概龄，且寬度的長(zhǎng)度必須大于高度的5倍还惠。
不過(guò)這個(gè)算法還是存在不少問(wèn)題。有的時(shí)候可能圖片背景比較復(fù)雜會(huì)影響到輪廊的檢測(cè)私杜，基于這個(gè)問(wèn)題：
一方面可以通過(guò)對(duì)圖片的預(yù)處理來(lái)進(jìn)行優(yōu)化蚕键，減少對(duì)檢測(cè)身份證號(hào)碼區(qū)域的干擾
第二個(gè)方面就是優(yōu)化算法。 - 識(shí)別速度
使用TesseractOCRiOS對(duì)比較清晰的文字進(jìn)行識(shí)別速度是比較快的衰粹，我試過(guò)用一張未經(jīng)處理的寫(xiě)著數(shù)字的圖片來(lái)處理锣光，識(shí)別速度小于5s。但經(jīng)過(guò)二值圖處理之后識(shí)別的速度就降低了铝耻，我認(rèn)為可以對(duì)二值化處理后的圖片進(jìn)一步處理誊爹，比如對(duì)二值圖進(jìn)行細(xì)化描出骨架，然后在對(duì)骨架做均勻的膨脹處理瓢捉，這樣得到的身份證號(hào)碼可能會(huì)清晰很多替废。
