很多網(wǎng)站登錄都需要輸入驗(yàn)證碼姥闪，如果要實(shí)現(xiàn)自動(dòng)登錄就不可避免的要識(shí)別驗(yàn)證碼始苇。本文以一個(gè)真實(shí)網(wǎng)站的驗(yàn)證碼為例，實(shí)現(xiàn)了基于一下KNN的驗(yàn)證碼識(shí)別筐喳。
準(zhǔn)備工作
這里我們使用opencv做圖像處理催式，所以需要安裝下面兩個(gè)庫
pip3 install opencv-pythonpip3 install numpy
識(shí)別原理
我們采取一種有監(jiān)督式學(xué)習(xí)的方法來識(shí)別驗(yàn)證碼，包含以下幾個(gè)步驟
- 圖片處理 - 對(duì)圖片進(jìn)行降噪疏唾、二值化處理
- 切割圖片 - 將圖片切割成單個(gè)字符并保存
- 人工標(biāo)注 - 對(duì)切割的字符圖片進(jìn)行人工標(biāo)注蓄氧，作為訓(xùn)練集
- 訓(xùn)練數(shù)據(jù) - 用KNN算法訓(xùn)練數(shù)據(jù)
- 檢測(cè)結(jié)果 - 用上一步的訓(xùn)練結(jié)果識(shí)別新的驗(yàn)證碼
下面我們來逐一介紹一下每一步的過程，并給出具體的代碼實(shí)現(xiàn)槐脏。
圖片處理
先來看一下我們要識(shí)別的驗(yàn)證碼是長(zhǎng)什么樣的
可以看到，字符做了一些扭曲變換牌废。仔細(xì)觀察咽白，還可以發(fā)現(xiàn)圖片中間的部分添加了一些顆粒化的噪聲鸟缕。
我們先讀入圖片晶框，并將圖片轉(zhuǎn)成灰度圖，代碼如下
經(jīng)過上面的處理侵贵，我們的彩色圖片變成了下面這樣
將圖片做二值化處理宴胧，代碼如下
ret, im_inv = cv2.threshold(im_gray,127,255,cv2.THRESH_BINARY_INV)
127是我們?cè)O(shè)定的閾值漱抓，像素值大于127被置成了0，小于127的被置成了255恕齐。處理后的圖片變成了這樣
接下來，我們應(yīng)用高斯模糊對(duì)圖片進(jìn)行降噪追迟。高斯模糊的本質(zhì)是用高斯核和圖像做卷積溶其，代碼如下
降噪后的圖片如下
可以看到一些顆廖艉海化的噪聲被平滑掉了。
降噪后拴清，我們對(duì)圖片再做一輪二值化處理
ret, im_res = cv2.threshold(im_blur,127,255,cv2.THRESH_BINARY)
現(xiàn)在圖片變成了這樣
好了，接下來沪停，我們要開始切割圖片了煤辨。
切割圖片
這一步是所有步驟里最復(fù)雜的一步。我們的目標(biāo)是把最開始的圖片切割成單個(gè)字符木张，并把每個(gè)字符保存成如下的灰度圖
首先我們用opencv的findContours來提取輪廓
im2, contours, hierarchy = cv2.findContours(im_res, cv2.RETR_EXTERNAL, cv2.CHAIN_APPROX_SIMPLE)
我們把提取的輪廓用矩形框起來，畫出來是這樣的
可以看到泳挥，每個(gè)字符都被檢測(cè)出來了。
但這只是理想情況至朗，很多時(shí)候屉符，相鄰字符有粘連的會(huì)被識(shí)別成同一個(gè)字符，比如像下面的情況
要處理這種情況吨艇，我們就要對(duì)上面的圖片做進(jìn)一步的分割躬它。字符粘連會(huì)有下面幾種情況，我們逐一來看下該怎么處理东涡。
4個(gè)字符被識(shí)別成3個(gè)字符
這種情況，對(duì)粘連的字符輪廓祖娘，從中間進(jìn)行分割失尖，代碼如下
分割后整以，圖片變成了這樣
4個(gè)字符被識(shí)別成2個(gè)字符
4個(gè)字符被識(shí)別成2個(gè)字符有下面兩種情況
對(duì)第一種情況暇仲，對(duì)于左右兩個(gè)輪廓，從中間分割即可副渴。對(duì)第二種情況奈附，將包含了3個(gè)字符的輪廓在水平方向上三等分。具體代碼如下
分割后的圖片如下
4個(gè)字符被識(shí)別成1個(gè)字符
這種情況對(duì)輪廓在水平方向上做4等分即可舆逃，代碼如下
對(duì)圖片分割完成后砸抛，我們將分割后的單個(gè)字符的圖片存成不同的圖片文件，以便下一步做人工標(biāo)注树枫。存取字符圖片的代碼如下
字符圖片保存在名為char的目錄下面，這個(gè)目錄里的文件大致是長(zhǎng)這樣的（文件名用時(shí)間戳命名搔涝，確保不會(huì)重名）
接下來，我們開始標(biāo)注數(shù)據(jù)抒痒。
人工標(biāo)注
這一步是所有步驟里最耗費(fèi)體力的一步了幌绍。為節(jié)省時(shí)間，我們?cè)诔绦蚶镆来未蜷_char目錄中的每張圖片，鍵盤輸入字符名傀广，程序讀取鍵盤輸入并將字符名保存在文件名里颁独。代碼如下
這里一共標(biāo)注了大概800張字符圖片贮聂，標(biāo)注的結(jié)果存在名為label的目錄下靠柑，目錄下的文件是這樣的（文件名由原文件名+標(biāo)注名組成）
接下來耻警，我們開始訓(xùn)練數(shù)據(jù)隔嫡。
訓(xùn)練數(shù)據(jù)
首先，我們從label目錄中加載已標(biāo)注的數(shù)據(jù)
接下來秸滴，訓(xùn)練我們的模型
model = cv2.ml.KNearest_create()model.train(samples, cv2.ml.ROW_SAMPLE, label_ids)
訓(xùn)練完，我們用這個(gè)模型來識(shí)別一下新的驗(yàn)證碼妨托。
檢測(cè)結(jié)果
下面是我們要識(shí)別的驗(yàn)證碼
對(duì)于每一個(gè)要識(shí)別的驗(yàn)證碼，我們都需要對(duì)圖片做降噪敦腔、二值化均澳、分割的處理（代碼和上面的一樣，這里不再重復(fù)）符衔。假設(shè)處理后的圖片存在變量im_res中找前，分割后的字符的輪廓信息存在變量boxes中，識(shí)別驗(yàn)證碼的代碼如下
運(yùn)行上面的代碼槽惫，可以看到程序輸出
yy4e
圖片中的驗(yàn)證碼被成功地識(shí)別出來周叮。
我們測(cè)試了下識(shí)別的準(zhǔn)確率，取100張驗(yàn)證碼圖片（存在test目錄下）進(jìn)行識(shí)別界斜，識(shí)別的準(zhǔn)確率約為82%仿耽。看到有人說用神經(jīng)網(wǎng)絡(luò)識(shí)別驗(yàn)證碼各薇，準(zhǔn)確率可以達(dá)到90%以上项贺，下次有機(jī)會(huì)可以嘗試一下。
