前面提到了用CNN來(lái)做OCR。這篇文章介紹另一種做OCR的方法，就是通過(guò)LSTM＋CTC消返。這種方法的好處是他可以事先不用知道一共有幾個(gè)字符需要識(shí)別。之前我試過(guò)不用CTC耘拇，只用LSTM撵颊，效果一直不行，后來(lái)下決心加上CTC惫叛，效果一下就上去了倡勇。
CTC是序列標(biāo)志的一個(gè)重要算法，它主要解決了label對(duì)齊的問(wèn)題嘉涌。有很多實(shí)現(xiàn)妻熊。百度IDL在16年初公開(kāi)了一個(gè)GPU的實(shí)現(xiàn)，號(hào)稱速度比之前的theano-ctc, stanford-ctc都要快仑最。Mxnet目前還沒(méi)有ctc的實(shí)現(xiàn)扔役，因此決定吧warpctc集成進(jìn)mxnet。
根據(jù)issue里作者們的建議警医，決定和集成torch一樣亿胸，寫(xiě)一個(gè)plugin，因此C++代碼放在plugin/warpctc目錄中。整個(gè)集成任務(wù)其實(shí)就是寫(xiě)一個(gè)wrapctc的op损敷。代碼在 plugin/warpctc/warpctc-inl.h.
CTC這一層其實(shí)和SoftmaxOutput很像葫笼。其實(shí)他們的forward的實(shí)現(xiàn)就是一模一樣的。唯一的差別就是backward中g(shù)rad的實(shí)現(xiàn)拗馒，在這里需要調(diào)用warpctc的compute_ctc_loss函數(shù)來(lái)計(jì)算梯度路星。實(shí)際上warpctc的主要接口也就是這個(gè)函數(shù)。
下面說(shuō)說(shuō)具體怎么用lstm+ctc來(lái)做ocr的任務(wù)诱桂。詳細(xì)的代碼在 examples/warpctc/lstm_ocr.py洋丐。這里只說(shuō)說(shuō)大體思路。
假設(shè)我們要解決的是4位數(shù)字的識(shí)別挥等，圖片是80*30的圖片友绝。那么我們就將每張圖片按列切分成80個(gè)30維的向量。然后作為一個(gè)lstm的80個(gè)輸入肝劲。一個(gè)lstm的輸出和輸入數(shù)目應(yīng)該是相同的迁客。而我們的預(yù)測(cè)目標(biāo)卻只有4個(gè)數(shù)字。而不是80個(gè)數(shù)字辞槐。在沒(méi)有用ctc時(shí)我想了兩個(gè)解決方案掷漱。第一個(gè)是用encode-decode模式。也就是80個(gè)輸入做encode榄檬，然后decode成4個(gè)輸出卜范。實(shí)測(cè)效果很挫。第二個(gè)是把4個(gè)label每個(gè)copy20遍鹿榜，從而變成80個(gè)label海雪。實(shí)測(cè)也很挫。沒(méi)辦法舱殿，最后只能用ctc loss了奥裸。
用ctc loss的體會(huì)就是，如果input的長(zhǎng)度遠(yuǎn)遠(yuǎn)大于label的長(zhǎng)度怀薛，比如我這里是80和4的關(guān)系刺彩。那么一開(kāi)始的收斂會(huì)比較慢。在其中有一段時(shí)間cost幾乎不變枝恋。此刻一定要有耐心创倔，最終一定會(huì)收斂的。在ocr識(shí)別的這個(gè)例子上最終可以收斂到95%的精度焚碌。
目前代碼還在等待merge畦攘。pull request。
－－－－－－－－－－－－－－－
歡迎關(guān)注 微信公眾號(hào)【ResysChina】
