OCR

檢測

CTPN

image.png

文本檢測與一般的目標(biāo)檢測有所區(qū)別抗楔,比如文本沒有精確而閉合的邊緣俊扭,單個字符目標(biāo)窄队橙,但是整體文本串(文本行)又比較長。針對這個特點(diǎn)萨惑,研究者提出CTPN框架捐康,通過檢測行方向上寬度固定的文本提高定位精度,然后對相鄰行進(jìn)行合并來獲取檢測結(jié)果庸蔼。

TextBoxes

針對文本行一般比較長的特點(diǎn)解总,TextBoxes使用SSD框架,并修改Defult Box中的長寬比以及卷積核的大小姐仅,本質(zhì)上依然是使用SSD進(jìn)行檢測花枫。

R2CNN

針對的是大多數(shù)文本檢測場景中刻盐,文本都是存在傾斜方向的,因此如果檢測框沒有方向就不能夠達(dá)到很精確劳翰,R2CNN框架(Rotational Region CNN)就是將最后的檢測box定義為一個帶方向的box,另外同時也預(yù)測一個無方向(即水平)的框來包裹有方向的box隙疚。

EAST

image.png

基于Densebox的旋轉(zhuǎn)文本檢測框架,與R2CNN不同之處在于磕道,它不是在最終box回歸的時候輸出旋轉(zhuǎn)框供屉,而是使用多個通道來預(yù)測旋轉(zhuǎn)信息,比如4個通道預(yù)測邊界距離溺蕉,一個通道預(yù)測旋轉(zhuǎn)角度伶丐。

把完整文本行先分割檢測再合并的思路,做法比較麻煩疯特,把文本檢測切割成多階段來進(jìn)行哗魂,增大了文本檢測精度的損失和時間消耗,中間處理影響效果漓雅。(候選框選取录别,候選框過濾,bbox回歸邻吞,候選框合并)

  1. 通過FCN結(jié)構(gòu)的網(wǎng)絡(luò)直接學(xué)習(xí)是不是文本框以及文本框的坐標(biāo)和角度
  2. 局部感知NMS(先合并再NMS)组题,降低了NMS的復(fù)雜度。
  3. 精度和速度都有所提高
    缺點(diǎn):感受野不大抱冷,對于長文本檢測不是很好崔列,比較適合短文本行檢測
    AdvancedEAST:score map -> 文本頭部、中部和尾部三部分旺遮,沒有從根本上解決長文本檢測赵讯。

RRPN

基于Faster RCNN的一個旋轉(zhuǎn)文本檢測框架,與R2CNN和EAST不同的是耿眉,它采用了帶方向的Region Proposal 和ROI polling边翼,因此它本身就可以輸出帶方向的目標(biāo)框。

SegLink

針對有些文本非常長鸣剪,anchor box不一定能夠很好的覆蓋到的問題组底,SegLink基于SSD框架進(jìn)行改進(jìn),首先檢測局部片段西傀,然后通過規(guī)則將所有的片段進(jìn)行連接斤寇,得到最終的文本行,這樣做的好處在于可以檢測任意長度的文本行拥褂。
特點(diǎn):

  1. 與CTPN思想類似娘锁,都是先找出文本行的一部分,然后再連接所有的部分饺鹃,組成一個完整的文本行莫秆;
  2. 在SSD基礎(chǔ)上加入了旋轉(zhuǎn)角度的學(xué)習(xí)间雀;
    在小部分文本框之前用連接線(相鄰框的中點(diǎn)連線)來表示屬不屬于同一個文本框,也是用網(wǎng)絡(luò)來學(xué)習(xí)镊屎;
  3. 使用融合規(guī)則將各個階段的框信息和線信息進(jìn)行融合惹挟,組成文本行。
    缺點(diǎn):
    不能檢測間隔很大的文本行缝驳,不能檢測彎曲文本

PSEnet

image.png

亮點(diǎn):漸進(jìn)式擴(kuò)展算法

  1. 是一個基于像素分割的方法连锯,能夠精確地定位任意形狀的文本實(shí)例;
    提出了漸進(jìn)式擴(kuò)展算法用狱,即使兩個文本實(shí)例離得很近也可以分開运怖,從而保證文本實(shí)例的準(zhǔn)確位置
  2. 從最小尺度的kernels開始擴(kuò)展,最小的kernels可以把緊靠的文本實(shí)例分開夏伊;逐漸擴(kuò)展到更大的kernels摇展;直到擴(kuò)展到最大的kernels,組成最終的結(jié)果溺忧。
    缺點(diǎn):對于不同的數(shù)據(jù)集咏连,超參數(shù)的選取較為重要(最小尺度比例和分割結(jié)果數(shù))。

LSAE

image.png

亮點(diǎn):嵌入形狀感知

  1. 分離緊靠的文本實(shí)例
  2. 解決文本行過長的問題
    使用輸出的三個結(jié)果做聚類

ATRR

image.png

使用LSTM網(wǎng)絡(luò)學(xué)習(xí)應(yīng)該使用多少個點(diǎn)來表示文本框鲁森。

類似于Faster-RCNN祟滴,增加了基于自適應(yīng)文本表示的LSTM分支。

CRAFT

image.png

通過精確的定位每一個字符刀森,然后再把檢測到的字符連接成一個文本踱启。

  1. 生成兩部分GT报账,字符框 + 親和框(同一文本框中的相鄰字符)研底,使用高斯熱圖
  2. 字符感知方法,只需要很小的感受野就可以了處理長的彎曲文本
    缺點(diǎn):對粘連字符的檢測效果不好透罢;對標(biāo)注數(shù)據(jù)的要求高榜晦;使用弱監(jiān)督學(xué)習(xí)生成偽GT造成的損失;訓(xùn)練復(fù)雜羽圃,需要先進(jìn)行弱監(jiān)督訓(xùn)練得到字符級標(biāo)注框乾胶,再訓(xùn)練網(wǎng)絡(luò)。

識別

參考鏈接:

  1. https://zhuanlan.zhihu.com/p/85545272
  2. https://blog.csdn.net/m0_38007695/article/details/100133117
最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
  • 序言:七十年代末朽寞,一起剝皮案震驚了整個濱河市识窿,隨后出現(xiàn)的幾起案子,更是在濱河造成了極大的恐慌脑融,老刑警劉巖喻频,帶你破解...
    沈念sama閱讀 217,826評論 6 506
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件,死亡現(xiàn)場離奇詭異肘迎,居然都是意外死亡甥温,警方通過查閱死者的電腦和手機(jī)锻煌,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 92,968評論 3 395
  • 文/潘曉璐 我一進(jìn)店門,熙熙樓的掌柜王于貴愁眉苦臉地迎上來姻蚓,“玉大人宋梧,你說我怎么就攤上這事≌玻” “怎么了捂龄?”我有些...
    開封第一講書人閱讀 164,234評論 0 354
  • 文/不壞的土叔 我叫張陵,是天一觀的道長加叁。 經(jīng)常有香客問我跺讯,道長,這世上最難降的妖魔是什么殉农? 我笑而不...
    開封第一講書人閱讀 58,562評論 1 293
  • 正文 為了忘掉前任刀脏,我火速辦了婚禮,結(jié)果婚禮上超凳,老公的妹妹穿的比我還像新娘愈污。我一直安慰自己,他們只是感情好轮傍,可當(dāng)我...
    茶點(diǎn)故事閱讀 67,611評論 6 392
  • 文/花漫 我一把揭開白布暂雹。 她就那樣靜靜地躺著,像睡著了一般创夜。 火紅的嫁衣襯著肌膚如雪杭跪。 梳的紋絲不亂的頭發(fā)上,一...
    開封第一講書人閱讀 51,482評論 1 302
  • 那天驰吓,我揣著相機(jī)與錄音涧尿,去河邊找鬼。 笑死檬贰,一個胖子當(dāng)著我的面吹牛姑廉,可吹牛的內(nèi)容都是我干的。 我是一名探鬼主播翁涤,決...
    沈念sama閱讀 40,271評論 3 418
  • 文/蒼蘭香墨 我猛地睜開眼桥言,長吁一口氣:“原來是場噩夢啊……” “哼!你這毒婦竟也來了葵礼?” 一聲冷哼從身側(cè)響起号阿,我...
    開封第一講書人閱讀 39,166評論 0 276
  • 序言:老撾萬榮一對情侶失蹤,失蹤者是張志新(化名)和其女友劉穎鸳粉,沒想到半個月后扔涧,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體,經(jīng)...
    沈念sama閱讀 45,608評論 1 314
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡赁严,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 37,814評論 3 336
  • 正文 我和宋清朗相戀三年扰柠,在試婚紗的時候發(fā)現(xiàn)自己被綠了粉铐。 大學(xué)時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片。...
    茶點(diǎn)故事閱讀 39,926評論 1 348
  • 序言:一個原本活蹦亂跳的男人離奇死亡卤档,死狀恐怖蝙泼,靈堂內(nèi)的尸體忽然破棺而出,到底是詐尸還是另有隱情劝枣,我是刑警寧澤汤踏,帶...
    沈念sama閱讀 35,644評論 5 346
  • 正文 年R本政府宣布,位于F島的核電站舔腾,受9級特大地震影響溪胶,放射性物質(zhì)發(fā)生泄漏。R本人自食惡果不足惜稳诚,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 41,249評論 3 329
  • 文/蒙蒙 一哗脖、第九天 我趴在偏房一處隱蔽的房頂上張望。 院中可真熱鬧扳还,春花似錦才避、人聲如沸。這莊子的主人今日做“春日...
    開封第一講書人閱讀 31,866評論 0 22
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽。三九已至俏让,卻和暖如春楞遏,著一層夾襖步出監(jiān)牢的瞬間,已是汗流浹背首昔。 一陣腳步聲響...
    開封第一講書人閱讀 32,991評論 1 269
  • 我被黑心中介騙來泰國打工寡喝, 沒想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留,地道東北人沙廉。 一個月前我還...
    沈念sama閱讀 48,063評論 3 370
  • 正文 我出身青樓拘荡,卻偏偏與公主長得像,于是被迫代替她去往敵國和親撬陵。 傳聞我的和親對象是個殘疾皇子,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 44,871評論 2 354