PSEnet

1.核心思想

PSEnet是一種新的實例分割網(wǎng)絡舀患,它有兩方面的優(yōu)勢忆矛。首先,psenet作為一種基于分割的方法裕便,能夠?qū)θ我庑螤畹奈谋具M行定位绒净,其次,該模型提出了一種漸進的尺度擴展算法偿衰,該算法可以成功識別相鄰文本實例挂疆。PSEnet不僅適應任意角度的文本檢測,而且對近距離文本分割效果更好下翎。

從上圖(b)中可以看出基于回歸的方式不能對彎曲文本做出很好的定位缤言,而從(c)中可以看出基于語義分割的方式雖然可以定位彎曲文本,但是不容易將相鄰的文本區(qū)分開來视事。而(d)中采用本文提出的漸進式擴展算法能夠較好的定位彎曲文本胆萧,并且能將不同文本實例區(qū)分開來。 其具體采用的方式是首先預測每個文本行的不同kernels郑口,這些kernels和原始文本行具有同樣的形狀鸳碧,并且中心和原始文本行相同,但是在尺度上是逐漸遞增的犬性,最大的kernel就是原始文本行大小瞻离。之后對這些kernels采用bfs算法,首先從最小scale的kernel開始乒裆,逐步對它進行擴增到更大的kernel套利,最終擴增到原始文本行大小。而之所以這種方式能夠區(qū)分文本行邊緣像素,是因為對于最小scale的kernel肉迫,不同文本行是完全分離開的验辞,而在逐漸擴展的過程中是受上一級kernel監(jiān)督的,因此即使擴增到原始文本行大小也能夠?qū)⑦吘壪袼貐^(qū)分開來喊衫。

2.網(wǎng)絡結構

文章使用在ImageNet數(shù)據(jù)集上預訓練的Resnet+fpn作為特征提取的網(wǎng)絡結構

首先將高層特征和低層特征融合后得到(P2, P3, P4, P5)四個特征層跌造,其中每個特征層的channel數(shù)量為256。之后將四個特種層concat得到F族购, 其中F=C(P2,P3,P4,P5) = P2 || Upx2(P3) || Upx4(P4) || Upx8(P5)壳贪,其中的||就代表concat。x2,x4,x8分別代表2倍寝杖、4倍和8倍的上采樣违施。將F送入Conv(3,3)-BN-ReLU層,并將特征層的channel數(shù)量變?yōu)?56瑟幕。之后再將F送入多個Conv(1,1)-Up-Sigmod層來得到n個分割結果S1,S2,...Sn磕蒲,其中的Up代表上采樣。

3.漸進式擴展算法

漸進式擴展算法核心思想就是Breadth-First-Search(BFS)只盹,這里我們拿3個分割結果S={S1,S2,S3}來舉例辣往。

其中S1(上圖a)代表最小核的分割結果,它內(nèi)部有四個連通區(qū)域C={c1,c2,c3,c4}鹿霸。圖b將這四個連通區(qū)域使用不同顏色標記排吴。之后我們逐步判斷和C相鄰的像素是否在S2中,如果在懦鼠,則將其合并到圖b中钻哩,從而得到合并后的結果圖c。S3同理肛冶,最終我們抽取圖d中不同顏色標注的連通區(qū)域作為最后的文本行檢測結果街氢。

更多請參考原文鏈接:https://zhuanlan.zhihu.com/p/54767030

?著作權歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
  • 序言:七十年代末,一起剝皮案震驚了整個濱河市睦袖,隨后出現(xiàn)的幾起案子珊肃,更是在濱河造成了極大的恐慌,老刑警劉巖馅笙,帶你破解...
    沈念sama閱讀 212,599評論 6 492
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件伦乔,死亡現(xiàn)場離奇詭異,居然都是意外死亡董习,警方通過查閱死者的電腦和手機烈和,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 90,629評論 3 385
  • 文/潘曉璐 我一進店門,熙熙樓的掌柜王于貴愁眉苦臉地迎上來皿淋,“玉大人招刹,你說我怎么就攤上這事恬试。” “怎么了疯暑?”我有些...
    開封第一講書人閱讀 158,084評論 0 348
  • 文/不壞的土叔 我叫張陵训柴,是天一觀的道長。 經(jīng)常有香客問我妇拯,道長幻馁,這世上最難降的妖魔是什么? 我笑而不...
    開封第一講書人閱讀 56,708評論 1 284
  • 正文 為了忘掉前任越锈,我火速辦了婚禮宣赔,結果婚禮上,老公的妹妹穿的比我還像新娘瞪浸。我一直安慰自己,他們只是感情好吏祸,可當我...
    茶點故事閱讀 65,813評論 6 386
  • 文/花漫 我一把揭開白布对蒲。 她就那樣靜靜地躺著,像睡著了一般贡翘。 火紅的嫁衣襯著肌膚如雪蹈矮。 梳的紋絲不亂的頭發(fā)上,一...
    開封第一講書人閱讀 50,021評論 1 291
  • 那天鸣驱,我揣著相機與錄音泛鸟,去河邊找鬼。 笑死踊东,一個胖子當著我的面吹牛北滥,可吹牛的內(nèi)容都是我干的。 我是一名探鬼主播闸翅,決...
    沈念sama閱讀 39,120評論 3 410
  • 文/蒼蘭香墨 我猛地睜開眼再芋,長吁一口氣:“原來是場噩夢啊……” “哼!你這毒婦竟也來了坚冀?” 一聲冷哼從身側響起济赎,我...
    開封第一講書人閱讀 37,866評論 0 268
  • 序言:老撾萬榮一對情侶失蹤,失蹤者是張志新(化名)和其女友劉穎记某,沒想到半個月后司训,有當?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體,經(jīng)...
    沈念sama閱讀 44,308評論 1 303
  • 正文 獨居荒郊野嶺守林人離奇死亡液南,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點故事閱讀 36,633評論 2 327
  • 正文 我和宋清朗相戀三年壳猜,在試婚紗的時候發(fā)現(xiàn)自己被綠了。 大學時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片贺拣。...
    茶點故事閱讀 38,768評論 1 341
  • 序言:一個原本活蹦亂跳的男人離奇死亡蓖谢,死狀恐怖捂蕴,靈堂內(nèi)的尸體忽然破棺而出,到底是詐尸還是另有隱情闪幽,我是刑警寧澤啥辨,帶...
    沈念sama閱讀 34,461評論 4 333
  • 正文 年R本政府宣布,位于F島的核電站盯腌,受9級特大地震影響溉知,放射性物質(zhì)發(fā)生泄漏。R本人自食惡果不足惜腕够,卻給世界環(huán)境...
    茶點故事閱讀 40,094評論 3 317
  • 文/蒙蒙 一级乍、第九天 我趴在偏房一處隱蔽的房頂上張望。 院中可真熱鬧帚湘,春花似錦玫荣、人聲如沸。這莊子的主人今日做“春日...
    開封第一講書人閱讀 30,850評論 0 21
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽。三九已至资柔,卻和暖如春焙贷,著一層夾襖步出監(jiān)牢的瞬間,已是汗流浹背贿堰。 一陣腳步聲響...
    開封第一講書人閱讀 32,082評論 1 267
  • 我被黑心中介騙來泰國打工辙芍, 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留,地道東北人羹与。 一個月前我還...
    沈念sama閱讀 46,571評論 2 362
  • 正文 我出身青樓故硅,卻偏偏與公主長得像,于是被迫代替她去往敵國和親纵搁。 傳聞我的和親對象是個殘疾皇子契吉,可洞房花燭夜當晚...
    茶點故事閱讀 43,666評論 2 350