文獻(xiàn)編號(hào)：4

文獻(xiàn)著作信息：

https://arxiv.org/pdf/2205.03873.pdf
目前無代碼——略讀摘要和結(jié)論类少，了解圖片

研究主題：

Scene Text Recognition 【STR】
Semi-Supervised

半監(jiān)督學(xué)習(xí)(Semi-Supervised Learning，SSL)是模式識(shí)別和機(jī)器學(xué)習(xí)領(lǐng)域研究的重點(diǎn)問題戒幔，是監(jiān)督學(xué)習(xí)與無監(jiān)督學(xué)習(xí)相結(jié)合的一種學(xué)習(xí)方法。半監(jiān)督學(xué)習(xí)使用大量的未標(biāo)記數(shù)據(jù)羊始，以及同時(shí)使用標(biāo)記數(shù)據(jù)侠畔，來進(jìn)行模式識(shí)別工作。當(dāng)使用半監(jiān)督學(xué)習(xí)時(shí)幌缝，將會(huì)要求盡量少的人員來從事工作霎终，同時(shí)滞磺，又能夠帶來比較高的準(zhǔn)確性，因此莱褒，半監(jiān)督學(xué)習(xí)正越來越受到人們的重視

Contrastive Learning
Consistency Regularization
Teacher Student

收獲

SeqCLR提出的增強(qiáng)管道主要是為手寫體文本圖像設(shè)計(jì)的

研究問題：

現(xiàn)實(shí)世界的圖像數(shù)量不足以訓(xùn)練場(chǎng)景文本識(shí)別器【例如Textzoom在hard模式下的識(shí)別準(zhǔn)確率僅有不到40%】
所以主流都是大規(guī)模合成數(shù)據(jù)和自監(jiān)督

真實(shí)世界圖片很多击困，標(biāo)記的很少，想利用這些就得半監(jiān)督，那

研究原因：

現(xiàn)有少數(shù)幾種利用真實(shí)世界數(shù)據(jù)集的方法并沒使用視覺語言多模態(tài)結(jié)構(gòu)

研究設(shè)計(jì)：

提出
多模態(tài)文本識(shí)別器(SemiMTR)的半監(jiān)督學(xué)習(xí)：
1阅茶、它在每個(gè)模態(tài)訓(xùn)練階段利用無標(biāo)簽數(shù)據(jù)蛛枚，并且作者的方法避免了額外的訓(xùn)練階段，并保持了當(dāng)前的三階段多模態(tài)訓(xùn)練過程脸哀。

2蹦浦、算法首先通過單階段訓(xùn)練對(duì)視覺模型進(jìn)行預(yù)訓(xùn)練，該訓(xùn)練將自監(jiān)督學(xué)習(xí)與監(jiān)督訓(xùn)練相結(jié)合撞蜂。

3盲镶、是擴(kuò)展了現(xiàn)有的視覺表示學(xué)習(xí)算法，并提出了第一個(gè)基于對(duì)比的場(chǎng)景文本識(shí)別方法

4蝌诡、在文本語料庫上預(yù)訓(xùn)練語言模型后溉贿，我們通過弱增強(qiáng)和強(qiáng)增強(qiáng)文本圖像視圖之間的順序、字符級(jí)浦旱、一致性正則化對(duì)整個(gè)網(wǎng)絡(luò)進(jìn)行微調(diào)宇色。

5、一致性是分別在每個(gè)模態(tài)上強(qiáng)制執(zhí)行的颁湖。大量的實(shí)驗(yàn)驗(yàn)證了作者的方法優(yōu)于當(dāng)前的訓(xùn)練方案宣蠕，并在多個(gè)場(chǎng)景文本識(shí)別基準(zhǔn)上達(dá)到了最先進(jìn)的結(jié)果。代碼將在發(fā)布時(shí)發(fā)布甥捺。

研究發(fā)現(xiàn)：

研究結(jié)論：

綜合實(shí)驗(yàn)表明植影，SemiMTR在多個(gè)場(chǎng)景文本識(shí)別基準(zhǔn)上優(yōu)于有監(jiān)督和半監(jiān)督的最先進(jìn)方法。
作者相信SemiMTR的成功將鼓勵(lì)研究人員進(jìn)一步探索利用標(biāo)記和未標(biāo)記的真實(shí)世界數(shù)據(jù)進(jìn)行場(chǎng)景文本識(shí)別的方案涎永。
作者的工作闡明了當(dāng)前合成數(shù)據(jù)集和真實(shí)數(shù)據(jù)集的狀態(tài)，這可以幫助未來的數(shù)據(jù)集創(chuàng)建者

圖片

1

文本識(shí)別體系結(jié)構(gòu)鹿响。采用ABINet作為的視覺語言多模態(tài)識(shí)別器的案例研究羡微。在該方案中，視覺模型首先從給定的圖像中提取一系列視覺特征惶我，然后將其解碼為字符預(yù)測(cè)妈倔。接下來，這些預(yù)測(cè)被輸入到語言模型中绸贡，從而得到上下文特征盯蝴。最后，融合模型對(duì)視覺特征和上下文特征進(jìn)行操作听怕，提供網(wǎng)絡(luò)最終預(yù)測(cè)捧挺。為了進(jìn)一步提高準(zhǔn)確性，一個(gè)可選的迭代階段(用虛線繪制)將輸出重新插入到語言模型中尿瞭，作為預(yù)測(cè)-細(xì)化步驟

2

于視覺模型預(yù)訓(xùn)練的視覺表征學(xué)習(xí)闽烙。作者的方法在批處理中對(duì)每個(gè)圖像進(jìn)行兩次增強(qiáng)，并將這些視圖饋送到視覺主干和投影頭中声搁。接下來黑竞，作者應(yīng)用實(shí)例映射函數(shù)捕发，它為每個(gè)增強(qiáng)視圖創(chuàng)建一個(gè)表示序列，從而實(shí)現(xiàn)子詞級(jí)別的對(duì)比學(xué)習(xí)很魂。并行分支根據(jù)標(biāo)記數(shù)據(jù)的可視化預(yù)測(cè)計(jì)算監(jiān)督損失

3

提議增強(qiáng)扎酷。SeqCLR提出的增強(qiáng)管道主要是為手寫體文本圖像設(shè)計(jì)的，其背景通常是純色和淺色的遏匆。請(qǐng)參閱第一行中的示例法挨。然而，場(chǎng)景文本圖像的背景在不同的實(shí)例之間有顯著的差異拉岁，如最后四行所示坷剧。因此，為了加強(qiáng)學(xué)習(xí)的表示集中在文本內(nèi)容而不是圖像視覺屬性上喊暖，我們提出了更高的嚴(yán)重性增強(qiáng)惫企，特別是在圖像顏色和紋理方面

4

模型微調(diào)的順序一致性正則化。我們的方案從弱增強(qiáng)圖像(左)中為每個(gè)模態(tài)生成一系列人工偽標(biāo)簽陵叽。然后狞尔，在上述偽標(biāo)簽和同一圖像的強(qiáng)增強(qiáng)視圖的模態(tài)預(yù)測(cè)之間分別計(jì)算每個(gè)模態(tài)的順序，字符級(jí)巩掺，一致性正則化(右)偏序。我們進(jìn)一步計(jì)算標(biāo)記數(shù)據(jù)的監(jiān)督損失

t1

t2

場(chǎng)景文本SOTA比較。場(chǎng)景文本識(shí)別精度(%)高于通用和非通用公共基準(zhǔn)胖替。我們?cè)诿總€(gè)數(shù)據(jù)集的標(biāo)題下面顯示其字?jǐn)?shù)研儒，并在每組數(shù)據(jù)集上顯示加權(quán)(按大小)平均結(jié)果。每列的最佳執(zhí)行結(jié)果以粗體標(biāo)記独令《硕洌“*”表示復(fù)制結(jié)果，“Git”表示GitHub模型

t3

視覺模型預(yù)訓(xùn)練消融燃箭。通過典型的兩階段方案與作者的統(tǒng)一方法進(jìn)行預(yù)訓(xùn)練時(shí)以及使用不同增強(qiáng)管道時(shí)視覺模型的準(zhǔn)確性

t4

一致性損失消融冲呢。不同一致性損失配置的準(zhǔn)確性，在通用和非通用基準(zhǔn)上計(jì)算

t5

師生身份招狸。通過不同的教師和學(xué)生身份獲得的準(zhǔn)確性