(通俗易懂理解)Context Encoding for Semantic Segmentation

摘要:

??最近的工作通過使用空洞卷積班利、多尺度特征還有調(diào)整邊界的全卷積神經(jīng)網(wǎng)絡(luò)(FCN)對像素分類,有效的提升了空間分辨率眯娱。在這篇論文中铣墨,我們引入了上下文編碼模塊來探索全局上下文信息對于語義分割的影響。上下文編碼模塊可以獲取場景的語義上下文還有選擇性的高光依賴圖嗽上。提出的上下文編碼模塊相比于全卷積神經(jīng)網(wǎng)絡(luò)(FCN)只計算邊緣額外成本在語義分割結(jié)果上有一個顯著提升次舌。

介紹:

??語義分割對給定的目標(biāo)類目的每個像素進行預(yù)測,它提供了全面的場景描述兽愤,包括對象類別彼念、位置和形狀的信息。效果好的語義分割方法傳統(tǒng)都是基于全卷積神經(jīng)網(wǎng)絡(luò)(FCN)浅萧。深度卷積神經(jīng)網(wǎng)絡(luò)的自適應(yīng)性得益于從各種不同的圖像集合中學(xué)習(xí)到的豐富的對象類別和場景語義信息逐沙。深度卷積神經(jīng)網(wǎng)絡(luò)可以通過疊加非線性和下采樣卷積層來得到全局感受野進一步獲取信息表示。為了克服下采樣造成的空間分辨率損失問題洼畅,最近的工作使用空洞/多孔卷積策略從預(yù)訓(xùn)練的網(wǎng)絡(luò)中產(chǎn)生密集預(yù)測吩案。然而,這種策略還是會把像素從全局的上下文中割離開來帝簇,導(dǎo)致了像素的錯誤分類徘郭。對于圖像四的第三行靠益,基礎(chǔ)的分類方法把一些窗戶中的像素分成了門。
??最近的方法通過使用多分辨率空間金字塔來擴大感受野從而獲得了一個很好的效果崎岂。例如:空間金字塔網(wǎng)絡(luò)采用空間金字塔池化來把特征圖池化成不同大小捆毫,并且經(jīng)過上采樣后把他們組合在一起,Deeplab提出一個多孔空間金字塔池化可以采用更高比率的擴張卷積冲甘。這些方法確實提升了效果绩卤,但是上下文表示還是不明確的,這引起了一系列問題江醇。比如:獲取上下文信息是否等同于提高感受野的大小濒憋。考慮為大型數(shù)據(jù)集(比如 ADE20K陶夜,包含150個類目)標(biāo)記新 圖像凛驮,如圖一所示。假設(shè)我們有一個工具条辟,允許注釋器去首先選擇圖像的語義信息(例如:臥室)黔夭。然后,這個工具可以提供一個更小的相關(guān)的類目(比如臥室中的床羽嫡,椅子等)本姥,這樣就會有效的降低類目的可選擇性。同樣的杭棵,如果我們設(shè)計一個方法去有效的使用場景與可能存在的類目的關(guān)系后婚惫,語義分割就會變的相對簡單。
??經(jīng)典的計算機視覺方法在獲取場景的語義上下文中有優(yōu)勢魂爪。對于一個給定的輸入圖像先舷,SIFT還有濾波器被用來提取手工設(shè)計的特征。然后通過學(xué)習(xí)視覺詞典滓侍,并通過經(jīng)典的編碼器(BoW)蒋川、VALD、Fisher vector來描述全局特征撩笆。經(jīng)典的表示方法通過捕獲特征統(tǒng)計信息對全局上下文信息進行編碼尔破。雖然CNN方法大大改善了手工制作的特征,但是傳統(tǒng)方法的整體編碼過程方便而強大浇衬。我們能否通過深度學(xué)習(xí)強大的能力來改善經(jīng)典的上下文編碼方法?最近的工作通過使用CNN框架在傳統(tǒng)的編碼器上獲得了一個有效的提升餐济。Zhang等人提出了一個編碼層去將整個字典學(xué)習(xí)和剩余編碼流水線集成到單個CNN層以捕獲無序表示耘擂。
該方法在紋理分類上取得了最好的研究成果。在本文中絮姆,我們擴展了編碼層以捕獲用于理解語義上下文的全局特征統(tǒng)計數(shù)據(jù)醉冤。

第一個貢獻:
第二個貢獻:
最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
  • 序言:七十年代末秩霍,一起剝皮案震驚了整個濱河市,隨后出現(xiàn)的幾起案子蚁阳,更是在濱河造成了極大的恐慌铃绒,老刑警劉巖,帶你破解...
    沈念sama閱讀 218,525評論 6 507
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件螺捐,死亡現(xiàn)場離奇詭異颠悬,居然都是意外死亡,警方通過查閱死者的電腦和手機定血,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 93,203評論 3 395
  • 文/潘曉璐 我一進店門赔癌,熙熙樓的掌柜王于貴愁眉苦臉地迎上來,“玉大人澜沟,你說我怎么就攤上這事灾票。” “怎么了茫虽?”我有些...
    開封第一講書人閱讀 164,862評論 0 354
  • 文/不壞的土叔 我叫張陵刊苍,是天一觀的道長。 經(jīng)常有香客問我濒析,道長正什,這世上最難降的妖魔是什么? 我笑而不...
    開封第一講書人閱讀 58,728評論 1 294
  • 正文 為了忘掉前任悼枢,我火速辦了婚禮埠忘,結(jié)果婚禮上,老公的妹妹穿的比我還像新娘馒索。我一直安慰自己莹妒,他們只是感情好,可當(dāng)我...
    茶點故事閱讀 67,743評論 6 392
  • 文/花漫 我一把揭開白布绰上。 她就那樣靜靜地躺著旨怠,像睡著了一般。 火紅的嫁衣襯著肌膚如雪蜈块。 梳的紋絲不亂的頭發(fā)上鉴腻,一...
    開封第一講書人閱讀 51,590評論 1 305
  • 那天,我揣著相機與錄音百揭,去河邊找鬼爽哎。 笑死,一個胖子當(dāng)著我的面吹牛器一,可吹牛的內(nèi)容都是我干的课锌。 我是一名探鬼主播,決...
    沈念sama閱讀 40,330評論 3 418
  • 文/蒼蘭香墨 我猛地睜開眼,長吁一口氣:“原來是場噩夢啊……” “哼渺贤!你這毒婦竟也來了雏胃?” 一聲冷哼從身側(cè)響起,我...
    開封第一講書人閱讀 39,244評論 0 276
  • 序言:老撾萬榮一對情侶失蹤志鞍,失蹤者是張志新(化名)和其女友劉穎瞭亮,沒想到半個月后,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體固棚,經(jīng)...
    沈念sama閱讀 45,693評論 1 314
  • 正文 獨居荒郊野嶺守林人離奇死亡统翩,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點故事閱讀 37,885評論 3 336
  • 正文 我和宋清朗相戀三年,在試婚紗的時候發(fā)現(xiàn)自己被綠了玻孟。 大學(xué)時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片唆缴。...
    茶點故事閱讀 40,001評論 1 348
  • 序言:一個原本活蹦亂跳的男人離奇死亡,死狀恐怖黍翎,靈堂內(nèi)的尸體忽然破棺而出面徽,到底是詐尸還是另有隱情,我是刑警寧澤匣掸,帶...
    沈念sama閱讀 35,723評論 5 346
  • 正文 年R本政府宣布趟紊,位于F島的核電站,受9級特大地震影響碰酝,放射性物質(zhì)發(fā)生泄漏霎匈。R本人自食惡果不足惜,卻給世界環(huán)境...
    茶點故事閱讀 41,343評論 3 330
  • 文/蒙蒙 一送爸、第九天 我趴在偏房一處隱蔽的房頂上張望铛嘱。 院中可真熱鬧,春花似錦袭厂、人聲如沸墨吓。這莊子的主人今日做“春日...
    開封第一講書人閱讀 31,919評論 0 22
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽帖烘。三九已至,卻和暖如春橄杨,著一層夾襖步出監(jiān)牢的瞬間秘症,已是汗流浹背。 一陣腳步聲響...
    開封第一講書人閱讀 33,042評論 1 270
  • 我被黑心中介騙來泰國打工式矫, 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留乡摹,地道東北人。 一個月前我還...
    沈念sama閱讀 48,191評論 3 370
  • 正文 我出身青樓采转,卻偏偏與公主長得像趟卸,于是被迫代替她去往敵國和親。 傳聞我的和親對象是個殘疾皇子,可洞房花燭夜當(dāng)晚...
    茶點故事閱讀 44,955評論 2 355

推薦閱讀更多精彩內(nèi)容