1.《Attentive Feedback Network for Boundary-Aware Salient Object Detection》
網(wǎng)絡(luò)結(jié)構(gòu)如下：
同樣是FCN-based （或 Encoder-Decoder）網(wǎng)絡(luò)模型。 Encoder給出基于全局信息的預(yù)測(cè)（由GPM模塊實(shí)現(xiàn)）棍丐，之后Decoder不斷修正優(yōu)化輸出就珠。創(chuàng)新點(diǎn)依然在特征融合的方式，采用Attentive Feedback Module(AFM)更加關(guān)注邊界，也給模型更多自我修正的機(jī)會(huì)和能力陈惰。 同時(shí)提出Boundary Enhanced Loss(BEL)強(qiáng)化對(duì)邊界信息的學(xué)習(xí)胸懈。
（1）Global Perception Module
如圖所示：將編碼器的最后輸出的feature map 劃為 n × n 的小塊。每次同時(shí)對(duì)所有小塊的相應(yīng)位置做卷積融合特征琴许，相當(dāng)于將所有小塊沿著channel拼接起來做一次卷積。這樣提取特征獲得了更多的全局信息（類似于空洞卷積）溉躲，同時(shí)也包含了更緊密的局部信息榜田。
通過該模塊融合特征后生成全局的顯著預(yù)測(cè)圖。
（2）Attentive Feedback Moudle
采用兩步走的循環(huán)方式
第一階段產(chǎn)生修正圖后锻梳，送入第二階段
第二階段利用膨脹和腐蝕算法箭券，基于第一階段的修正圖，產(chǎn)生三元組的注意力圖（注意力機(jī)制）唱蒸，具體的邦鲫，通過對(duì)第一階段的顯著修正圖做膨脹和腐蝕，其實(shí)現(xiàn)方式如下：
然后對(duì)二者得到的結(jié)果取平均值神汹，這樣庆捺，顯著內(nèi)部趨近于1，非顯著區(qū)趨近于0屁魏，邊界趨近于0.5（所以稱為三元注意力圖）滔以。該注意力圖相當(dāng)于權(quán)重，weight 上一層編碼器的編碼特征氓拼。然后再結(jié)合一階段的相應(yīng)輸出送入解碼器得到二次修正的顯著圖你画。
之所以參用兩階段是因?yàn)?a.單階段包含上采樣操作，會(huì)引入不準(zhǔn)確值桃漾，尤其在邊界處坏匪。 b. 模型沒有自我修正的能力，一旦上一模塊沒能給出完整物體預(yù)測(cè)撬统，模型后面也很難給出完整的顯著性檢測(cè)适滓。
兩階段方案給了模型基于三元注意力圖的修正錯(cuò)誤的能力，更好的關(guān)注邊界信息恋追。
（3）Ground Truth 監(jiān)管方案（loss函數(shù)設(shè)計(jì)）
第一項(xiàng)為基本顯著性檢測(cè)的交叉熵?fù)p失凭迹。
第二項(xiàng)為關(guān)注邊界的BEL損失，該損失使用歐式損失計(jì)算Ground Truth的邊界和預(yù)測(cè)圖邊界的損失苦囱。而邊界是通過下式相減得到的：
其中：
后一項(xiàng)代表對(duì)X做average pooling以平滑圖像嗅绸，通過相減，抽取邊界撕彤。
lamda 1 : lamda 2 = 1: 10 以強(qiáng)化對(duì)邊界的學(xué)習(xí)鱼鸠。
注意：對(duì)3，4，5層僅僅使用第一項(xiàng)損失蚀狰，即交叉熵?fù)p失漆弄，因?yàn)檫@些層已經(jīng)無可以幫助學(xué)習(xí)邊界的底層信息。僅僅對(duì)1造锅，2兩層使用完整的一二兩項(xiàng)損失優(yōu)化顯著圖。
Decoder第1層第2階段的顯著預(yù)測(cè)圖S(1,2)為模型給出的最終的顯著預(yù)測(cè)圖廉邑。
2.《BASNet: Boundary-Aware Salient Object Detection》
網(wǎng)絡(luò)結(jié)構(gòu)如下：
創(chuàng)新點(diǎn)主要在于：使用混合loss哥蔚。包括：普通二值交叉熵（BCELoss）和Structural SIMilarity (SSIM) Loss 和 IoU losses，分別對(duì)應(yīng)于pixel級(jí)別蛛蒙，patch級(jí)別糙箍，map級(jí)別。
BCELoss平等的對(duì)待每個(gè)像素牵祟，給每個(gè)像素一個(gè)平滑的訓(xùn)練梯度深夯；IOULoss 聚焦于前景，SSIM關(guān)注于圖像的結(jié)構(gòu)性诺苹，即每個(gè)像素的局部（鄰居部分）咕晋，所以更加會(huì)更針對(duì)于邊界。
混合loss 的使用更有利于給出完整的收奔，邊界清晰的顯著物體預(yù)測(cè)掌呜。
3.《Selectivity or Invariance: Boundary-aware Salient Object Detection》
同樣關(guān)注邊界問題。 作者認(rèn)為當(dāng)前顯著性檢測(cè)面臨2個(gè)問題：1是對(duì)大物體坪哄，尤其內(nèi)部尺寸质蕉，顏色變化性的大的物體，如何檢測(cè)出完整的顯著物體-----這就需要提取特征具有不變性invariance翩肌；2.是如何準(zhǔn)確給出顯著物體與非顯著物體的邊界模暗，而這就需要參考二者之間的變化性------selectivity。 1念祭，2問題是對(duì)立的兑宇。即要 無視顯著物體內(nèi)部的變化，從而檢測(cè)出完整物體棒卷；又要敏感關(guān)注邊界變化顾孽，找準(zhǔn)邊界信息。 -----selectivity–invariance dilemma問題比规。針對(duì)以上問題若厚，作者提出BAS網(wǎng)絡(luò)模型。
(BASNet)網(wǎng)絡(luò)結(jié)構(gòu)圖如下：
通過Skip-Connection 融合Multi-level的特征（尤其是為了引入低層邊緣特征）蜒什，送入邊界定位模塊檢測(cè)顯著圖邊界测秸。 通過對(duì)特征提取模塊包括豐富全局語(yǔ)義信息的最后一層特征再進(jìn)行一系列的空洞卷積（integrated successive dilation (ISD) module），繼續(xù)擴(kuò)大感受野，融合語(yǔ)義信息霎冯，送入內(nèi)部感知模塊和過渡轉(zhuǎn)換模塊铃拇。內(nèi)部感知模塊檢測(cè)顯著圖內(nèi)部。過渡轉(zhuǎn)換模型用來補(bǔ)充修正邊界與內(nèi)部融合時(shí)的錯(cuò)誤沈撞。
(1) 邊界定位模塊：
input : 所有層的特征信息 output ：通過sigmoid給出邊界信息
通過交叉熵?fù)p失學(xué)習(xí)預(yù)測(cè)邊界與Ground Truth邊界差距慷荔。 輸入復(fù)雜，網(wǎng)絡(luò)簡(jiǎn)單缠俺。
(2) 內(nèi)部感知模塊：
input：最后一層語(yǔ)義特征信息 output： 通過sigmoid給出顯著圖
通過交叉熵?fù)p失學(xué)習(xí)預(yù)測(cè)顯著圖與Ground Truth差距显晶。輸入簡(jiǎn)單，網(wǎng)絡(luò)復(fù)雜
(3) 過渡融合模塊：
input: 第二層低層邊緣信息和最后一層高級(jí)語(yǔ)義信息壹士，通過element_sum 融合磷雇。 output： 過渡的特征表示圖，包含selectivity 和 Invariance唯笙。 輸入中等少办，網(wǎng)絡(luò)中等
(4) 內(nèi)部感知模塊和過渡融合模塊 都是由空洞卷積模塊（Integrated Successive Dilation Module (ISD)） 實(shí)現(xiàn)鞋拟。
通過不同rate的空洞卷積以及intra- 和 inter- 的short-connection, 融合獲取含有豐富的文本信息，語(yǔ)義信息的特征。 內(nèi)部感知模塊使用ISD-5. 過渡融合模塊使用ISD-3.
(4) 三個(gè)模塊的輸出整合
三個(gè)模塊的輸出不是通過簡(jiǎn)單相加或者concate得到，這樣會(huì)引入不必要的噪聲畏吓。而是通過邊界和內(nèi)部?jī)蓚€(gè)模塊的confidence map 得到權(quán)重并與對(duì)應(yīng)特征圖相乘(element_wise product)完成融合宏悦。
最后通過sigmoid給出顯著預(yù)測(cè)圖臼氨，并使用交叉熵?fù)p失函數(shù)學(xué)習(xí)與Ground Truth 的損失。
(5) 網(wǎng)絡(luò)整體損失函數(shù)如下：
注意：由網(wǎng)絡(luò)連接圖可看出：
基本特征提取模塊和過渡融合模塊的參數(shù) 受三個(gè)損失的監(jiān)管進(jìn)行更新只酥。
邊界定位模塊受 L0 和 LB 監(jiān)管進(jìn)行更新
內(nèi)部感知模塊受 L0 和 LI 監(jiān)管進(jìn)行更新
4.《EGNet: Edge Guidance Network for Salient Object Detection》
與 3.類似，網(wǎng)絡(luò)同時(shí)提取邊緣特征信息和顯著物體信息，完成邊界預(yù)測(cè)與顯著物體檢測(cè)祖乳，兩個(gè)模塊谬运，兩種特征相融合轰驳，實(shí)現(xiàn)更優(yōu)的顯著物體檢測(cè)效果田绑。
(EGNet)網(wǎng)絡(luò)結(jié)構(gòu)圖如下：
1個(gè)邊緣預(yù)測(cè)圖民逼，9個(gè)顯著預(yù)測(cè)圖， 一律使用交叉熵?fù)p失函數(shù)實(shí)現(xiàn)Ground Truth 監(jiān)管弦叶。
5.《Stacked Cross Refinement Network for Edge-Aware Salient Object Detection》
(SCRN)網(wǎng)絡(luò)結(jié)構(gòu)圖如下：
真正意義上完成邊緣檢測(cè)和顯著性檢測(cè)兩大任務(wù)的融合棚点。
通過級(jí)聯(lián)CRU（Cross Refinement Unit），不斷完成兩個(gè)任務(wù)的特征融合湾蔓，最后借助U-Net 預(yù)測(cè)邊緣和顯著圖瘫析，并使用交叉熵?fù)p失計(jì)算邊緣和顯著預(yù)測(cè)圖與對(duì)應(yīng)Ground Truth的差異。
特征融合的思路來源于：
Feature(edge) and Feature(saliency) = Featurenew(edge) (and 求交集）
Feature(edge) or Feature(saliency) = Featurenew(saliency) (or 求并集）
基于該原理默责，用concat近似 or 操作贬循， 用element_wise product 近似 and 操作， 借助殘差學(xué)習(xí) （residual learning ）的方式桃序，即在原有特征基礎(chǔ)上再加上兩大任務(wù)基于or 或 and融合后的特征杖虾，得到更新后的特征送入下一個(gè)CRU，繼而重復(fù)執(zhí)行上述操作
兩大任務(wù)之間采用 選擇性的集合-點(diǎn)的對(duì)應(yīng)方式執(zhí)行and 或 or 操作媒熊。即and 或者 or 操作的對(duì)象分別是一個(gè)任務(wù)的每一個(gè)點(diǎn)（each-level feature）和 另一個(gè)任務(wù)的有選擇的集合（all-level feature）至此奇适，基于and 和 or 的融合操作可分別表示為：
and 操作：
or 操作：
基于殘差學(xué)習(xí)方式的進(jìn)行更新的整體操作可分別表示為：
6.《Salient Object Detection with Pyramid Attention and Salient Edges》
網(wǎng)絡(luò)結(jié)構(gòu)圖如下：
同樣是基于傳統(tǒng)的bottom-up前行傳播坟比，top-down 完成修正的架構(gòu)模型，創(chuàng)新點(diǎn)包括：
（1）top-down 修正過程中對(duì)橫向傳來的低層特征使用注意力機(jī)制------對(duì)每一層卷積特征均采用Pyramid Attention 機(jī)制嚷往，通過對(duì)特征做Scale transform葛账，每個(gè)Scale 都得到一個(gè)attention map，然后相加并與原始特征相乘皮仁，得到注意力后的特征籍琳。參用Residual learning, 即原始特征與注意力后的特征相加，得到最終更新后的特征贷祈。這樣做相當(dāng)于擴(kuò)大了感受野趋急，包含了Multi-Scale 的信息。
（2） 在顯著圖預(yù)測(cè)前加入 邊緣edge的預(yù)測(cè)势誊，在原有特征基礎(chǔ)上強(qiáng)制加入邊緣特征信息呜达，達(dá)到更好的顯著圖預(yù)測(cè)效果。 并且采用Dense Connection粟耻， L 層 的特征 融合前面所有層 (L-1,L-2,……2,1) 的顯著預(yù)測(cè)信息圖和邊緣信息,以到達(dá)更好預(yù)測(cè)效果查近。
使用Deep Supervision，對(duì)每層的邊緣預(yù)測(cè)和顯著圖預(yù)測(cè)都計(jì)算loss勋颖， 施加監(jiān)管。
其中勋锤，邊緣損失采用L2 norm loss ,如下：
顯著圖損失采用 weighted cross-entropy loss.如下：
整體損失如下：累計(jì)5個(gè) side-output 饭玲。 5個(gè)層對(duì)應(yīng)VGG16。
7.《A Mutual Learning Method for Salient Object Detection with intertwined Multi-Supervision》
之前顯著性研究的不足：
a. 無法提取完整的顯著性物體叁执，因?yàn)槠鋬?nèi)部結(jié)構(gòu)過于復(fù)雜茄厘。
b. 顯著物體的邊緣輪廓檢測(cè)不準(zhǔn)確。
基于此不足谈宛，提出新的網(wǎng)絡(luò)和訓(xùn)練策略次哈，針對(duì)3個(gè)不同任務(wù)-----顯著性檢測(cè)，前景輪廓檢測(cè)吆录， 邊緣檢測(cè)窑滞。
網(wǎng)絡(luò)結(jié)構(gòu)圖如下：
輸入包括 顯著性待檢測(cè)圖和邊緣待檢測(cè)圖，監(jiān)管包括對(duì)應(yīng)的Salience Ground Truth(S-gt) 和 Edge Ground Truth(E-gt) 以及通過Canny 算法提取的Foreground Contour Ground Truth(FC-gt), 以此驅(qū)動(dòng)三大任務(wù)的訓(xùn)練和學(xué)習(xí)恢筝。
（1）顯著性檢測(cè)和前景輪廓檢測(cè)都需要準(zhǔn)確的前景檢測(cè)哀卫。所以二者可以相互協(xié)作促進(jìn)。
在Encoder階段撬槽，前3個(gè)block使用前景輪廓Ground Truth 監(jiān)管此改，后3個(gè)block使用顯著性Ground Truth。在Decoder階段侄柔，交替使用二者的Ground Truth監(jiān)管共啃，迫使網(wǎng)絡(luò)在不斷融合encoder的MLM模塊傳來的特征基礎(chǔ)上占调，一會(huì)“fill”前景完成顯著性檢測(cè)，一會(huì)“extract”輪廓完成前景輪廓檢測(cè)移剪。這樣做可以不斷過濾噪聲影響究珊，交互提升兩個(gè)任務(wù)的效果。
（2）前3個(gè)block還保留有豐富的邊緣信息挂滓。所以加入 Edge Module, 完成邊緣的檢測(cè)苦银，輔助前景輪廓檢測(cè)任務(wù)。
當(dāng)輸入邊緣圖時(shí)赶站，給出邊緣檢測(cè)的預(yù)測(cè)圖幔虏，當(dāng)輸入是顯著圖時(shí)，邊緣檢測(cè)模塊為MLM前景輪廓檢測(cè)模塊提供邊緣特征贝椿，輔助檢測(cè)前景輪廓想括。
（3）Mutual Learning Module
在Encoder 部分 采用MLM模塊提取前景輪廓和顯著性特征并完成預(yù)測(cè)（受Ground Truth監(jiān)管）
該模塊啟發(fā)于Deep Mutual Learning. 設(shè)立多個(gè)分支，執(zhí)行同一個(gè)任務(wù)烙博，對(duì)每個(gè)分支的預(yù)測(cè)結(jié)果采用Sub-Supervision互相監(jiān)管（Mimicry loss）和Ground Truth loss 監(jiān)管.各個(gè)分支互相輔助訓(xùn)練瑟蜈，但可以獨(dú)立使用，訓(xùn)練時(shí)僅隨機(jī)選取一個(gè)分支測(cè)試渣窜。不同于DML使用KL散度計(jì)算Mimicry loss, MML使用L2 loss 計(jì)算 Mimicry loss. Mimicry loss 為每個(gè)分支子網(wǎng)絡(luò)提供了更soft 的損失铺根，更有利于收斂于局部最小值。
（4）訓(xùn)練方式（Training）
損失函數(shù)：
Encoder部分：
第一項(xiàng)為 前景輪廓和顯著圖損失
第二項(xiàng)為邊緣損失
第三項(xiàng)為 MLM Mimicry loss
解碼器部分：
顯著圖和前景輪廓圖損失
訓(xùn)練策略：
采用交替訓(xùn)練
Step.1 We first train the encoder network, i.e. the backbone
network with MLMs and EMs, with LEnc(編碼器損失）.
Step.2 We fix the encoder and feed features in MLMs
into the decoder network then train the decoder network
alone with LDec（解碼器損失）.
Step.3 After training the decoder, we then fix the decoder
and fine-tune the encoder using the supervision of decoder,
i.e. LDec, to optimize the parameters of encoder.
We repeat the steps above iteratively, and in each training
step we stay for 10 epochs before switch to the next乔宿。
和前面第3篇位迂，第4篇等Salience 和 Edge detection 融合的方式不同，不是簡(jiǎn)單的完成兩大任務(wù)详瑞，然后融合特征掂林，該篇論文參用的是深度交融方式，交替監(jiān)管顯著圖和前景輪廓圖坝橡，不斷過濾噪聲泻帮，優(yōu)化特征，提升效果计寇。另外锣杂，在Encoder部分就加入了Ground Truth 監(jiān)管，而且是交替訓(xùn)練的策略番宁，更是大大提升三大任務(wù)特征提取的能力蹲堂。
