近期在閱讀南開大學程明明老師的課題組的一些文章手蝎，做了些筆記揽碘。
摘要：圖像分割已經(jīng)研究了很多年蝉娜，但還是視覺問題中的一個重要問題丙者。有一些快速的或準確率高的分割算法已經(jīng)能廣泛運用于很多視覺領域花墩，但是悬秉，很難設計一種高效和精確的圖像分割器。本文冰蘑，提出了一種新的方法和泌，叫做DEL(深度嵌入學習)能有效地將超像素運用于圖像分割。利用SLIC得到的超像素懂缕，我們訓練了一個FCN網(wǎng)絡為每個超像素學習特征嵌入空間允跑。在學到的特征嵌入空間中使用一種相似性度量方式來衡量相鄰超像素的相似性。然后將高相似度的超像素歸于一個分割類搪柑。The evaluation results on BSDS500 and PASCAL Context demon- strate that our approach achieves a good trade- off between efficiency and effectiveness. Specifi- cally, our DEL algorithm can achieve comparable segments when compared with MCG but is much faster than it, i.e. 11.4fps vs. 0.07fps.（效果好）
Introduction
本文的主要目的是解決圖像分割的效率和準確率的矛盾聋丝。例如，MCG(2017)和gPb(2011)能生成高質量的分割效果工碾，但太慢弱睦。而EGB(2004)和HFS(2016)的速度夠快，但效果不好。
超像素：超像素屬于一種過分割，一般是將緊湊的規(guī)則的和固定數(shù)目的多個像素歸為一個超像素，就是將一張圖通過某種方式分割的很細荣恐，每一小塊就是一個超像素火惊。雖然這和我們要求的分割要求不一樣求类，我們需要的是有語義的分割結果，但超像素能給分割提供一個好的起始條件屹耐。本文中運用了SLIC的超像素算法來進行預分割尸疆。
2 .Our Approach
2.1 超像素生成
先用SLIC算法來進行超像素圖片的生成，SLIC是一種用K平均來做的算法惶岭。這里要求每個超像素是有64個正常像素組成寿弱，令：對于圖片I生成了M個超像素。
2.2 特征嵌入學習
在獲得超像素之后按灶，就用一個深度cnn來學習特征嵌入空間症革。我們在特征嵌入空間中進行池化操作后獲得特征向量：
這是一張圖的特征向量組，包含M個特征向量鸯旁。每個的計算方式：
Vi就是把一個超像素內的每個像素的特征向量求平均得到超像素的特征向量噪矛。這里設計的特征向量也是有64維（和64個像素組成一個超像素無關）。
dij是相鄰超像素的距離铺罢，如果vi和vj比較像摩疑，那么dij就比較接近1，那就歸為一類畏铆，如果vi和vj差很大，那么dij就比較接近0吉殃，就不歸為一類辞居。
然后用這個損失函數(shù)來進行反向傳播訓練。
2.3 網(wǎng)絡框架
如圖一蛋勺，是整個算法的框架瓦灶，image和superpixel兩張圖，一張原圖抱完，另外一張是計算得到的超像素圖贼陶。圖一中間的三個部分就是圖2所展示的內容。首先是利用VGG16這個網(wǎng)絡（去掉了pool5層和全連接層和其他一些小修改）巧娱，輸入是原始圖片碉怔，和超像素圖無關。然后將5層卷積層都進行3*3禁添，和1*1的卷積撮胧，然后為了解決不同層的特征的尺寸不一樣的問題，做了L2 norm老翘。再把多層卷積層連接起來芹啥，這里淺層的包涵細節(jié)信息锻离，深層的包涵整體信息。然后載做一個3*3卷積（256個輸出通道）和1*1卷積（64個輸出通道）墓怀，就獲得了特征嵌入空間的特征了汽纠。然后根據(jù)之前算出來的超像素圖，運用2.2中講的方法傀履，將這里的每64個像素構成一個超像素虱朵，每個像素有64個輸出通道，求得M個特征向量啤呼，每個向量64維卧秘。然后將這些特征向量帶入2.2中的公式，計算loss官扣，結合groundtruth的分割圖翅敌，做train。
2.4 超像素分割
大概意思就是對于訓練得到的網(wǎng)絡惕蹄，對于一張新的圖蚯涮，用這個網(wǎng)絡，算到相鄰兩個超像素的距離卖陵，距離最近的就歸為一類遭顶。最后得到整個的分割結果。
4.總結
本文主要的想法是獲得速度和準確率的一個折中泪蔫。采用了超像素的思想棒旗，利用SLIC快速獲得超像素，這樣在后面的分割中撩荣，需要判斷地像素總量就少很多铣揉，不用單個像素地判斷，而是整個超像素進行判斷餐曹，提高效率逛拱。本文的思想還是很有創(chuàng)新的。
代碼連接：https://github.com/yun-liu/del.
文章連接：https://jwbian.net/Papers/DEL_IJCAI18.pdf
以上是個人閱讀論文筆記台猴，如有錯誤朽合，希望大家批評指正，謝謝
