姓名：閆偉? 學(xué)號(hào)：15020150038
轉(zhuǎn)載自：https://zhuanlan.zhihu.com/p/38607998，有刪節(jié)址貌。
【嵌牛導(dǎo)讀】：在剛剛結(jié)束的CVPR2018: DeepGlobe Road Extraction Challenge（全球衛(wèi)星圖像道路提阮砉铡）比賽中，北京郵電大學(xué)信息與通信工程學(xué)院模式識(shí)別實(shí)驗(yàn)室張闖老師指導(dǎo)的研究生周理琛同學(xué)练对，脫穎而出遍蟋，取得第一名的好成績(jī)。本屆CVPR規(guī)模浩大螟凭，有超過(guò)3309篇論文投稿虚青，接收979篇論文。此次DeepGlobe道路檢測(cè)比賽參加隊(duì)伍眾多赂摆，包括許多專業(yè)級(jí)的衛(wèi)星公司和研究機(jī)構(gòu)（其中挟憔，Road Extraction Challenge比賽的第2-4名都來(lái)自專業(yè)的地圖和導(dǎo)航公司）。
【嵌牛鼻子】：CVPR DeepGlobe
【嵌牛提問(wèn)】：北郵CVPR奪冠的制勝法寶
【嵌牛正文】：
賽題和數(shù)據(jù)
基于衛(wèi)星圖像的道路檢測(cè)在城市規(guī)劃烟号，自動(dòng)駕駛绊谭，應(yīng)急指揮等領(lǐng)域有很廣泛的應(yīng)用場(chǎng)景。此次比賽的任務(wù)是將衛(wèi)星圖像中的道路部分提取出來(lái)汪拥，即將每個(gè)屬于道路部分的像素點(diǎn)標(biāo)注為道路达传，其他部分標(biāo)注為背景（屬于一個(gè)二元分割的問(wèn)題）。
比賽的數(shù)據(jù)由全球知名的衛(wèi)星數(shù)據(jù)公司數(shù)字地球（DigitalGlobe）提供迫筑，由FACEBOOK, UBER, IEEE GRSS, DigitalGlobe, CrowdAI, OVSI, Kitware等公司贊助宪赶。
比賽分為三個(gè)子任務(wù)：衛(wèi)星圖像道路提取（84隊(duì)參與）脯燃、房屋提嚷蕖（26隊(duì)參與）以及地表覆蓋分類（38隊(duì)參與）。參賽隊(duì)伍包括MIT, CrowdAI, MapBox, Neuromation公司辕棚，EOS數(shù)據(jù)分析中心欲主，清華大學(xué)邓厕、同濟(jì)大學(xué)、哈工大扁瓢、國(guó)立臺(tái)灣大學(xué)详恼、商湯科技等團(tuán)隊(duì)。
數(shù)據(jù)集和道路檢測(cè)示例
比賽數(shù)據(jù)集包含6226張訓(xùn)練圖像引几，1243張驗(yàn)證圖像昧互，以及1101張測(cè)試圖像。所有的圖像尺寸均為1024*1024伟桅，圖像來(lái)源于泰國(guó)敞掘、印度、印度尼西亞贿讹，圖像場(chǎng)景包括城市渐逃、鄉(xiāng)村、荒郊民褂、海濱茄菊、熱帶雨林等多個(gè)場(chǎng)景。
從衛(wèi)星圖像中分割道路是一項(xiàng)十分具有挑戰(zhàn)的任務(wù)赊堪，該任務(wù)可以應(yīng)用于地圖生成面殖、汽車自動(dòng)駕駛與導(dǎo)航等多個(gè)場(chǎng)景。同時(shí)哭廉，衛(wèi)星圖像道路分割相較于一般的分割任務(wù)脊僚，有其獨(dú)特性和困難性，具體表現(xiàn)為：在衛(wèi)星圖像中遵绰，目標(biāo)道路所占據(jù)畫幅比例普遍偏辛苫稀；河流椿访、鐵路等又與道路過(guò)于相似乌企，甚至人眼也難以判別；道路分叉連通情況也很復(fù)雜成玫，這對(duì)于道路提取的識(shí)別精度有著相當(dāng)高的要求加酵。
另外，在衛(wèi)星圖像中哭当，道路往往狹窄猪腕、且具有先驗(yàn)的連通性，幾條道路可能會(huì)互相交叉連通钦勘，且整體跨度覆蓋整張圖片陋葡，傳統(tǒng)的圖像分割方法很難適用。這都給衛(wèi)星圖像中的道路檢測(cè)帶來(lái)了難度彻采。
奪冠方法詳解
數(shù)據(jù)擴(kuò)增-圖像形態(tài)變換：
①脖岛、隨機(jī)翻折：包含水平朵栖、豎直、對(duì)角線三種翻折方式柴梆，每張圖片擴(kuò)增為原來(lái)的8倍。
②终惑、隨機(jī)縮放：將圖像隨機(jī)縮放至多10%绍在。
③、隨機(jī)偏移：將圖像隨機(jī)上下左右偏移至多10%雹有。
④偿渡、隨機(jī)拉升：將圖像隨機(jī)沿豎直方向或水平方向拉升至多10%。
經(jīng)過(guò)以上四種變換之后霸奕，再截取圖像中心1024*1024的部分溜宽，不足的部分補(bǔ)0。
數(shù)據(jù)擴(kuò)增-圖像色彩變換：
使用OpenCV质帅，在HSV空間對(duì)圖像進(jìn)行色彩變換适揉。在OpenCV中，每個(gè)像素的HSV保存在uint8的數(shù)據(jù)類型中（0~255）煤惩。
①嫉嘀、H空間，隨機(jī)變換（-15~15）魄揉。
②剪侮、S空間，隨機(jī)變換（-15~15）洛退。
③瓣俯、V空間，隨機(jī)變換（-30~30）兵怯。
數(shù)據(jù)擴(kuò)增示意圖：中心處為原圖
模型結(jié)構(gòu)D-LinkNet
北京郵電大學(xué)模式識(shí)別實(shí)驗(yàn)室提出了融合的D-LinkNet方法彩匕，該方法在提升網(wǎng)絡(luò)識(shí)別精度的同時(shí)，增加網(wǎng)絡(luò)接收域摇零，保留圖像的空間細(xì)節(jié)信息推掸，并實(shí)現(xiàn)多尺度特征融合，有效提升了識(shí)別精度驻仅、緩解道路連通性問(wèn)題谅畅。
模型總體結(jié)構(gòu)如下：
D-LinkNet34示意圖
D-LinkNet使用LinkNet作為基本骨架，使用在ImageNet數(shù)據(jù)集上與訓(xùn)練好的ResNet作為網(wǎng)絡(luò)的encoder噪服，并在中心部分添加帶有shortcut的dilated-convolution層毡泻，使得整個(gè)網(wǎng)絡(luò)識(shí)別能力更強(qiáng)、接收域更大粘优、融合多尺度信息仇味。
網(wǎng)絡(luò)的中心部分可以展開(kāi)如下圖呻顽，圖中所示的并聯(lián)結(jié)構(gòu)可以有效的融合多尺度特征。Dilated-convolution可以有效擴(kuò)張接收域丹墨，從上到下對(duì)應(yīng)的接收域分別是31廊遍、15、7贩挣、3喉前、1，最后將每條支路的結(jié)果相加王财，便得到融合的特征卵迂。
網(wǎng)絡(luò)中心部分展開(kāi)示意圖
損失函數(shù)/測(cè)試時(shí)擴(kuò)增（TTA）
損失函數(shù)的公式如下所示。損失函數(shù)包含兩部分绒净，其中紅框部分是dice coeff loss见咒，綠框部分是Binary cross entropy loss。公式中P指代網(wǎng)絡(luò)輸出的預(yù)測(cè)結(jié)果挂疆，GT指代真實(shí)標(biāo)簽改览，N指代batchsize。
損失函數(shù)
由于衛(wèi)星圖像具有翻折和旋轉(zhuǎn)不變性囱嫩，在測(cè)試時(shí)恃疯，我們將圖像進(jìn)行水平、豎直墨闲、對(duì)角線三種翻折娩井，每張圖片預(yù)測(cè)8次傅物，然后將8次的結(jié)果平均。（我們沒(méi)有旋轉(zhuǎn)圖片是出于預(yù)測(cè)時(shí)間的考慮）
比賽結(jié)果和技術(shù)分享
測(cè)試集上最終結(jié)果
各項(xiàng)比賽任務(wù)優(yōu)勝者排名表
論文鏈接：
代碼及PPT：
https://github.com/zlkanata/DeepGlobe-Road-Extraction-Challenge
北京郵電大學(xué)模式識(shí)別實(shí)驗(yàn)室介紹
北京郵電大學(xué)模式識(shí)別實(shí)驗(yàn)室由郭軍教授（日本東北學(xué)院大學(xué)博士、博士生導(dǎo)師爷贫、北京郵電大學(xué)副校長(zhǎng)）于1998年依托信號(hào)與信息處理國(guó)家重點(diǎn)學(xué)科以及模式識(shí)別與智能系統(tǒng)信息產(chǎn)業(yè)部重點(diǎn)學(xué)科而創(chuàng)建泥耀，是國(guó)內(nèi)較早開(kāi)展人工智能領(lǐng)域研究的著名實(shí)驗(yàn)室之一秉溉，也是信息內(nèi)容安全技術(shù)國(guó)家工程實(shí)驗(yàn)室的組成部分临谱。
實(shí)驗(yàn)室長(zhǎng)期從事模式識(shí)別、機(jī)器學(xué)習(xí)套利、數(shù)據(jù)挖掘推励、網(wǎng)絡(luò)搜索等方面的研究，在國(guó)際頂級(jí)期刊及會(huì)議TPAMI肉迫、PR验辞、PRL、SCIENCE喊衫、 TIP跌造、TIFS、CVPR族购、ECCV壳贪、SIGIR上發(fā)表論文多篇陵珍，參加人工智能領(lǐng)域國(guó)際評(píng)測(cè)NIST-TREC評(píng)測(cè)、AI CHALLENGER违施、阿里天池大數(shù)據(jù)比賽互纯、863評(píng)測(cè)等也多次獲得優(yōu)異成績(jī)。實(shí)驗(yàn)室的馬占宇醉拓、高升伟姐、郭軍、徐雅靜亿卤、藺志青老師獲得2017年吳文俊人工智能科技進(jìn)步一等獎(jiǎng)。
有心的同學(xué)可能也注意到了鹿霸，由大數(shù)據(jù)文摘字幕組推出的三門火爆的網(wǎng)紅課程就是和北郵模式識(shí)別實(shí)驗(yàn)室合作進(jìn)行的排吴。
感興趣的同學(xué)通過(guò)以下鏈接就可以進(jìn)行學(xué)習(xí)啦~~~
牛津大學(xué)xDeepMind 自然語(yǔ)言處理
https://study.163.com/course/introduction/1004336028.htm
MIT6.S094深度學(xué)習(xí)與自動(dòng)駕駛
https://study.163.com/course/introduction/1004938039.htm
斯坦福李飛飛-深度學(xué)習(xí)計(jì)算機(jī)視覺(jué)
