論文筆記:MultiNet: Real-time Joint Semantic Reasoning for Autonomous Driving

曾經(jīng)Kitti道路分割排名第一的方案软瞎, 現(xiàn)為Kitti上UM-road 排名35的方案。
main contribution:
1.將分類、檢測闲询、分割三個任務(wù)結(jié)合起來,共用encoder框架浅辙。
2.簡單扭弧,效果還好。
3.效率高记舆,23 fps (沒說在什么環(huán)境下)

architecture:



共享一個encoder鸽捻,對不同的任務(wù)設(shè)計不同的decoder

encoder:
用于提取特征 ,文中主要用了vgg16 和resnet泽腮,用的都是在imageNet 上預(yù)訓(xùn)練的模型進行微調(diào)御蒲。其中vgg16分為vgg16-fc7和vgg16-pool5。就是用的層不一樣诊赊,一個取到pool5一個取到fc7(這里fc都被換成了1*1 conv 以適應(yīng)不同大小的輸入)删咱。resnet為resnet50與resnet101,去除了最后的fc層豪筝。

由于自己主要關(guān)注seg部分
classification decoder:兩種痰滋,一種就是原始的全連接, 一種是卷積
detection decoder: 與yolo 相似续崖,沒有proposal生成步驟敲街。 這樣才可能實時 采用了rescaling layer 來提升性能。rescaling layer 包含RoI align严望。
segmentation decoder:
主要就是FCN架構(gòu) 多艇,先用1*1卷積獲取一個粗粒度分割結(jié)果。然后添加3層轉(zhuǎn)置卷積像吻。

training details:
主要是fine-tune
針對多任務(wù)峻黍,Loss不盡相同 。 分類與分割為交叉熵 檢測loss較為復(fù)雜拨匆,按cell來分姆涩。

experiments results:
聯(lián)合推斷得到的結(jié)果和單個任務(wù)得到的結(jié)果差不太多。
針對分割:(為當(dāng)時的第一)




不同encoder的效果:


分類與檢測的效果就不一一列出惭每。

?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
  • 序言:七十年代末骨饿,一起剝皮案震驚了整個濱河市,隨后出現(xiàn)的幾起案子,更是在濱河造成了極大的恐慌宏赘,老刑警劉巖绒北,帶你破解...
    沈念sama閱讀 211,743評論 6 492
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件,死亡現(xiàn)場離奇詭異察署,居然都是意外死亡闷游,警方通過查閱死者的電腦和手機,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 90,296評論 3 385
  • 文/潘曉璐 我一進店門贴汪,熙熙樓的掌柜王于貴愁眉苦臉地迎上來脐往,“玉大人,你說我怎么就攤上這事嘶是「撇” “怎么了?”我有些...
    開封第一講書人閱讀 157,285評論 0 348
  • 文/不壞的土叔 我叫張陵聂喇,是天一觀的道長辖源。 經(jīng)常有香客問我,道長希太,這世上最難降的妖魔是什么克饶? 我笑而不...
    開封第一講書人閱讀 56,485評論 1 283
  • 正文 為了忘掉前任,我火速辦了婚禮誊辉,結(jié)果婚禮上矾湃,老公的妹妹穿的比我還像新娘。我一直安慰自己堕澄,他們只是感情好邀跃,可當(dāng)我...
    茶點故事閱讀 65,581評論 6 386
  • 文/花漫 我一把揭開白布。 她就那樣靜靜地躺著蛙紫,像睡著了一般拍屑。 火紅的嫁衣襯著肌膚如雪。 梳的紋絲不亂的頭發(fā)上坑傅,一...
    開封第一講書人閱讀 49,821評論 1 290
  • 那天僵驰,我揣著相機與錄音,去河邊找鬼唁毒。 笑死蒜茴,一個胖子當(dāng)著我的面吹牛,可吹牛的內(nèi)容都是我干的浆西。 我是一名探鬼主播粉私,決...
    沈念sama閱讀 38,960評論 3 408
  • 文/蒼蘭香墨 我猛地睜開眼,長吁一口氣:“原來是場噩夢啊……” “哼室谚!你這毒婦竟也來了毡鉴?” 一聲冷哼從身側(cè)響起崔泵,我...
    開封第一講書人閱讀 37,719評論 0 266
  • 序言:老撾萬榮一對情侶失蹤秒赤,失蹤者是張志新(化名)和其女友劉穎猪瞬,沒想到半個月后,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體入篮,經(jīng)...
    沈念sama閱讀 44,186評論 1 303
  • 正文 獨居荒郊野嶺守林人離奇死亡陈瘦,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點故事閱讀 36,516評論 2 327
  • 正文 我和宋清朗相戀三年,在試婚紗的時候發(fā)現(xiàn)自己被綠了潮售。 大學(xué)時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片痊项。...
    茶點故事閱讀 38,650評論 1 340
  • 序言:一個原本活蹦亂跳的男人離奇死亡,死狀恐怖酥诽,靈堂內(nèi)的尸體忽然破棺而出鞍泉,到底是詐尸還是另有隱情,我是刑警寧澤肮帐,帶...
    沈念sama閱讀 34,329評論 4 330
  • 正文 年R本政府宣布咖驮,位于F島的核電站,受9級特大地震影響训枢,放射性物質(zhì)發(fā)生泄漏托修。R本人自食惡果不足惜,卻給世界環(huán)境...
    茶點故事閱讀 39,936評論 3 313
  • 文/蒙蒙 一恒界、第九天 我趴在偏房一處隱蔽的房頂上張望睦刃。 院中可真熱鬧,春花似錦十酣、人聲如沸涩拙。這莊子的主人今日做“春日...
    開封第一講書人閱讀 30,757評論 0 21
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽兴泥。三九已至,卻和暖如春洋幻,著一層夾襖步出監(jiān)牢的瞬間郁轻,已是汗流浹背。 一陣腳步聲響...
    開封第一講書人閱讀 31,991評論 1 266
  • 我被黑心中介騙來泰國打工文留, 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留好唯,地道東北人。 一個月前我還...
    沈念sama閱讀 46,370評論 2 360
  • 正文 我出身青樓燥翅,卻偏偏與公主長得像骑篙,于是被迫代替她去往敵國和親。 傳聞我的和親對象是個殘疾皇子森书,可洞房花燭夜當(dāng)晚...
    茶點故事閱讀 43,527評論 2 349

推薦閱讀更多精彩內(nèi)容