學(xué)習(xí):
3D Dual-Fusion旨要通過(guò)減小域間間隙來(lái)提高檢測(cè)效果,特征級(jí)融合的難點(diǎn)在于融合不同的數(shù)據(jù)來(lái)源的同時(shí)猜敢,不丟失原域的信息奢啥。
本文是針對(duì)前面數(shù)據(jù)處理部分的研究髓抑,通過(guò)多級(jí)交互融合圖像和體素特征來(lái)實(shí)現(xiàn)將多模態(tài)原始數(shù)據(jù)轉(zhuǎn)化成具有多模態(tài)的密集BEV特征,將這種密集特征交由現(xiàn)有的3d目標(biāo)檢測(cè)器(如transfusion仗处,AutoAlign等)眯勾。
主要思想:如果在模態(tài)融合過(guò)程中分級(jí),特征轉(zhuǎn)換在特定階段只執(zhí)行一次婆誓,并且不執(zhí)行其他域之間的后續(xù)交互吃环,在一定程度上可以保留原域的特征信息。
方法:雙查詢(圖像和體素)機(jī)制引導(dǎo)洋幻,自注意力機(jī)制對(duì)v查詢做局部自注意力學(xué)習(xí)qv得到qv’模叙,雙查詢自適應(yīng)注意力層,將qv’做查詢Q鞋屈,將體素對(duì)應(yīng)圖像像素作為K,V范咨,做交叉注意力。
讀書:
要重輸出輕輸入
日常:
昨天八點(diǎn)就回宿舍玩了厂庇,認(rèn)真學(xué)了一天的感覺真好渠啊。