上下文金字塔
· 在密度預(yù)測(cè)過(guò)程中加入 局部信息+全局信息
· 第一次將焦點(diǎn)放在 生成高質(zhì)量密度圖，使用了PSNR/SSIM來(lái)評(píng)估
· 使用了對(duì)抗損失（ adversarial loss）喝噪，不只是歐幾里得損失（Euclidean loss）
補(bǔ)充解釋：
ablation study蚤氏，消融實(shí)驗(yàn)坟瓢，就是你在同時(shí)提出多個(gè)思路提升某個(gè)模型的時(shí)候岁诉，為了驗(yàn)證這幾個(gè)思路分別都是有效的娩贷，做的控制變量實(shí)驗(yàn)的工作纬乍。碱茁、
相關(guān)工作分類為：基于回歸的方法，基于密度圖的方法仿贬，基于CNN的方法
1 GCE
基于VGG-16的神經(jīng)網(wǎng)絡(luò),通過(guò)解析全局的上下文信息將輸入圖片分成不同密度等級(jí)（極低密度纽竣、低密度、中等密度、高密度蜓氨、極高密度）聋袋，留了VGG-16的所有卷積層,用新的全連接層替換掉了最后的三個(gè)全連接層來(lái)完成分類任務(wù)，后面兩個(gè)卷積層參數(shù)被微調(diào)穴吹，其他卷積層參數(shù)固定不變幽勒。
2 LCE
側(cè)重降低人群總數(shù)估計(jì)的誤差，使用一系列CNN網(wǎng)絡(luò)港令，LCE通過(guò)解析局部的上下文信息將輸入圖片patch分成不同密度等級(jí)（極低密度啥容、低密度、中等密度顷霹、高密度咪惠、極高密度）。
3 DME
多列的神經(jīng)網(wǎng)絡(luò)淋淀，(結(jié)構(gòu)類似與MCNN)硝逢。使用了更深的網(wǎng)絡(luò),修改了卷積核的尺寸和個(gè)數(shù).DME將輸入圖片映射到高維的特征圖,而不是直接生成密度圖。該特征圖將和GCE及LCE生成的上下文信息融合在一起作為F-CNN的輸入绅喉。
4 F-CNN
在DME中使用最大池化層(這對(duì)于實(shí)現(xiàn)平移不變性是必不可少的)渠鸽，導(dǎo)致了變小的特征圖和細(xì)節(jié)的丟失。為了生成高分辨率高質(zhì)量的密度圖柴罐，F(xiàn)-CNN使用了一系列卷積層和小數(shù)步長(zhǎng)卷積層,小數(shù)步長(zhǎng)卷積層幫助我們重建密度圖的細(xì)節(jié)徽缚。F-CNN的結(jié)構(gòu)為：CR(64,9)-CR(32,7)-TR(32)-CR(16,5)-TR(16)-C(1,1)，C:卷積層革屠，R:relu層凿试，T:小數(shù)步長(zhǎng)卷積層(反卷積層)，小數(shù)步長(zhǎng)卷積層保證了輸入和輸出的大小相同似芝。使用對(duì)抗損失和像素級(jí)歐氏損失的組合那婉，以端到端的方式與DME一起進(jìn)行訓(xùn)練。
訓(xùn)練
數(shù)據(jù)集：GCE訓(xùn)練集取原圖隨機(jī)位置的1/4大小的patch,LCE訓(xùn)練集取原圖隨機(jī)位置64x64的pathch党瓮。
GCE基于VGG-16详炬，所以輸入圖片被resize成224x224，LCE用64x64的patch訓(xùn)練寞奸，訓(xùn)練的ground truth種類由圖片的人數(shù)決定呛谜。GCE，LCE都使用交叉熵?fù)p失枪萄。
