全球計算機視覺頂級會議 IEEE CVPR 2019 (Computer Vision and Pattern Recognition，即 IEEE 國際計算機視覺與模式識別會議) 即將于六月在美國長灘召開瘩绒，本屆大會總共錄取來自全球論文 1300 篇奴曙。CVPR 作為計算機視覺領(lǐng)域級別最高的研究會議，其錄取論文代表了計算機視覺領(lǐng)域在 2019 年最新和最高的科技水平以及未來發(fā)展潮流草讶。CVPR 官網(wǎng)顯示洽糟，今年有超過 5160 篇的大會論文投稿，錄取了 1300 篇論文堕战，比去年增長了 32.7%（2018 年論文錄取 979 篇）坤溃。

悉尼科技大學(xué)楊易教授組共有 8 篇論文被本屆 CVPR 大會接收，其中包括口頭報告論文 3 篇（Oral錄取率為 288/5160 = 5.58%）嘱丢。 部分錄取論文和百度薪介，英偉達(dá)，谷歌等公司合作越驻，在以下領(lǐng)域?qū)崿F(xiàn)進展： 行人重識別/生成汁政，遷移學(xué)習(xí)道偷，網(wǎng)絡(luò)結(jié)構(gòu)搜索，圖像生成记劈， 網(wǎng)絡(luò)壓縮勺鸦。

Joint Discriminative and Generative Learning for Person Re-identification (Oral)

Paper Link: https://arxiv.org/abs/1904.07223

Zhedong Zheng, Xiaodong Yang, Zhiding Yu, Liang Zheng, Yi Yang, Jan Kautz

?(視頻備份鏈接： B站：https://www.bilibili.com/video/av51439240/? ? 騰訊：https://v.qq.com/x/page/t0867x53ady.html)

行人重識別的難點在于不同攝像頭下人的類內(nèi)變化（包括攝像頭的視角/光照/人的姿態(tài)等）。本文沒有使用任何部件匹配的損失目木，而是僅僅讓模型去“看”更多的訓(xùn)練圖像來提升行人重識別的效果换途。而這些訓(xùn)練圖像都是由GAN生成的。相比于ICCV2017時第一篇使用GAN來生成行人圖像的文章[1]刽射，本文不僅在生成圖像質(zhì)量上有了大的提升军拟，同時也將行人重識別的模型與生成模型做了有機的結(jié)合。從行人重識別模型提取好的行人特征可以作為GAN的input vector誓禁，而GAN生成圖像可以用來finetune行人重識別模型懈息。

[1] Zheng, Zhedong, Liang Zheng, and Yi Yang. "Unlabeled samples generated by gan improve the person re-identification baseline in vitro." In ICCV 2017.

Taking A Closer Look at Domain Shift: Category-level Adversaries for Semantics Consistent Domain Adaptation (Oral)

Paper Link: https://arxiv.org/pdf/1809.09478.pdf

Code: https://github.com/RoyalVane/CLAN

Yawei Luo, Liang Zheng , Tao Guan , Junqing Yu, Yi Yang

基于深度學(xué)習(xí)的語義分割方法效果出眾，但需要大量的人工標(biāo)注進行監(jiān)督訓(xùn)練摹恰。借助于計算機虛擬圖像技術(shù)辫继，如3D游戲，可以獲得幾乎無限的自動標(biāo)注數(shù)據(jù)戒祠。然而虛擬圖像和現(xiàn)實圖像間存在嚴(yán)重的視覺差異（域偏移），導(dǎo)致訓(xùn)練出的模型在真實圖像數(shù)據(jù)集上的分割精度很低速种。傳統(tǒng)方法利用對抗訓(xùn)練減少源域（S）和目標(biāo)域（T）不同分布之間的差異姜盈，以加強網(wǎng)絡(luò)在域間的泛化能力。然而該類方法只能對齊全局特征分布配阵，忽略了同語義特征之間的語義一致性馏颂，在訓(xùn)練過程中容易造成負(fù)遷移。針對這一難點棋傍，作者采用了Co-training + Adversarial Training的方式坟乾，使用兩個互斥分類器诀蓉，根據(jù)分類器預(yù)測的差值來估計源域和目標(biāo)域中特征的局部語義對齊程度，以此動態(tài)計算針對每類特征的對抗損失權(quán)重，解決了域適應(yīng)語義分割中的語義不一致性問題和負(fù)遷移問題仍律。

Filter Pruning via Geometric Median for Deep Convolutional Neural Networks Acceleration (Oral)

Paper link：https://arxiv.org/abs/1811.00250

Code: https://github.com/he-y/filter-pruning-geometric-median

Yang He, Ping Liu, Ziwei Wang, Zhilan Hu, Yi Yang

本文提出了新的基于濾波器的幾何中心（geometric median）的剪枝算法，來對神經(jīng)網(wǎng)絡(luò)進行壓縮和加速⌒侵現(xiàn)有的剪枝算法普遍認(rèn)為特笋，范數(shù)（Lp-norm）小的濾波器可以被去掉而不影響網(wǎng)絡(luò)性能。由此對濾波器的范數(shù)有兩個要求拢切，一是濾波器范數(shù)分布的標(biāo)準(zhǔn)差要大蒂萎，二是最小的范數(shù)要足夠小。但是實際的經(jīng)過預(yù)訓(xùn)練神經(jīng)網(wǎng)絡(luò)模型并不滿足這兩個要求淮椰，這導(dǎo)致一些重要的濾波器被錯誤地剪掉五慈，影響了性能纳寂。本文從幾何的角度出發(fā)，認(rèn)為濾波器的幾何中心含有所有濾波器共同的信息泻拦，因此臨近幾何中心的濾波器是可以被去掉的毙芜。這種新的剪枝方法，打破了以前的剪枝算法對濾波器范數(shù)的要求聪轿，提高了剪枝算法的適應(yīng)性和并且取得了更好的性能爷肝。

DM-GAN: Dynamic Memory Generative Adversarial Networks for Text-to-Image Synthesis

Paper Link: https://arxiv.org/abs/1904.01310

Minfeng Zhu, Pingbo Pan, Wei Chen, Yi Yang

基于文本生成圖片是近年來新興的研究領(lǐng)域。當(dāng)前的方法首先生成比較粗糙的初始圖像陆错，然后再優(yōu)化圖像從而生成高分辨率的真實圖像灯抛。然而，目前大多數(shù)方法仍存在兩個問題：(1)當(dāng)前方法的結(jié)果很大程序上取決于初始圖像的質(zhì)量音瓷。(2)每個單詞對于不同的圖片內(nèi)容都有不同的信息量对嚼，但當(dāng)前方法在兩個階段中仍然保持了相同的單詞重要性，導(dǎo)致生成的圖像不能反映準(zhǔn)確的語義信息绳慎。在本工作中纵竖，我們提出動態(tài)記憶生成對抗網(wǎng)絡(luò)(DM-GAN)來生成高質(zhì)量的圖片。我們提出了一個動態(tài)記憶模塊來優(yōu)化粗糙的初始圖像杏愤，即使初始圖像生成不良靡砌，它也可以生成高質(zhì)量的圖像。DM-GAN還包括一個基于初始圖像選擇重要文本信息的記憶寫入門和一個自適應(yīng)融合圖片特征和文本信息的反饋門珊楼，從而驅(qū)動生成的圖像反映準(zhǔn)確的文本語義信息通殃。我們在COCO和CUB數(shù)據(jù)集上評估了我們的模型。實驗結(jié)果表明厕宗，我們的方法在FID和IS指標(biāo)以及真實性上都超過了當(dāng)前方法画舌。

Invariance Matters: Exemplar Memory for Domain Adaptive Person Re-identification?

Paper Link: https://arxiv.org/abs/1904.01990

Code: https://github.com/zhunzhong07/ECN

Zhun Zhong, Liang Zheng, Zhiming Luo, Shaozi Li

在跨數(shù)據(jù)集的場景下，行人再識別模型的性能往往會受到極大的影響已慢，尤其在源數(shù)據(jù)集和目標(biāo)數(shù)據(jù)集差異很大的情況下曲聂。當(dāng)前主流的方法主要通過降低兩個數(shù)據(jù)集之間的特征分布差異以提升模型對新數(shù)據(jù)集的魯棒性。然而佑惠，這些方法忽略了目標(biāo)數(shù)據(jù)集的域內(nèi)變化朋腋，這些變化中包含了影響目標(biāo)域性能的重要因素。本篇工作針對目標(biāo)數(shù)據(jù)集提出了三種潛在的域內(nèi)不變性（樣例不變性膜楷，相機不變性和鄰域不變性）乍丈。與此同時，作者提出了一個基于樣例的記憶模塊把将，使得在模型訓(xùn)練過程中能夠有效的引入提出的三種不變性限制轻专。實驗表明，該方法在三個行人再識別跨數(shù)據(jù)集場景下取得了當(dāng)前最好的結(jié)果察蹲，并大大的超過了現(xiàn)有的方法请垛。

Searching for A Robust Neural Architecture in Four GPU Hours

Paper Link: https://github.com/D-X-Y/GDAS/blob/master/data/GDAS.pdf

Xuanyi Dong, Yi Yang

神經(jīng)網(wǎng)絡(luò)搜索（neural architecture search, NAS）是現(xiàn)在非常熱門并且具有挑戰(zhàn)性的一個方向催训。目前大部分NAS方法都是基于強化學(xué)習(xí)或者遺傳算法，需要消耗海量的GPU資源宗收。這篇論文提出了一種利用可微網(wǎng)絡(luò)結(jié)構(gòu)采樣器的基于梯度的搜索方法（Gradient-based search using Differentiable Architecture Sampler漫拭，GDAS）能夠有效地減少搜索的GPU資源消耗。GDAS將整個搜索空間用一個有向無環(huán)圖（DAG）來表示混稽。針對這個DAG采驻，GDAS設(shè)計了一個可微的采樣器，GDAS在訓(xùn)練集上優(yōu)化DAG內(nèi)每個網(wǎng)絡(luò)結(jié)構(gòu)的參數(shù)匈勋，在驗證集上優(yōu)化這個可微的神經(jīng)網(wǎng)絡(luò)采樣器礼旅。實驗表明，在一個GPU上洽洁，通過幾個小時的搜索時間痘系，GDAS就可以在CIFAR-10數(shù)據(jù)集上找到一個高性能的網(wǎng)絡(luò)結(jié)構(gòu)。

Sim-Real Joint Reinforcement Transfer for 3D Indoor Navigation

Paper Link: https://arxiv.org/abs/1904.03895

Fengda Zhu, Linchao Zhu, Yi Yang

基于強化學(xué)習(xí)的室內(nèi)導(dǎo)航是最近的熱點問題饿自。機器人從室內(nèi)隨機一點出發(fā)汰翠，根據(jù)指令到達(dá)目標(biāo)位置。由于3D重建的數(shù)據(jù)集相比于計算機圖形學(xué)渲染的虛擬數(shù)據(jù)集采集較難而且數(shù)據(jù)量較小昭雌，這篇論文提出了一個端到端的模型复唤，通過遷移學(xué)習(xí)的方法將虛擬數(shù)據(jù)集上的強化學(xué)習(xí)策略遷移到真實數(shù)據(jù)集上。論文從對抗學(xué)習(xí)和模仿學(xué)習(xí)兩方面烛卧，分別完成了對底層圖像特征和高維強化策略的遷移任務(wù)佛纫，并獲得了比原有方法高20%以上的提升。

Contrastive Adaptation Network for Unsupervised Domain Adaptation

Paper Link: https://arxiv.org/pdf/1901.00976.pdf

Guoliang Kang, Lu Jiang, Yi Yang, Alexander G Hauptmann

無監(jiān)督域適應(yīng)旨在利用帶標(biāo)簽源域數(shù)據(jù)和無標(biāo)簽?zāi)繕?biāo)域數(shù)據(jù)唱星，獲得在目標(biāo)域數(shù)據(jù)上的優(yōu)良的預(yù)測性能雳旅。以往的方法在消除域差異的過程中沒有充分利用類別信息跟磨，導(dǎo)致對齊錯誤间聊，影響泛化性能。為了解決這些問題抵拘，這篇文章提出了新的域差異度量指標(biāo) “對比域差異” 來刻畫類內(nèi)和類間域差異哎榴，并且提出 “對比適應(yīng)網(wǎng)絡(luò)” 來優(yōu)化這個指標(biāo)。我們設(shè)計了新的類感知采樣方法僵蛛，采用交替更新的方式端到端地優(yōu)化我們的網(wǎng)絡(luò)尚蝌。我們在兩個標(biāo)準(zhǔn)數(shù)據(jù)集上取得了比現(xiàn)有的方法更好的性能。