摘要：
行人重識別領(lǐng)域中晒来，通常認為的挑戰(zhàn)是不同攝像頭拍攝的圖片在視角、行人姿態(tài)周伦、光照夕春、背景、分辨率等視覺因素方面的巨大差異造成準(zhǔn)確率不高专挪。但是及志，現(xiàn)下只是認為這些因素會影響識別精度，并沒有定量的研究說明這些因素會怎樣影響一個 re-ID 系統(tǒng)的識別精度寨腔。這篇文章就嘗試從視角的角度去分析速侈，攝像頭視角的不同是怎么影響行人重識別精度的。因而標(biāo)題是from the viewpoint of viewpoint. 論文的主要貢獻是基于 unity 提出了一個包含1266個3d人體模型的靈活的合成數(shù)據(jù)引擎脆侮，可以隨意調(diào)節(jié)參數(shù)合成各種行人圖片锌畸；另一個是定量分析了攝像頭角度對于re-ID準(zhǔn)確率的影響勇劣。

PersonX 引擎

PersonX 是基于 unity 開發(fā)而成靖避，包含1266個精心設(shè)計的3d人體模型，其中有547個女性比默、719個男性幻捏。為了保證多樣性，PersonX系統(tǒng)開發(fā)人員手工設(shè)計了不同的年齡命咐、膚色篡九、體型、發(fā)型的人體模型醋奠，衣服有牛仔褲榛臼、長褲、短褲窜司、裙子沛善、T恤等，行人的動作則有走路塞祈、跑步金刁、站立、對話等等。而論文所使用的場景則是從unity 的 Asset Store中購買的尤蛮。這是一個較為自由的行人圖片合成系統(tǒng)媳友，所有的視覺變量都可以編輯。

PersonX 系統(tǒng)的數(shù)據(jù)采樣

視角的定義

論文中使用的視角主要是指臉部方向相對于 0° 視角轉(zhuǎn)動的度數(shù)产捞。

同一行人在同一個行走姿態(tài)下醇锚，不同視角的圖片

PersonX 數(shù)據(jù)集驗證

論文用IDE+1,Triplet Loss,PCB 三種方法分別在Market,Duke，還有合成的PersonX數(shù)據(jù)集上訓(xùn)練測試坯临，用以驗證合成數(shù)據(jù)集的有效性搂抒。

PersonX數(shù)據(jù)集驗證

驗證視角對Re-ID準(zhǔn)確度的影響

論文在這一部分主要探索了3個問題芳杏，攝像頭視角在訓(xùn)練集，query 集和 gallery 集是怎么影響re-ID性能的辟宗。這一部分的實驗都是基于PCB 方法爵赵。

1）訓(xùn)練集中的不同攝像頭角度對Re-ID準(zhǔn)確度的影響

實驗設(shè)置：

實驗設(shè)置

原始數(shù)據(jù)集包括了訓(xùn)練集和測試集中所有人物的36個角度的圖片。在這部分實驗中泊脐，作者從訓(xùn)練集里選擇性的刪除（或替換）了一些視角的照片空幻，從而分析缺失的視角對于Re-ID的影響。CG表示對每個id隨機刪除一些角度下的數(shù)據(jù)容客，EG表示對每個id刪除連續(xù)的角度下的數(shù)據(jù)秕铛，刪除的連續(xù)視角可能是左側(cè)視圖、右側(cè)視圖缩挑、正面視圖和背面視圖但两。上圖中的白色部分即為刪除的數(shù)據(jù)。
實驗結(jié)果：

實驗結(jié)果

有意思的是供置，仔細看上表中加粗的行谨湘，會發(fā)現(xiàn)，在3個對比實驗中芥丧，受傷的都是front和back視角紧阔。無論是刪除front或back視角(3/4中)，還是保留front和back視角(2/4,1/4中)续担，對應(yīng)的mAP都是最低的擅耽。在保留1/4訓(xùn)練集的實驗中，只保留front視角或back視角的mAP明顯比只保留left或right視角的mAP要低赤拒。論文中并沒有解釋這一點秫筏。這與我們一般人的想法可能有點沖突诱鞠，因為一般會認為正面和背面提供的信息比側(cè)面提供的信息要多。

論文在這一部分的結(jié)論是：
Missing viewpoint compromises training.
Missing continuous viewpoints are more detrimental than missing randomly viewpoints.
When limited training viewpoints are available,models can be better trained when left / right viewpoints are in training set than front/back viewpoints.

2）query set中的不同攝像頭角度對Re-ID準(zhǔn)確度的影響

實驗使用left(0°),front(90°),right(180°),back(270°)四個角度的圖片做訓(xùn)練这敬，然后分別用四個角度做query航夺，gallery則從0°到350°變化。

論文在這一部分的結(jié)論是

Query viewpoint of left / right generally yields higher re-ID accuracy than front / back viewpoints.

3）gallery set中的不同攝像頭角度對Re-ID準(zhǔn)確度的影響

論文在這一部分的結(jié)論是

Sometimes true matches whose viewpoints are dissimilar to the query are harder to be retrieved than false matches with a similar viewpoint.
The above problem gets more severe when the environment is less ideal, e.g., complex background, extreme illumination, and low resolution.

原文戳此
原文代碼
citation:
@article{DBLP:journals/corr/abs-1812-02162,
author = {Xiaoxiao Sun and Liang Zheng},
title = {Dissecting Person Re-identification from the Viewpoint of Viewpoint},
journal = {CoRR},
volume = {abs/1812.02162},
year = {2018}
}