Deep Attributes Driven Multi-camera Person Re-identification

ECCV 2016 person re-identification相關(guān) 第三篇

目前做person reID主要有兩個(gè)方面:

  • extracting and coding local invariant features to represent the visual appearance of a person
  • learning a discriminative distance metric hence the distance of features from the same person can be smaller

在這篇文章中,作者聚焦于第一方面弄企。在features方面超燃,作者使用人的attribute,作者認(rèn)為人的attribute屬于mid level拘领,這相對(duì)于color LBP這種low level的視覺(jué)特征意乓,能更好的應(yīng)對(duì)光照、角度约素、姿勢(shì)等變化因素届良。但是人工標(biāo)注attribute的數(shù)據(jù)比傳統(tǒng)的標(biāo)注數(shù)據(jù)的代價(jià)更為昂貴,所以目前還是以low level的特征為主圣猎。

作者提出的方法的優(yōu)勢(shì)在于:

  • we propose a three- stage semi-supervised deep attribute learning algorithm, which makes learning a large set of human attributes from a limited number of labeled attribute data possible
  • deep attributes achieve promising performance and generalization ability on four person ReID datasets
  • deep attributes release the previous dependencies on local features, thus make the person ReID system more robust and efficient

作者使用dCNN來(lái)預(yù)測(cè)human attributes士葫,并用于person reID,這是original的样漆。

主要思想

作者的目的就是要學(xué)習(xí)一個(gè)attribute detector O:


其中I是輸入圖像为障,AI是binary的attribute。比如這個(gè)attribute是[有長(zhǎng)發(fā)放祟,女性鳍怨,戴眼鏡],那么對(duì)應(yīng)就是[1跪妥,1鞋喇,1]。如果是[短發(fā)眉撵,女性侦香,沒(méi)戴眼鏡]落塑,那么就是[0,1罐韩,0]

前文提到了他們這是一個(gè)three-stage semi-supervised deep attribute learning algorithm憾赁,所以這里分為三個(gè)part來(lái)介紹

第一步

用AlexNet來(lái)訓(xùn)練,訓(xùn)練數(shù)據(jù)寶貴的有標(biāo)注attribute的數(shù)據(jù)散吵,一共N個(gè)sample龙考,第n個(gè)sample tn的attribute是An。得到第一步訓(xùn)練的attribute detector O1

第二步

We denote the dataset with person ID labels as U = {u1, u2, ..., uM }, where M is the number of samples and each sample has a person ID label l, e.g., the m-th instance um has person ID lm.
可以理解為矾睦,這部分?jǐn)?shù)據(jù)是沒(méi)有attribute label標(biāo)注的晦款,但是有ID標(biāo)注,就是標(biāo)準(zhǔn)的用于re ID 的數(shù)據(jù)枚冗,比如這一個(gè)sequence是誰(shuí)缓溅,那個(gè)sequence是誰(shuí) 。選一個(gè)sequence 作為anchor 一個(gè)sequence作為positive 再一個(gè)sequence作為negative a triplet [u(a),u(p),u(n)] is constructed 然后拿第一步里訓(xùn)練好的模型O1分別預(yù)測(cè)這三個(gè)sequence 赁温,最小化anchor和positive之間的distance 最大化anchor 和 negative之間的distance 坛怪。
目標(biāo)函數(shù)如下:
We denote the dataset with person ID labels as U = {u1, u2, ..., uM }, where M is the number of samples and each sample has a person ID label l, e.g., the m-th instance um has person ID lm. 可以理解為,這部分?jǐn)?shù)據(jù)是沒(méi)有attribute label標(biāo)注的束世,但是有ID標(biāo)注酝陈,就是標(biāo)準(zhǔn)的用于re ID 的數(shù)據(jù),比如這一個(gè)sequence是誰(shuí)毁涉,那個(gè)sequence是誰(shuí) 沉帮。選一個(gè)sequence 作為anchor 一個(gè)sequence作為positive 再一個(gè)sequence作為negative a triplet [u(a),u(p),u(n)] is constructed 然后拿第一步里訓(xùn)練好的模型分別預(yù)測(cè)這三個(gè)sequence ,最小化anchor和positive之間的distance 最大化anchor 和 negative之間的distance loss function如下


However, the person ID label is not strong enough to train the dCNN with accurate attributes. Without proper constraints, the above loss function may generate meaningless attribute labels and easily over- fit the training dataset U. For example, imposing a large number meaningless attributes to two samples of a person may decrease the distance between their attribute labels, but does not help to improve the discriminative power of the dCNN. Therefore, we add several regularization terms and modify the original loss function as:

由此得到第二步訓(xùn)練的attribute detector O2

第三步

拿O2對(duì)第二步的數(shù)據(jù)庫(kù)進(jìn)行attribute的detect贫堰,得到一個(gè)有attribute標(biāo)注的新的數(shù)據(jù)庫(kù)穆壕,然后把這個(gè)數(shù)據(jù)庫(kù)和第一步的數(shù)據(jù)庫(kù)結(jié)合在一起,再對(duì)O2進(jìn)行fine-tuning

NOTE:作者第一步用的數(shù)據(jù)庫(kù)是PETA,第二步用的數(shù)據(jù)庫(kù)是MOT

最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
  • 序言:七十年代末其屏,一起剝皮案震驚了整個(gè)濱河市喇勋,隨后出現(xiàn)的幾起案子,更是在濱河造成了極大的恐慌偎行,老刑警劉巖川背,帶你破解...
    沈念sama閱讀 222,627評(píng)論 6 517
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件,死亡現(xiàn)場(chǎng)離奇詭異蛤袒,居然都是意外死亡熄云,警方通過(guò)查閱死者的電腦和手機(jī),發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 95,180評(píng)論 3 399
  • 文/潘曉璐 我一進(jìn)店門妙真,熙熙樓的掌柜王于貴愁眉苦臉地迎上來(lái)缴允,“玉大人,你說(shuō)我怎么就攤上這事珍德×钒悖” “怎么了矗漾?”我有些...
    開(kāi)封第一講書(shū)人閱讀 169,346評(píng)論 0 362
  • 文/不壞的土叔 我叫張陵,是天一觀的道長(zhǎng)薄料。 經(jīng)常有香客問(wèn)我敞贡,道長(zhǎng),這世上最難降的妖魔是什么都办? 我笑而不...
    開(kāi)封第一講書(shū)人閱讀 60,097評(píng)論 1 300
  • 正文 為了忘掉前任嫡锌,我火速辦了婚禮,結(jié)果婚禮上琳钉,老公的妹妹穿的比我還像新娘。我一直安慰自己蛛倦,他們只是感情好歌懒,可當(dāng)我...
    茶點(diǎn)故事閱讀 69,100評(píng)論 6 398
  • 文/花漫 我一把揭開(kāi)白布。 她就那樣靜靜地躺著溯壶,像睡著了一般及皂。 火紅的嫁衣襯著肌膚如雪。 梳的紋絲不亂的頭發(fā)上且改,一...
    開(kāi)封第一講書(shū)人閱讀 52,696評(píng)論 1 312
  • 那天验烧,我揣著相機(jī)與錄音,去河邊找鬼又跛。 笑死碍拆,一個(gè)胖子當(dāng)著我的面吹牛,可吹牛的內(nèi)容都是我干的慨蓝。 我是一名探鬼主播感混,決...
    沈念sama閱讀 41,165評(píng)論 3 422
  • 文/蒼蘭香墨 我猛地睜開(kāi)眼,長(zhǎng)吁一口氣:“原來(lái)是場(chǎng)噩夢(mèng)啊……” “哼礼烈!你這毒婦竟也來(lái)了弧满?” 一聲冷哼從身側(cè)響起,我...
    開(kāi)封第一講書(shū)人閱讀 40,108評(píng)論 0 277
  • 序言:老撾萬(wàn)榮一對(duì)情侶失蹤此熬,失蹤者是張志新(化名)和其女友劉穎庭呜,沒(méi)想到半個(gè)月后,有當(dāng)?shù)厝嗽跇?shù)林里發(fā)現(xiàn)了一具尸體犀忱,經(jīng)...
    沈念sama閱讀 46,646評(píng)論 1 319
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡募谎,尸身上長(zhǎng)有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 38,709評(píng)論 3 342
  • 正文 我和宋清朗相戀三年,在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了峡碉。 大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片近哟。...
    茶點(diǎn)故事閱讀 40,861評(píng)論 1 353
  • 序言:一個(gè)原本活蹦亂跳的男人離奇死亡,死狀恐怖鲫寄,靈堂內(nèi)的尸體忽然破棺而出吉执,到底是詐尸還是另有隱情疯淫,我是刑警寧澤,帶...
    沈念sama閱讀 36,527評(píng)論 5 351
  • 正文 年R本政府宣布戳玫,位于F島的核電站熙掺,受9級(jí)特大地震影響,放射性物質(zhì)發(fā)生泄漏咕宿。R本人自食惡果不足惜币绩,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 42,196評(píng)論 3 336
  • 文/蒙蒙 一、第九天 我趴在偏房一處隱蔽的房頂上張望府阀。 院中可真熱鬧缆镣,春花似錦、人聲如沸试浙。這莊子的主人今日做“春日...
    開(kāi)封第一講書(shū)人閱讀 32,698評(píng)論 0 25
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽(yáng)田巴。三九已至钠糊,卻和暖如春,著一層夾襖步出監(jiān)牢的瞬間壹哺,已是汗流浹背抄伍。 一陣腳步聲響...
    開(kāi)封第一講書(shū)人閱讀 33,804評(píng)論 1 274
  • 我被黑心中介騙來(lái)泰國(guó)打工, 沒(méi)想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留管宵,地道東北人截珍。 一個(gè)月前我還...
    沈念sama閱讀 49,287評(píng)論 3 379
  • 正文 我出身青樓,卻偏偏與公主長(zhǎng)得像啄糙,于是被迫代替她去往敵國(guó)和親笛臣。 傳聞我的和親對(duì)象是個(gè)殘疾皇子,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 45,860評(píng)論 2 361

推薦閱讀更多精彩內(nèi)容