轉(zhuǎn)載請(qǐng)注明作者：夢里風(fēng)林
更多文章可以關(guān)注我的個(gè)人博客
目標(biāo)
- 在視頻數(shù)據(jù)中找到人物（稀疏）
- 關(guān)聯(lián)大量不同攝像頭捕捉到的人物
- 自動(dòng)匹配和追蹤人物
Detect -> Track -> Retrieval
通常認(rèn)為的Re-id只是指Retrieval這個(gè)過程
- Re-id當(dāng)做identification任務(wù)時(shí)滚朵，目標(biāo)類似聚類
- Re-id當(dāng)做recognization任務(wù)時(shí),目標(biāo)類似Ranking
數(shù)據(jù)
- video-based
- image-based
- 個(gè)體的動(dòng)作行為
- 長期的活動(dòng)模式
常用數(shù)據(jù)集
最新的一些數(shù)據(jù)集
特點(diǎn)與困難
- 數(shù)據(jù)
- 攝像頭采集到的圖像數(shù)據(jù)的視角窘俺，環(huán)境，時(shí)間等都不同
- 攝像頭中出現(xiàn)的不同的人會(huì)相互干擾
- 一個(gè)人會(huì)出現(xiàn)在不同的攝像頭中
- 攝像距離不確定，人數(shù)不確定
- 訓(xùn)練數(shù)據(jù)與真實(shí)環(huán)境不一致，搜索空間大小不確定
Detect
- object detection圈出人物的精度不能完全滿足re-id的需求
- 人工識(shí)別代價(jià)高，不準(zhǔn)確，經(jīng)驗(yàn)不可遷移，需要自動(dòng)re-id
Feature
- 人臉識(shí)別和圖像細(xì)節(jié)不可靠础倍，太模糊
- 一般基于視覺特征，如衣著胎挎，持有物沟启，但這些特征辨識(shí)度很低，且很容易受光線視角影響犹菇，而且在衣著變化大的場合直接失效
- 特征表達(dá)很受攝像頭影響
- 特征類內(nèi)差異大于類間差異：同一個(gè)人在不同地方的樣子的差異大于不同人的差異
建模和系統(tǒng)設(shè)計(jì)
- 類間差異有時(shí)候小于類內(nèi)差異
- 樣本少德迹，因此往往不當(dāng)多分類問題來做，而當(dāng)做二分類問題做揭芍，給定一個(gè)人胳搞，判斷是不是同一個(gè)人
- 需要數(shù)據(jù)標(biāo)記，因此需要少的訓(xùn)練數(shù)據(jù)的算法往往更受青睞
- 不同攝像頭間泛化能力弱
- 性能
- 長時(shí)間的re-id沼沈，人物可能換衣服流酬，拿不同的東西，短時(shí)的特征會(huì)變得不可靠
評(píng)價(jià)標(biāo)準(zhǔn)：
Rank-1 accuracy：匹配百分比列另，CMC curve：匹配的出現(xiàn)在rank的前x的百分比
研究熱點(diǎn)
- 尋找受環(huán)境影響少的feature representation
- ML優(yōu)化Re-id模型
步驟
- 輸入軌跡或包含行人的矩形（可能由視頻監(jiān)控系統(tǒng)生成）
- 提取圖像特征，而不僅是像素點(diǎn)
- 構(gòu)建一個(gè)可視化的feature representation旦装，比如feature的柱狀圖
- 比較特征的相似度來匹配人物
- 匹配策略可能影響特征和超參數(shù)
特征表達(dá)
提取顏色页衙，紋理，空間結(jié)構(gòu)，容易可靠測量店乐，不同人不同攝像頭間這些特征都有一些區(qū)分度
- 通常結(jié)合多種視覺特征艰躺，做成特征直方圖，給不同特征加權(quán)重眨八，但特征越多越可能出現(xiàn)圖像匹配出錯(cuò)
- re-id首先要行人檢測腺兴，但行人檢測的準(zhǔn)確度不太能滿足re-id的需求，如果沒把行人圈出來廉侧，re-id的特征提取很容易受背景影響页响，所以很多工作會(huì)先嘗試把行人摳出來
- 檢測不同肢體部位來判斷姿態(tài)，利用對(duì)稱特點(diǎn)段誊；
- 將行人圖像分解成多個(gè)身體部位闰蚕，比較不同部位之間的相似度
- 捕捉人物身體3D特征，減小對(duì)衣著的依賴
- 擁擠場所精確行人檢測很困難连舍，捕捉行人之間的關(guān)系没陡，re-id一群人
從視覺特征中提取語義用于re-id，比如發(fā)型索赏，衣服風(fēng)格
建模學(xué)習(xí)
- 在相關(guān)的攝像頭之間做遷移盼玄，亮度遷移，姿態(tài)遷移潜腻，背景遷移等
- 距離測量:找到一個(gè)量度差異的量强岸，使得類中距離小，類外距離大：最近鄰砾赔，信息理論蝌箍，邏輯精度，概率相關(guān)暴心，RankSVM
- Match：最近鄰算法妓盲，support vector ranking，需要找距離的尺度专普，比如幾何距離等悯衬，然后調(diào)優(yōu)
- 減少數(shù)據(jù)標(biāo)記需求：半監(jiān)督稀疏標(biāo)記，遷移學(xué)習(xí)
- 把re-id當(dāng)做推斷問題來做檀夹，填充稀疏數(shù)據(jù)筋粗；條件隨機(jī)場；
- 上下文：合并同一軌跡上的多個(gè)幀炸渡，集合分析娜亿， 考慮外部上下文比如人群，學(xué)習(xí)攝像機(jī)網(wǎng)絡(luò)的拓?fù)洌?減少匹配搜索空間減少出錯(cuò)率蚌堵。
實(shí)驗(yàn)環(huán)境與真實(shí)環(huán)境
- 當(dāng)前數(shù)據(jù)集的局限
- 實(shí)際搜索空間巨大买决，會(huì)產(chǎn)生許多誤判沛婴，需要結(jié)合環(huán)境中其他知識(shí)來篩選，或者攝像頭拓?fù)渫茢嗳宋锍霈F(xiàn)在某一幀的可能性：同一個(gè)人在不同攝像頭出現(xiàn)的時(shí)間表達(dá)了攝像頭之間的距離督赤，尋找人群活動(dòng)模式的時(shí)空關(guān)系嘁灯，
人群re-id- 基于服飾屬性的特征描述
- 工程上應(yīng)用re-id成果的比較少，關(guān)注：相關(guān)性躲舌，容量丑婿，可用性。使用GPU没卸，結(jié)合軌跡
Other Idea
- 多模態(tài)：結(jié)合紅外信號(hào)羹奉，或者其他人的能量信號(hào)：運(yùn)動(dòng)時(shí)，能量的轉(zhuǎn)移和消耗因人而異办悟；利用聲音信號(hào)
- Deep learning
