什么是圖像檢索算法肪笋?
圖像檢索是從圖片檢索數(shù)據(jù)庫(kù)中檢索出滿足條件的圖片俊性,圖片檢索技術(shù)的研究根據(jù)描述圖像內(nèi)容方式的不同可以分成兩類(lèi):1)基于文本的圖像檢索技術(shù)堤框,簡(jiǎn)稱TBIR; 2) 基于內(nèi)容的圖像檢索技術(shù)朋蔫,簡(jiǎn)稱CBIR找都。 TBIR技術(shù)是利用文本描述的方式來(lái)檢索圖片萝究;CBIR技術(shù)是利用圖片的顏色免都,紋理以及圖片包含的物體,類(lèi)別等信息檢索圖片帆竹,它分為檢索同一個(gè)物體地不同圖片和檢索同一個(gè)類(lèi)別地圖片绕娘。
圖像檢索技術(shù)的步驟
圖像檢索技術(shù)主要包含幾個(gè)步驟:輸入圖片,特征提取栽连,度量學(xué)習(xí)险领,重排序
特征提取: 即將圖片數(shù)據(jù)進(jìn)行降維秒紧,提取數(shù)據(jù)的判別性信息绢陌,一般將一張圖片降維成一個(gè)向量;
度量學(xué)習(xí):利用度量函數(shù)熔恢,計(jì)算圖片特征之間的距離脐湾,作為loss, 訓(xùn)練特征提取網(wǎng)絡(luò),使得相似圖片提取的特征相似叙淌,不同類(lèi)的圖片提取的特征差異性較大秤掌。
重排序:利用數(shù)據(jù)間的流形關(guān)系,對(duì)度量結(jié)果進(jìn)行重新排序凿菩,從而得到更好的檢索結(jié)果机杜。
現(xiàn)存問(wèn)題
相同物體圖像檢索
相同物體圖像檢索是指對(duì)查詢圖像中的某一個(gè)物體,從圖像庫(kù)中找出包含有該物體的圖像衅谷。對(duì)于相同物體圖像檢索椒拗,在檢索相同物體或者目標(biāo)時(shí),易受拍攝環(huán)境的影響获黔,比如關(guān)照的變化蚀苛,尺度變化,視角變化玷氏,遮擋以及背景的雜亂等都會(huì)對(duì)檢索結(jié)果造成較大點(diǎn)的影響堵未。
相同類(lèi)別圖像檢索
相似圖像檢索的目標(biāo)是從圖像庫(kù)中查找出那些與給定查詢圖像屬于同一類(lèi)別的圖像。對(duì)于相同類(lèi)別圖像檢索盏触,面臨的主要問(wèn)題是屬于同一類(lèi)別的圖像類(lèi)內(nèi)變化巨大渗蟹,而不同類(lèi)的圖像類(lèi)間差異小块饺。
提升檢索性能的一些思考
檢索目標(biāo)背景雜亂
- 在實(shí)例檢索中,復(fù)雜的背景噪聲直接影響了最終的搜索性能雌芽。很多隊(duì)伍首先嘗試使用目標(biāo)檢測(cè)(faster-rcnn) RPN定位感興趣的區(qū)域授艰。 然后在進(jìn)一步地學(xué)習(xí)特征,比較相似度世落。 2. 預(yù)處理:自動(dòng)定位用戶感興趣的商品淮腾,去除背景,多主體等因素的影響屉佳,也有利于抽取的語(yǔ)義特征的對(duì)齊谷朝。
類(lèi)內(nèi)差異行性與類(lèi)間相似性(高層語(yǔ)義和底層特征融合)
很多方法都是用最后一個(gè)卷積層或全連接層的特征進(jìn)行檢索,而由于高層特征已經(jīng)損失了很多細(xì)節(jié)信息武花。對(duì)于更深的網(wǎng)絡(luò)圆凰,損失更嚴(yán)重。高層語(yǔ)義和底層特征融合很重要体箕。不同feature map 進(jìn)行融合送朱,這不僅利用了高層特征的語(yǔ)義信息,還考慮了低層特征的細(xì)節(jié)紋理信息干旁,使得實(shí)例搜索更加精準(zhǔn)。
提升速度
- 特征聚類(lèi) 2.通過(guò)識(shí)別目標(biāo)主體的品類(lèi)炮沐。使得在檢索時(shí)可以在該類(lèi)別的數(shù)據(jù)子庫(kù)進(jìn)行搜索争群,提升檢索的效果和效率
其他技術(shù)
- 將圖像相關(guān)文字描述與圖像的低層特征融入到一個(gè)CBIR系統(tǒng)中 2. 反饋技術(shù),強(qiáng)化學(xué)習(xí)大年。 3. 一階池化特征和二階池化特征融合换薄。二階池化方法通過(guò)捕捉圖像二階統(tǒng)計(jì)變量,如協(xié)方差等 4.聯(lián)合特征學(xué)習(xí)和屬性預(yù)測(cè)翔试。 同時(shí)學(xué)習(xí)特征和預(yù)測(cè)圖像的屬性(多任務(wù)訓(xùn)練)轻要,從而得到更區(qū)分性的特征。loss函數(shù)為softmax loss 和 度量學(xué)習(xí)loss相加垦缅。