圖像檢索簡(jiǎn)介

什么是圖像檢索算法肪笋?

圖像檢索是從圖片檢索數(shù)據(jù)庫(kù)中檢索出滿足條件的圖片俊性,圖片檢索技術(shù)的研究根據(jù)描述圖像內(nèi)容方式的不同可以分成兩類(lèi):1)基于文本的圖像檢索技術(shù)堤框,簡(jiǎn)稱TBIR; 2) 基于內(nèi)容的圖像檢索技術(shù)朋蔫,簡(jiǎn)稱CBIR找都。 TBIR技術(shù)是利用文本描述的方式來(lái)檢索圖片萝究;CBIR技術(shù)是利用圖片的顏色免都,紋理以及圖片包含的物體,類(lèi)別等信息檢索圖片帆竹,它分為檢索同一個(gè)物體地不同圖片和檢索同一個(gè)類(lèi)別地圖片绕娘。

圖像檢索技術(shù)的步驟

圖像檢索技術(shù)主要包含幾個(gè)步驟:輸入圖片,特征提取栽连,度量學(xué)習(xí)险领,重排序
特征提取: 即將圖片數(shù)據(jù)進(jìn)行降維秒紧,提取數(shù)據(jù)的判別性信息绢陌,一般將一張圖片降維成一個(gè)向量;
度量學(xué)習(xí):利用度量函數(shù)熔恢,計(jì)算圖片特征之間的距離脐湾,作為loss, 訓(xùn)練特征提取網(wǎng)絡(luò),使得相似圖片提取的特征相似叙淌,不同類(lèi)的圖片提取的特征差異性較大秤掌。
重排序:利用數(shù)據(jù)間的流形關(guān)系,對(duì)度量結(jié)果進(jìn)行重新排序凿菩,從而得到更好的檢索結(jié)果机杜。

現(xiàn)存問(wèn)題

相同物體圖像檢索

相同物體圖像檢索是指對(duì)查詢圖像中的某一個(gè)物體,從圖像庫(kù)中找出包含有該物體的圖像衅谷。對(duì)于相同物體圖像檢索椒拗,在檢索相同物體或者目標(biāo)時(shí),易受拍攝環(huán)境的影響获黔,比如關(guān)照的變化蚀苛,尺度變化,視角變化玷氏,遮擋以及背景的雜亂等都會(huì)對(duì)檢索結(jié)果造成較大點(diǎn)的影響堵未。

相同類(lèi)別圖像檢索

相似圖像檢索的目標(biāo)是從圖像庫(kù)中查找出那些與給定查詢圖像屬于同一類(lèi)別的圖像。對(duì)于相同類(lèi)別圖像檢索盏触,面臨的主要問(wèn)題是屬于同一類(lèi)別的圖像類(lèi)內(nèi)變化巨大渗蟹,而不同類(lèi)的圖像類(lèi)間差異小块饺。

提升檢索性能的一些思考

檢索目標(biāo)背景雜亂

  1. 在實(shí)例檢索中,復(fù)雜的背景噪聲直接影響了最終的搜索性能雌芽。很多隊(duì)伍首先嘗試使用目標(biāo)檢測(cè)(faster-rcnn) RPN定位感興趣的區(qū)域授艰。 然后在進(jìn)一步地學(xué)習(xí)特征,比較相似度世落。 2. 預(yù)處理:自動(dòng)定位用戶感興趣的商品淮腾,去除背景,多主體等因素的影響屉佳,也有利于抽取的語(yǔ)義特征的對(duì)齊谷朝。

類(lèi)內(nèi)差異行性與類(lèi)間相似性(高層語(yǔ)義和底層特征融合)

很多方法都是用最后一個(gè)卷積層或全連接層的特征進(jìn)行檢索,而由于高層特征已經(jīng)損失了很多細(xì)節(jié)信息武花。對(duì)于更深的網(wǎng)絡(luò)圆凰,損失更嚴(yán)重。高層語(yǔ)義和底層特征融合很重要体箕。不同feature map 進(jìn)行融合送朱,這不僅利用了高層特征的語(yǔ)義信息,還考慮了低層特征的細(xì)節(jié)紋理信息干旁,使得實(shí)例搜索更加精準(zhǔn)。

提升速度

  1. 特征聚類(lèi) 2.通過(guò)識(shí)別目標(biāo)主體的品類(lèi)炮沐。使得在檢索時(shí)可以在該類(lèi)別的數(shù)據(jù)子庫(kù)進(jìn)行搜索争群,提升檢索的效果和效率

其他技術(shù)

  1. 將圖像相關(guān)文字描述與圖像的低層特征融入到一個(gè)CBIR系統(tǒng)中 2. 反饋技術(shù),強(qiáng)化學(xué)習(xí)大年。 3. 一階池化特征和二階池化特征融合换薄。二階池化方法通過(guò)捕捉圖像二階統(tǒng)計(jì)變量,如協(xié)方差等 4.聯(lián)合特征學(xué)習(xí)和屬性預(yù)測(cè)翔试。 同時(shí)學(xué)習(xí)特征和預(yù)測(cè)圖像的屬性(多任務(wù)訓(xùn)練)轻要,從而得到更區(qū)分性的特征。loss函數(shù)為softmax loss 和 度量學(xué)習(xí)loss相加垦缅。
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
  • 序言:七十年代末冲泥,一起剝皮案震驚了整個(gè)濱河市,隨后出現(xiàn)的幾起案子壁涎,更是在濱河造成了極大的恐慌凡恍,老刑警劉巖,帶你破解...
    沈念sama閱讀 217,826評(píng)論 6 506
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件怔球,死亡現(xiàn)場(chǎng)離奇詭異嚼酝,居然都是意外死亡,警方通過(guò)查閱死者的電腦和手機(jī)竟坛,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 92,968評(píng)論 3 395
  • 文/潘曉璐 我一進(jìn)店門(mén)闽巩,熙熙樓的掌柜王于貴愁眉苦臉地迎上來(lái)钧舌,“玉大人,你說(shuō)我怎么就攤上這事涎跨⊥荻常” “怎么了?”我有些...
    開(kāi)封第一講書(shū)人閱讀 164,234評(píng)論 0 354
  • 文/不壞的土叔 我叫張陵六敬,是天一觀的道長(zhǎng)碘赖。 經(jīng)常有香客問(wèn)我,道長(zhǎng)外构,這世上最難降的妖魔是什么普泡? 我笑而不...
    開(kāi)封第一講書(shū)人閱讀 58,562評(píng)論 1 293
  • 正文 為了忘掉前任,我火速辦了婚禮审编,結(jié)果婚禮上撼班,老公的妹妹穿的比我還像新娘。我一直安慰自己垒酬,他們只是感情好砰嘁,可當(dāng)我...
    茶點(diǎn)故事閱讀 67,611評(píng)論 6 392
  • 文/花漫 我一把揭開(kāi)白布。 她就那樣靜靜地躺著勘究,像睡著了一般矮湘。 火紅的嫁衣襯著肌膚如雪。 梳的紋絲不亂的頭發(fā)上口糕,一...
    開(kāi)封第一講書(shū)人閱讀 51,482評(píng)論 1 302
  • 那天砾淌,我揣著相機(jī)與錄音演熟,去河邊找鬼钾唬。 笑死仓犬,一個(gè)胖子當(dāng)著我的面吹牛,可吹牛的內(nèi)容都是我干的超棺。 我是一名探鬼主播向族,決...
    沈念sama閱讀 40,271評(píng)論 3 418
  • 文/蒼蘭香墨 我猛地睜開(kāi)眼,長(zhǎng)吁一口氣:“原來(lái)是場(chǎng)噩夢(mèng)啊……” “哼棠绘!你這毒婦竟也來(lái)了件相?” 一聲冷哼從身側(cè)響起,我...
    開(kāi)封第一講書(shū)人閱讀 39,166評(píng)論 0 276
  • 序言:老撾萬(wàn)榮一對(duì)情侶失蹤弄唧,失蹤者是張志新(化名)和其女友劉穎适肠,沒(méi)想到半個(gè)月后,有當(dāng)?shù)厝嗽跇?shù)林里發(fā)現(xiàn)了一具尸體候引,經(jīng)...
    沈念sama閱讀 45,608評(píng)論 1 314
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡侯养,尸身上長(zhǎng)有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 37,814評(píng)論 3 336
  • 正文 我和宋清朗相戀三年,在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了澄干。 大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片逛揩。...
    茶點(diǎn)故事閱讀 39,926評(píng)論 1 348
  • 序言:一個(gè)原本活蹦亂跳的男人離奇死亡柠傍,死狀恐怖,靈堂內(nèi)的尸體忽然破棺而出辩稽,到底是詐尸還是另有隱情惧笛,我是刑警寧澤,帶...
    沈念sama閱讀 35,644評(píng)論 5 346
  • 正文 年R本政府宣布逞泄,位于F島的核電站患整,受9級(jí)特大地震影響,放射性物質(zhì)發(fā)生泄漏喷众。R本人自食惡果不足惜各谚,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 41,249評(píng)論 3 329
  • 文/蒙蒙 一、第九天 我趴在偏房一處隱蔽的房頂上張望到千。 院中可真熱鬧昌渤,春花似錦、人聲如沸憔四。這莊子的主人今日做“春日...
    開(kāi)封第一講書(shū)人閱讀 31,866評(píng)論 0 22
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽(yáng)了赵。三九已至潜支,卻和暖如春,著一層夾襖步出監(jiān)牢的瞬間柿汛,已是汗流浹背毁腿。 一陣腳步聲響...
    開(kāi)封第一講書(shū)人閱讀 32,991評(píng)論 1 269
  • 我被黑心中介騙來(lái)泰國(guó)打工, 沒(méi)想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留苛茂,地道東北人。 一個(gè)月前我還...
    沈念sama閱讀 48,063評(píng)論 3 370
  • 正文 我出身青樓鸠窗,卻偏偏與公主長(zhǎng)得像妓羊,于是被迫代替她去往敵國(guó)和親。 傳聞我的和親對(duì)象是個(gè)殘疾皇子稍计,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 44,871評(píng)論 2 354

推薦閱讀更多精彩內(nèi)容