BoW實現(xiàn)圖像分類報告

在一般圖像處理中常用的幾種特征有:
SIFTSURF靠闭、ORB帐我、OpponentColor
對一張圖片,其存在以上幾類不同的特征點阎毅,這些特征點具有尺度不變性焚刚,所以放大縮小或者旋轉(zhuǎn),都不影響特征點的匹配扇调。

因此矿咕,我們可以認為

將訓(xùn)練集中一張圖片上的所有相應(yīng)特征提取出來,進行分類學(xué)習(xí)狼钮。那么對于測試集合中的圖片碳柱,我們可以根據(jù)其中所有的特征點屬于某一類的概率,計算出這張圖片最有可能屬于的類熬芜。


但是莲镣,這樣的做法確是低效的,而且效果不良好的涎拉。

主要原因有(不妨假定瑞侮,我們現(xiàn)在提取的是SIFT特征):

  • 每張圖片都有成千個SIFT特征,因此1000張的測試圖片提取出來的特征向量可能有超過1e6個鼓拧。數(shù)據(jù)量過于龐大半火。
  • 每張圖片中本身存在一些實際上為噪音的特征點。比如季俩,背景上的SIFT特征钮糖,對于我們的分類本身屬于一定程度的干擾,當(dāng)然我們可以對SIFT特征進行一些篩選酌住。
  • 每張圖片能提取出的SIFT特征數(shù)目與圖片的大小有關(guān)店归。在實際測試中,比較大的圖片上酪我,比如fruits等等類的圖片可以有幾千個特征點消痛,而bear類因為每張圖片比較小只有幾百個特征點。這樣會導(dǎo)致訓(xùn)練數(shù)據(jù)的失衡都哭。(此處的SIFT特征還沒有篩選)

針對上述問題肄满,我們使用的是bag-of-words的方法來對每張圖片提取特征谴古。其主要的思路如下:

(1)依然是對每張圖片提取其特征點,比如提取了SIFT特征點
(2)對所有圖片的所有的SIFT特征點稠歉,整體進行kmeans聚類掰担,將詞劃分成多個不同的類,類的個數(shù)定義為wordCount怒炸。
(3)對每張圖片带饱,計算不同的類的SIFT特征的個數(shù),對應(yīng)所要得到的特征向量中的一個維度阅羹。則我們可以對每張圖片生成一個wordCount維的向量勺疼。


形象的理解bag-of-words可以這么看。
比如對于兩張狗的照片:


dog1
dog2

它們兩個是不同的捏鱼。如果把眼睛部分截取出來执庐,作為一個單詞,相似度就會很高导梆。而這兩點相似度很高的局部轨淌,對應(yīng)的SIFT特征也是很高的匹配度的。


word
word

對所有的狗來講看尼,可能每個與dog eye這個詞有關(guān)SIFT特征都會出現(xiàn)一次或者多次递鹉,而在其他類里面很可能這個詞有關(guān)的特征就不會出現(xiàn)。

所以我們可以認為所有的SIFT特征是可以劃分出不同的類的藏斩,也就是不同的詞(比如dog eye)躏结,這些被劃分出來的詞在不同的類中的出現(xiàn)頻率是不一樣的。而這個分類狰域,我們使用kmeans實現(xiàn)媳拴。

那么,比如狗兆览、世界杯屈溉、槍的特征通過聚類,可以被劃分成如下的單詞本拓颓。

words

則相應(yīng)的语婴,比如dog類在dogeye維度上的頻率就會更高一些描孟,worldcup在football維度上頻率會更高一些驶睦。


最后,使用的是SIFT+BoW模型+線性SVM匿醒,結(jié)果如下:
(截圖here)

其實并沒有那么理想场航,也是在意料之中的,因為對文本來講單詞的順序也許不是那么重要廉羔。但對于圖像來講溉痢,圖像的結(jié)構(gòu)還是很重要的,而我們在從使用SIFT特征開始就已經(jīng)破壞了圖像的結(jié)構(gòu)特征。所以這也是這種方法不能得到完美的原因孩饼。

最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
  • 序言:七十年代末髓削,一起剝皮案震驚了整個濱河市,隨后出現(xiàn)的幾起案子镀娶,更是在濱河造成了極大的恐慌立膛,老刑警劉巖,帶你破解...
    沈念sama閱讀 219,589評論 6 508
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件梯码,死亡現(xiàn)場離奇詭異宝泵,居然都是意外死亡,警方通過查閱死者的電腦和手機轩娶,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 93,615評論 3 396
  • 文/潘曉璐 我一進店門儿奶,熙熙樓的掌柜王于貴愁眉苦臉地迎上來,“玉大人鳄抒,你說我怎么就攤上這事闯捎。” “怎么了嘁酿?”我有些...
    開封第一講書人閱讀 165,933評論 0 356
  • 文/不壞的土叔 我叫張陵隙券,是天一觀的道長。 經(jīng)常有香客問我闹司,道長娱仔,這世上最難降的妖魔是什么? 我笑而不...
    開封第一講書人閱讀 58,976評論 1 295
  • 正文 為了忘掉前任游桩,我火速辦了婚禮牲迫,結(jié)果婚禮上,老公的妹妹穿的比我還像新娘借卧。我一直安慰自己盹憎,他們只是感情好,可當(dāng)我...
    茶點故事閱讀 67,999評論 6 393
  • 文/花漫 我一把揭開白布铐刘。 她就那樣靜靜地躺著陪每,像睡著了一般。 火紅的嫁衣襯著肌膚如雪镰吵。 梳的紋絲不亂的頭發(fā)上檩禾,一...
    開封第一講書人閱讀 51,775評論 1 307
  • 那天,我揣著相機與錄音疤祭,去河邊找鬼盼产。 笑死,一個胖子當(dāng)著我的面吹牛勺馆,可吹牛的內(nèi)容都是我干的戏售。 我是一名探鬼主播侨核,決...
    沈念sama閱讀 40,474評論 3 420
  • 文/蒼蘭香墨 我猛地睜開眼,長吁一口氣:“原來是場噩夢啊……” “哼灌灾!你這毒婦竟也來了搓译?” 一聲冷哼從身側(cè)響起,我...
    開封第一講書人閱讀 39,359評論 0 276
  • 序言:老撾萬榮一對情侶失蹤锋喜,失蹤者是張志新(化名)和其女友劉穎侥衬,沒想到半個月后,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體跑芳,經(jīng)...
    沈念sama閱讀 45,854評論 1 317
  • 正文 獨居荒郊野嶺守林人離奇死亡轴总,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點故事閱讀 38,007評論 3 338
  • 正文 我和宋清朗相戀三年,在試婚紗的時候發(fā)現(xiàn)自己被綠了博个。 大學(xué)時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片怀樟。...
    茶點故事閱讀 40,146評論 1 351
  • 序言:一個原本活蹦亂跳的男人離奇死亡,死狀恐怖盆佣,靈堂內(nèi)的尸體忽然破棺而出往堡,到底是詐尸還是另有隱情,我是刑警寧澤共耍,帶...
    沈念sama閱讀 35,826評論 5 346
  • 正文 年R本政府宣布虑灰,位于F島的核電站,受9級特大地震影響痹兜,放射性物質(zhì)發(fā)生泄漏穆咐。R本人自食惡果不足惜,卻給世界環(huán)境...
    茶點故事閱讀 41,484評論 3 331
  • 文/蒙蒙 一字旭、第九天 我趴在偏房一處隱蔽的房頂上張望对湃。 院中可真熱鬧,春花似錦遗淳、人聲如沸拍柒。這莊子的主人今日做“春日...
    開封第一講書人閱讀 32,029評論 0 22
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽拆讯。三九已至,卻和暖如春养叛,著一層夾襖步出監(jiān)牢的瞬間种呐,已是汗流浹背。 一陣腳步聲響...
    開封第一講書人閱讀 33,153評論 1 272
  • 我被黑心中介騙來泰國打工一铅, 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留陕贮,地道東北人堕油。 一個月前我還...
    沈念sama閱讀 48,420評論 3 373
  • 正文 我出身青樓潘飘,卻偏偏與公主長得像肮之,于是被迫代替她去往敵國和親。 傳聞我的和親對象是個殘疾皇子卜录,可洞房花燭夜當(dāng)晚...
    茶點故事閱讀 45,107評論 2 356

推薦閱讀更多精彩內(nèi)容

  • 這些年計算機視覺識別和搜索這個領(lǐng)域非常熱鬧戈擒,后期出現(xiàn)了很多的創(chuàng)業(yè)公司,大公司也在這方面也花了很多力氣在做艰毒。做視覺搜...
    方弟閱讀 6,499評論 6 24
  • 知乎上看到一個話題——目前火熱的 Deep Learning 會滅絕傳統(tǒng)的 SIFT / SURF 特征提取方法嗎...
    牛奶芝麻閱讀 100,854評論 4 81
  • 學(xué)習(xí)資料 SIFT特征提取分析-Rachel Zhang的專欄 SIFT原理與源碼分析(圖文并茂筐高,最詳細) Ope...
    keloli閱讀 4,087評論 2 9
  • 熱播劇《我的前半生》中,有一集劇情里丑瞧,走頭無路的羅子群又去找陳俊生借錢柑土,被子君數(shù)落后,說了一些令人扎心的臺詞绊汹。 我...
    清荷沐陽閱讀 839評論 9 23
  • 即 與NSData的description方法的相反 - (NSData *)dataWithHexString:...
    侯康柱閱讀 3,489評論 0 0