在基于內(nèi)容或語(yǔ)義的搜索中挤庇,檢索條件和查詢是根據(jù)與多媒體對(duì)象(音頻、圖像或視頻)的語(yǔ)義內(nèi)容相關(guān)的可計(jì)算數(shù)據(jù)特征來指定的掉分。大多數(shù)基于內(nèi)容的視頻信息檢索(CBIR)系統(tǒng)允許以幾種不同的方式搜索可視數(shù)據(jù)庫(kù)內(nèi)容锌俱,無(wú)論是單獨(dú)搜索還是組合搜索(Change E.A.,2001书斜;Shih擂煞,2002混弥,Smeuders E.A.,2000):颈娜。
一剑逃、一般的交互式瀏覽由不知道所需圖像或視頻剪輯的用戶進(jìn)行。
1.類別(主題)搜索
檢索代表特定類別的任意圖像(在本例中官辽,將視覺上相似的圖像聚集到組中可以減少檢索到的不需要的圖像的數(shù)量蛹磺,通過主題層次結(jié)構(gòu)進(jìn)行導(dǎo)航允許訪問目標(biāo)主題,然后僅瀏覽或搜索有限的圖像子集)同仆;
2.按關(guān)聯(lián)搜索
沒有具體目標(biāo)萤捆,根據(jù)用戶的相關(guān)反饋進(jìn)行迭代優(yōu)化。
二、以說明故事或文檔搜索
或者滿足期望的美學(xué)價(jià)值的任意的圖片
三俗或、特定圖片搜索或Query-by-X搜索
X可以是:
1.一個(gè)圖像例子或者一組由用戶在互聯(lián)網(wǎng)上任何地方指定的一組實(shí)例(Query-by-Example市怎,or QBE);與查詢圖像最相似的圖像按照相似度得分降序展示辛慰。
2.視覺素描使用系統(tǒng)提供的圖形繪制工具繪制用戶所需的圖像或者視頻剪輯区匠。
3.直接視覺特征規(guī)范(例如顏色、紋理帅腌、形狀和運(yùn)動(dòng)特性)驰弄,吸引更多技術(shù)用戶;
4.關(guān)鍵字或者完整的文本速客,由用戶輸入戚篙,用于搜索以前用該組關(guān)鍵字注釋過的可視信息。
可能的查詢范圍比僅僅根據(jù)是否存在簡(jiǎn)單的視覺特征或者簡(jiǎn)單的對(duì)象來檢索圖像范圍大得多溺职。
如果一個(gè)CBIR系統(tǒng)遵循一個(gè)QBE框架岔擂,顏色、紋理浪耘、形狀或者其他特征的查詢圖像乱灵,提取并存儲(chǔ)為元數(shù)據(jù),匹配圖像數(shù)據(jù)庫(kù)中的圖像元數(shù)據(jù)和返回的結(jié)果是基于匹配得分点待。 查詢也可以用來查找包含某些幾何圖形的圖像(Change E.A.阔蛉,2001)弃舒。
近年來癞埠,人們開發(fā)了大量的商用和研究用的基于內(nèi)容的檢索系統(tǒng)。 文本問題(如關(guān)鍵字)和視覺特征提取的組合是這些系統(tǒng)的基礎(chǔ)聋呢。 由于目前大多數(shù)可用圖像難以自動(dòng)獲得高層語(yǔ)義描述苗踪,系統(tǒng)主要考慮選定的低層特征,如顏色削锰、紋理通铲、主要圖像區(qū)域的形狀等,有時(shí)還添加一些特定的特征(如人臉器贩、皮膚特征或指紋)來描述特定的應(yīng)用領(lǐng)域颅夺。 目前開發(fā)的一些基本信息檢索系統(tǒng)列舉如下(Shih,2002) :
圖像的搜索方法與文本或數(shù)字字符串的搜索方法有很大不同蛹稍。 僅搜索文本元數(shù)據(jù)的確切查詢才有意義吧黄。 使用逐個(gè)相似性的查詢來搜索和檢索多媒體信息。 用戶使用可用界面定義要檢索的內(nèi)容唆姐,并且該查詢根據(jù)對(duì)一組描述所需數(shù)據(jù)的定量特征的要求來表示拗慨。 相似性要求的基本組如下(Castelli&Bergman,2002):
1.搜索范圍:查找具有給定范圍內(nèi)的特征的所有數(shù)據(jù)項(xiàng)(例如,圖像)赵抢,即剧蹂,在范圍[fmin,i烦却,fmax宠叼,i]內(nèi)的特征fi。
2.最近鄰搜索(KNN)找到k個(gè)最相似的數(shù)據(jù)項(xiàng)到查詢模板其爵。
3.距離內(nèi)搜索或A-cut (alpha-cut),查找具有比給定閾值A(chǔ)更好的相似性得分的所有數(shù)據(jù)項(xiàng)车吹,或者從查詢模板得到小于d的距離的所有數(shù)據(jù)項(xiàng)。
最近鄰查詢返回至少k個(gè)結(jié)果醋闭,而與它們與查詢的相似性無(wú)關(guān)窄驹。 另外兩種策略不限制返回的結(jié)果數(shù),并且可能返回空集证逻。 范圍搜索需要非常復(fù)雜的接口或查詢語(yǔ)言乐埠,而另外兩種類型使用支持逐個(gè)查詢的簡(jiǎn)單用戶界面。 但是它們需要特定的相似性度量或要定義的特征之間的距離囚企。