一個(gè)圖像很難用文本注釋或關(guān)鍵字來(lái)描述赊堪，盡管后者在某種程度上與語(yǔ)義相關(guān)傲茄。原則上捐康，通過(guò)對(duì)圖像數(shù)據(jù)庫(kù)的廣泛調(diào)查畦幢，可以獲得一組涵蓋廣泛語(yǔ)義屬性的特定關(guān)鍵字（Cox E.A.，2000）潮孽。該集合意味著定義一般類別的一組附加關(guān)鍵字揪荣，例如，特定屬性“horse”生成要顯示的類別屬性“animal”恩商。
目前变逃，大多數(shù)流行的多媒體搜索引擎，包括所有第一代視覺信息怠堪，或圖像檢索(IR)系統(tǒng)揽乱，仍然是文本的，即使 Web 現(xiàn)在是一個(gè)基于多媒體的存儲(chǔ)庫(kù)粟矿，具有各種音頻凰棉、視頻、圖像和文本格式陌粹。 針對(duì)不同媒體類型的一些流行格式如下(Chang e.a撒犀，2001) :
在基于文本或關(guān)鍵字的搜索中，用戶指定關(guān)鍵字掏秩，并檢索與這些關(guān)鍵字相關(guān)的多媒體或舞。這種檢索強(qiáng)烈依賴于由文本字符串、關(guān)鍵字或完整腳本表示的元數(shù)據(jù)(Shih蒙幻，2002)映凳。 一些最近開發(fā)和部署的高效商業(yè)多媒體搜索引擎，如谷歌圖像搜索邮破、 AltaVista 照片搜索诈豌、 Lycos Pictures and Sounds仆救、 yahoo! Image Surfer 和 Lycos Fast MP3 Search，利用文本或基于關(guān)鍵字的檢索矫渔。 它需要一個(gè)描述多媒體內(nèi)容的倒排文件索引彤蔽，并允許獲得快速的查詢響應(yīng)。 建立索引是基于關(guān)鍵詞的多媒體信息檢索的核心部分庙洼。
另一種索引技術(shù)是將多媒體內(nèi)容劃分為類別顿痪，用戶可以通過(guò)這些分類瀏覽與類別關(guān)鍵字相匹配的感興趣的圖像，并使用圍繞多媒體內(nèi)容嵌入的文本作為識(shí)別其內(nèi)容的一種方式送膳。 但是關(guān)鍵字和文本只是隱式地與圖像 / 視頻 / 音頻內(nèi)容相關(guān)员魏，如果可以直接檢查這樣的內(nèi)容丑蛤，搜索結(jié)果可以顯著改進(jìn)叠聋。
