Elasticsearch學(xué)習(xí)筆記(06) - 倒排索引簡介

Elasticsearch的核心是基于倒排索引惕虑。因此庇忌,我們有必要了解一下倒排索引算法义屏。

簡單的例子

既然有倒排索引但惶,那么也一定有正排索引。

我們以一本書為例湿蛔,每本書都有目錄頁,目錄頁里面的每條記錄都會存儲內(nèi)容的頁碼县爬,我們可以很快地通過頁碼查找到具體的文檔內(nèi)容阳啥。

假如,我們想根據(jù)某些關(guān)鍵詞财喳,查找他們在哪些文檔中出現(xiàn)了察迟,僅僅使用目錄頁可能沒辦法實現(xiàn)。而有的書籍有索引頁耳高,索引頁記錄了文檔關(guān)鍵詞到文檔頁碼的關(guān)聯(lián)關(guān)系扎瓶。這兒的索引頁就是倒排索引。

我們總結(jié)一下:

  • 目錄頁 - 正排索引泌枪,文章id到文檔內(nèi)容和單詞的關(guān)聯(lián)概荷。
  • 索引頁 - 倒排索引,單詞到文檔內(nèi)容的關(guān)聯(lián)碌燕。
正排索引

倒排索引

正排和倒排的類比

假如有3本書误证,每本書的id和內(nèi)容都不同,如下所示:

id Document
1 ElasticSearch Action
2 Mastering ElasticSearch
3 ElasticSearch Server

我們使用倒排索引修壕,可建立如下結(jié)構(gòu):

Term Count DocumentId:Position
ElasticSearch 3 1:0 2:1 3:0
Action 1 1:1
Mastering 1 2:0
Server 1 3:1

其實愈捅,倒排索引由以下內(nèi)容組成

  1. 單詞詞典 - 所有文檔的單詞,單詞到倒排列表的關(guān)聯(lián)關(guān)系
    • 單詞詞典可能會比較大慈鸠,我們可針對它建立單詞索引蓝谨。常使用B+Tree或hash表來實現(xiàn),以提高維護和查詢的性能
  2. 倒排列表 - 單詞和對應(yīng)的文檔組合,由倒排索引項組成譬巫。每個倒排索引項包含以下內(nèi)容:
    • 文檔id
    • TF咖楣,詞頻 - 單詞在文檔中出現(xiàn)的次數(shù)÷铺猓可用于相關(guān)性打分
    • Position截歉,位置 - 單詞在文檔中分詞的位置⊙塘悖可用于語句搜索
    • Offset瘪松,偏移量 - 單詞的開始位置∠前ⅲ可用于高亮顯示

以上面的例子為例宵睦,我們看一下單詞ElasticSearch的倒排列表是怎樣的。

id TF Position Offset
1 1 0 <0,13>
2 1 1 <10,23>
3 1 0 <0,13>

Elasticsearch中的倒排索引

  1. Elasticsearch的json文檔中墅诡,每個字段都可以加入到倒排索引
  2. 可指定某些字段不做索引
    • 優(yōu)點:節(jié)省存儲空間
    • 缺點:字段無法被搜索

總結(jié)

我們簡單地對倒排索引進行了說明壳嚎,且未深入將Elasticsearch里面的各種算法。希望通過這篇文章末早,讓讀者對于倒排索引有一個入門級的了解烟馅。

?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
  • 序言:七十年代末,一起剝皮案震驚了整個濱河市然磷,隨后出現(xiàn)的幾起案子郑趁,更是在濱河造成了極大的恐慌,老刑警劉巖姿搜,帶你破解...
    沈念sama閱讀 211,376評論 6 491
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件寡润,死亡現(xiàn)場離奇詭異,居然都是意外死亡舅柜,警方通過查閱死者的電腦和手機梭纹,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 90,126評論 2 385
  • 文/潘曉璐 我一進店門,熙熙樓的掌柜王于貴愁眉苦臉地迎上來致份,“玉大人变抽,你說我怎么就攤上這事〉椋” “怎么了瞬沦?”我有些...
    開封第一講書人閱讀 156,966評論 0 347
  • 文/不壞的土叔 我叫張陵,是天一觀的道長雇锡。 經(jīng)常有香客問我逛钻,道長,這世上最難降的妖魔是什么锰提? 我笑而不...
    開封第一講書人閱讀 56,432評論 1 283
  • 正文 為了忘掉前任曙痘,我火速辦了婚禮芳悲,結(jié)果婚禮上,老公的妹妹穿的比我還像新娘边坤。我一直安慰自己名扛,他們只是感情好,可當(dāng)我...
    茶點故事閱讀 65,519評論 6 385
  • 文/花漫 我一把揭開白布茧痒。 她就那樣靜靜地躺著肮韧,像睡著了一般。 火紅的嫁衣襯著肌膚如雪旺订。 梳的紋絲不亂的頭發(fā)上弄企,一...
    開封第一講書人閱讀 49,792評論 1 290
  • 那天,我揣著相機與錄音区拳,去河邊找鬼拘领。 笑死,一個胖子當(dāng)著我的面吹牛樱调,可吹牛的內(nèi)容都是我干的约素。 我是一名探鬼主播,決...
    沈念sama閱讀 38,933評論 3 406
  • 文/蒼蘭香墨 我猛地睜開眼笆凌,長吁一口氣:“原來是場噩夢啊……” “哼圣猎!你這毒婦竟也來了?” 一聲冷哼從身側(cè)響起乞而,我...
    開封第一講書人閱讀 37,701評論 0 266
  • 序言:老撾萬榮一對情侶失蹤样漆,失蹤者是張志新(化名)和其女友劉穎,沒想到半個月后晦闰,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體,經(jīng)...
    沈念sama閱讀 44,143評論 1 303
  • 正文 獨居荒郊野嶺守林人離奇死亡鳍怨,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點故事閱讀 36,488評論 2 327
  • 正文 我和宋清朗相戀三年呻右,在試婚紗的時候發(fā)現(xiàn)自己被綠了。 大學(xué)時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片鞋喇。...
    茶點故事閱讀 38,626評論 1 340
  • 序言:一個原本活蹦亂跳的男人離奇死亡声滥,死狀恐怖,靈堂內(nèi)的尸體忽然破棺而出侦香,到底是詐尸還是另有隱情落塑,我是刑警寧澤,帶...
    沈念sama閱讀 34,292評論 4 329
  • 正文 年R本政府宣布罐韩,位于F島的核電站憾赁,受9級特大地震影響,放射性物質(zhì)發(fā)生泄漏散吵。R本人自食惡果不足惜龙考,卻給世界環(huán)境...
    茶點故事閱讀 39,896評論 3 313
  • 文/蒙蒙 一蟆肆、第九天 我趴在偏房一處隱蔽的房頂上張望。 院中可真熱鬧晦款,春花似錦炎功、人聲如沸。這莊子的主人今日做“春日...
    開封第一講書人閱讀 30,742評論 0 21
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽。三九已至坛怪,卻和暖如春淤齐,著一層夾襖步出監(jiān)牢的瞬間,已是汗流浹背酝陈。 一陣腳步聲響...
    開封第一講書人閱讀 31,977評論 1 265
  • 我被黑心中介騙來泰國打工床玻, 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留,地道東北人沉帮。 一個月前我還...
    沈念sama閱讀 46,324評論 2 360
  • 正文 我出身青樓锈死,卻偏偏與公主長得像,于是被迫代替她去往敵國和親穆壕。 傳聞我的和親對象是個殘疾皇子待牵,可洞房花燭夜當(dāng)晚...
    茶點故事閱讀 43,494評論 2 348

推薦閱讀更多精彩內(nèi)容