Elasticsearch段合并

elasticsearch 中每個(gè)索引都會(huì)創(chuàng)建一個(gè)到多個(gè)分片和零個(gè)到多個(gè)副本往枷,這些分片或副本實(shí)質(zhì)上都是lucene索引

歡迎訪問本人博客:http://wangnan.tech

lucene索引是基于多個(gè)索引段創(chuàng)建颗胡,索引文件中絕大部分?jǐn)?shù)據(jù)都是只寫一次付呕,讀多次媒峡,而只有用于保存文檔刪除信息的文件才會(huì)被多次更改

在某些時(shí)刻,當(dāng)某種條件滿足時(shí)掠手,多個(gè)索引段會(huì)被拷貝合并到一個(gè)更大的索引段抒巢,而那些舊的索引段會(huì)被拋棄并從磁盤中刪除,這操作叫做段合并(segment merging)

為什么要進(jìn)行段合并介粘?

  • 索引段的個(gè)數(shù)越多殖氏,搜索性能越低且消耗內(nèi)存更多
  • 索引段是不可變的,物理上你并不能從中刪除信息(如果你碰巧從索引中刪除了大量文檔姻采,但這些文檔只是做了刪除標(biāo)記雅采,物理上并沒有被刪除)而當(dāng)段合并發(fā)送時(shí),這些標(biāo)記為刪除的文檔并沒有被復(fù)制到新的索引段中

段合并好處

  • 當(dāng)多個(gè)索引段合并為一個(gè)的時(shí)候,會(huì)減少索引段的數(shù)量并提高搜索速度
  • 同時(shí)也會(huì)減少索引的容量(文檔數(shù))

段合并代價(jià)

  • IO操作代價(jià)婚瓜,在速度較慢的系統(tǒng)中宝鼓,段合并會(huì)顯著影響性能

elasticsearch允許用戶選擇段合并政策(merge policy)及儲(chǔ)存級(jí)節(jié)流(store level throttling)

選擇正確的段合并策略

盡管段合并是lucene的責(zé)任,elasticsearch也允許用戶配置想用的段合并策略
到目前為止有三種可用的合并策略:

  • tiered(默認(rèn))
    它能合并大小相似的索引段巴刻,并考慮每層允許的索引段的最大個(gè)數(shù)
  • log_byte_size
    該策略不斷地以字節(jié)數(shù)的對(duì)數(shù)為計(jì)算單位愚铡,選擇多個(gè)索引來合并創(chuàng)建新索引
  • log_doc
    與log_byte_size類似,不同的是前者基于索引的字節(jié)數(shù)計(jì)算胡陪,后者基于索引段文檔數(shù)計(jì)算

為了告知elasticsearch我們想使用的段合并策略沥寥,可以將配置文件的index.merge.policy字段淚痣成我們期望的段合并策略類型例如:index.merge.policy.type: tiered

調(diào)度

es允許我們定制合并策略的執(zhí)行方式,調(diào)度器分兩種
默認(rèn)的是并發(fā)合并調(diào)度器 ConcurrentMerge-Scheduler

并發(fā)合并調(diào)度器

該調(diào)度器使用多線程執(zhí)行索引合并操作

順序合并調(diào)度器

它使用同一個(gè)線程執(zhí)行所有的索引合并操作柠座,在執(zhí)行合并時(shí)邑雅,該線程的其他文檔處理都會(huì)被掛起,從而索引操作會(huì)延遲進(jìn)行

(注:內(nèi)容整理自《深入理解elasticsearch》)

最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
  • 序言:七十年代末妈经,一起剝皮案震驚了整個(gè)濱河市淮野,隨后出現(xiàn)的幾起案子,更是在濱河造成了極大的恐慌吹泡,老刑警劉巖骤星,帶你破解...
    沈念sama閱讀 217,657評(píng)論 6 505
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件,死亡現(xiàn)場(chǎng)離奇詭異荞胡,居然都是意外死亡妈踊,警方通過查閱死者的電腦和手機(jī),發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 92,889評(píng)論 3 394
  • 文/潘曉璐 我一進(jìn)店門泪漂,熙熙樓的掌柜王于貴愁眉苦臉地迎上來廊营,“玉大人,你說我怎么就攤上這事萝勤÷锻玻” “怎么了?”我有些...
    開封第一講書人閱讀 164,057評(píng)論 0 354
  • 文/不壞的土叔 我叫張陵敌卓,是天一觀的道長(zhǎng)慎式。 經(jīng)常有香客問我,道長(zhǎng)趟径,這世上最難降的妖魔是什么瘪吏? 我笑而不...
    開封第一講書人閱讀 58,509評(píng)論 1 293
  • 正文 為了忘掉前任,我火速辦了婚禮蜗巧,結(jié)果婚禮上掌眠,老公的妹妹穿的比我還像新娘。我一直安慰自己幕屹,他們只是感情好蓝丙,可當(dāng)我...
    茶點(diǎn)故事閱讀 67,562評(píng)論 6 392
  • 文/花漫 我一把揭開白布级遭。 她就那樣靜靜地躺著,像睡著了一般渺尘。 火紅的嫁衣襯著肌膚如雪挫鸽。 梳的紋絲不亂的頭發(fā)上,一...
    開封第一講書人閱讀 51,443評(píng)論 1 302
  • 那天鸥跟,我揣著相機(jī)與錄音丢郊,去河邊找鬼。 笑死医咨,一個(gè)胖子當(dāng)著我的面吹牛蚂夕,可吹牛的內(nèi)容都是我干的。 我是一名探鬼主播腋逆,決...
    沈念sama閱讀 40,251評(píng)論 3 418
  • 文/蒼蘭香墨 我猛地睜開眼,長(zhǎng)吁一口氣:“原來是場(chǎng)噩夢(mèng)啊……” “哼侈贷!你這毒婦竟也來了惩歉?” 一聲冷哼從身側(cè)響起,我...
    開封第一講書人閱讀 39,129評(píng)論 0 276
  • 序言:老撾萬(wàn)榮一對(duì)情侶失蹤俏蛮,失蹤者是張志新(化名)和其女友劉穎撑蚌,沒想到半個(gè)月后,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體搏屑,經(jīng)...
    沈念sama閱讀 45,561評(píng)論 1 314
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡争涌,尸身上長(zhǎng)有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 37,779評(píng)論 3 335
  • 正文 我和宋清朗相戀三年,在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了辣恋。 大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片亮垫。...
    茶點(diǎn)故事閱讀 39,902評(píng)論 1 348
  • 序言:一個(gè)原本活蹦亂跳的男人離奇死亡,死狀恐怖伟骨,靈堂內(nèi)的尸體忽然破棺而出饮潦,到底是詐尸還是另有隱情,我是刑警寧澤携狭,帶...
    沈念sama閱讀 35,621評(píng)論 5 345
  • 正文 年R本政府宣布继蜡,位于F島的核電站,受9級(jí)特大地震影響逛腿,放射性物質(zhì)發(fā)生泄漏稀并。R本人自食惡果不足惜,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 41,220評(píng)論 3 328
  • 文/蒙蒙 一单默、第九天 我趴在偏房一處隱蔽的房頂上張望碘举。 院中可真熱鬧,春花似錦雕凹、人聲如沸殴俱。這莊子的主人今日做“春日...
    開封第一講書人閱讀 31,838評(píng)論 0 22
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽(yáng)线欲。三九已至明场,卻和暖如春,著一層夾襖步出監(jiān)牢的瞬間李丰,已是汗流浹背苦锨。 一陣腳步聲響...
    開封第一講書人閱讀 32,971評(píng)論 1 269
  • 我被黑心中介騙來泰國(guó)打工, 沒想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留趴泌,地道東北人舟舒。 一個(gè)月前我還...
    沈念sama閱讀 48,025評(píng)論 2 370
  • 正文 我出身青樓,卻偏偏與公主長(zhǎng)得像嗜憔,于是被迫代替她去往敵國(guó)和親秃励。 傳聞我的和親對(duì)象是個(gè)殘疾皇子,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 44,843評(píng)論 2 354

推薦閱讀更多精彩內(nèi)容