ElasticSearch的坑

ElasticSearch使用時剩愧,一開始因為數(shù)據(jù)量比較小冬筒,使用都比較隨意瞪慧,也沒有在意很多參數(shù)髓考,只要實現(xiàn)高可用就可以了,但是隨著數(shù)據(jù)量的不斷增大弃酌,過程中遇到了一系列的問題

遇到的問題

  • 創(chuàng)建索引太慢

Elasticsearch創(chuàng)建分片的速度會隨著集群內(nèi)分片數(shù)的增加而變慢氨菇。以ES 5.5.2版本、3節(jié)點集群為例妓湘,在默認(rèn)配置下查蓉,當(dāng)集群分片數(shù)超過1w時,創(chuàng)建index的耗時一般在幾十秒甚至以上榜贴。

ElasticSearch默認(rèn)是5個分片豌研,1個副本,相當(dāng)于每創(chuàng)建一個索引就會產(chǎn)生10個分片唬党。一開始沒有問題鹃共,后來索引數(shù)目達到了4000左右(其中大部分?jǐn)?shù)據(jù)量都很小,幾十M而已)驶拱,也就是有超過1萬的分片存在霜浴,所有節(jié)點都需要維護分片和節(jié)點的關(guān)系,而且為了保證一致性蓝纲,都是單線程更新坷随,所以效率很低房铭。

  • 重啟ElasticSearch節(jié)點出現(xiàn)大量未分配分片

當(dāng)一個節(jié)點不可達后,為了盡快恢復(fù)集群的高可用特性温眉,ElasticSearch會盡快地重新調(diào)整分片缸匪,沒有副本的,也會全量復(fù)制分片类溢。當(dāng)節(jié)點恢復(fù)后凌蔬,集群又會再次重新調(diào)整分片,達到負(fù)載均衡的目的

修改延遲分配時間為5分鐘

PUT _all/_settings
{
  "settings": {
    "index.unassigned.node_left.delayed_timeout": "5m"
  }
}
  • 關(guān)閉一個節(jié)點后闯冷,集群狀態(tài)變成red

當(dāng)時有部分索引的主分片一直沒有分配砂心,導(dǎo)致集群處于red狀態(tài)。當(dāng)時沒有仔細分析原因蛇耀,只是快速地把那部分索引進行重建處理(從其他數(shù)據(jù)源導(dǎo)入)辩诞。當(dāng)時還不知道怎么查看未分配的原因,其實可以查看分片詳情命令纺涤,看到未分配的原因

#分片詳情命令译暂,查看未分配的原因
_cat/shards?h=index,shard,prirep,state,unassigned.reason&v

采用的措施有:手工分配,但是系統(tǒng)表示不支持命令allocate

最佳實踐

  • 索引很小撩炊,shard設(shè)置為1外永,replica也是1就可以了
  • ElasticSearch推薦的最大JVM堆空間是30~32G
  • 一般一個分片不要超過50GB
  • 索引穩(wěn)定后,可以使用forcemerge拧咳,提高檢索效率
  • shrink index API

參考

?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
  • 序言:七十年代末伯顶,一起剝皮案震驚了整個濱河市,隨后出現(xiàn)的幾起案子骆膝,更是在濱河造成了極大的恐慌祭衩,老刑警劉巖,帶你破解...
    沈念sama閱讀 217,185評論 6 503
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件阅签,死亡現(xiàn)場離奇詭異掐暮,居然都是意外死亡,警方通過查閱死者的電腦和手機愉择,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 92,652評論 3 393
  • 文/潘曉璐 我一進店門劫乱,熙熙樓的掌柜王于貴愁眉苦臉地迎上來织中,“玉大人锥涕,你說我怎么就攤上這事∠梁穑” “怎么了层坠?”我有些...
    開封第一講書人閱讀 163,524評論 0 353
  • 文/不壞的土叔 我叫張陵,是天一觀的道長刁笙。 經(jīng)常有香客問我破花,道長谦趣,這世上最難降的妖魔是什么? 我笑而不...
    開封第一講書人閱讀 58,339評論 1 293
  • 正文 為了忘掉前任座每,我火速辦了婚禮前鹅,結(jié)果婚禮上,老公的妹妹穿的比我還像新娘峭梳。我一直安慰自己舰绘,他們只是感情好,可當(dāng)我...
    茶點故事閱讀 67,387評論 6 391
  • 文/花漫 我一把揭開白布葱椭。 她就那樣靜靜地躺著捂寿,像睡著了一般。 火紅的嫁衣襯著肌膚如雪孵运。 梳的紋絲不亂的頭發(fā)上秦陋,一...
    開封第一講書人閱讀 51,287評論 1 301
  • 那天,我揣著相機與錄音治笨,去河邊找鬼驳概。 笑死,一個胖子當(dāng)著我的面吹牛大磺,可吹牛的內(nèi)容都是我干的抡句。 我是一名探鬼主播,決...
    沈念sama閱讀 40,130評論 3 418
  • 文/蒼蘭香墨 我猛地睜開眼杠愧,長吁一口氣:“原來是場噩夢啊……” “哼待榔!你這毒婦竟也來了?” 一聲冷哼從身側(cè)響起流济,我...
    開封第一講書人閱讀 38,985評論 0 275
  • 序言:老撾萬榮一對情侶失蹤锐锣,失蹤者是張志新(化名)和其女友劉穎,沒想到半個月后绳瘟,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體雕憔,經(jīng)...
    沈念sama閱讀 45,420評論 1 313
  • 正文 獨居荒郊野嶺守林人離奇死亡,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點故事閱讀 37,617評論 3 334
  • 正文 我和宋清朗相戀三年糖声,在試婚紗的時候發(fā)現(xiàn)自己被綠了斤彼。 大學(xué)時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片。...
    茶點故事閱讀 39,779評論 1 348
  • 序言:一個原本活蹦亂跳的男人離奇死亡蘸泻,死狀恐怖琉苇,靈堂內(nèi)的尸體忽然破棺而出,到底是詐尸還是另有隱情悦施,我是刑警寧澤轮听,帶...
    沈念sama閱讀 35,477評論 5 345
  • 正文 年R本政府宣布郭赐,位于F島的核電站瑰枫,受9級特大地震影響,放射性物質(zhì)發(fā)生泄漏土陪。R本人自食惡果不足惜,卻給世界環(huán)境...
    茶點故事閱讀 41,088評論 3 328
  • 文/蒙蒙 一肴熏、第九天 我趴在偏房一處隱蔽的房頂上張望鬼雀。 院中可真熱鬧,春花似錦蛙吏、人聲如沸取刃。這莊子的主人今日做“春日...
    開封第一講書人閱讀 31,716評論 0 22
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽璧疗。三九已至,卻和暖如春馁龟,著一層夾襖步出監(jiān)牢的瞬間崩侠,已是汗流浹背。 一陣腳步聲響...
    開封第一講書人閱讀 32,857評論 1 269
  • 我被黑心中介騙來泰國打工坷檩, 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留却音,地道東北人。 一個月前我還...
    沈念sama閱讀 47,876評論 2 370
  • 正文 我出身青樓矢炼,卻偏偏與公主長得像系瓢,于是被迫代替她去往敵國和親。 傳聞我的和親對象是個殘疾皇子句灌,可洞房花燭夜當(dāng)晚...
    茶點故事閱讀 44,700評論 2 354

推薦閱讀更多精彩內(nèi)容