Elascticsearch 節(jié)點(diǎn)優(yōu)化:調(diào)整堆內(nèi)存大小

我的配置:
4臺(tái)服務(wù)器組成的Elasticsearch集群纽匙,每臺(tái)服務(wù)器只作為一個(gè)節(jié)點(diǎn)。
其中有兩臺(tái)數(shù)據(jù)節(jié)點(diǎn)
一臺(tái)客戶端節(jié)點(diǎn)
一臺(tái)主節(jié)點(diǎn)
內(nèi)存均為64G
啟動(dòng)命令:

docker run -d \
 --name=espn-50 \
-p 9200:9200 \ 
-p 9300:9300  \
-v \
 /var/espn/config/elasticsearch.yml:/usr/share/elasticsearch/config/elasticsearch.yml \ 
-v \
/var/espn/data:/usr/share/elasticsearch/data elasticsearch:5.6.3

4臺(tái)節(jié)點(diǎn)啟動(dòng)命令是一樣的拍谐,暴露9200 9300端口烛缔,并掛載elasticsearch.yml及數(shù)據(jù)目錄。
模擬了3個(gè)月數(shù)據(jù)轩拨,每天一個(gè)索引践瓷,索引數(shù)量90,每個(gè)索引有200W~300W條數(shù)據(jù)不等亡蓉。

隨著數(shù)據(jù)量增加晕翠,發(fā)現(xiàn)服務(wù)器CPU占用過多(沒錯(cuò),那兩臺(tái)數(shù)據(jù)節(jié)點(diǎn))

查看這兩臺(tái)數(shù)據(jù)節(jié)點(diǎn)的elasticsearch日志:

 [gc][1779997] overhead, spent [45.2s] collecting in the last [45.8s] //這行日志若干行寸宵,就數(shù)字不一樣

再去查詢節(jié)點(diǎn)情況:

curl 'localhost:9200/_cat/nodes?v=pretty'

發(fā)現(xiàn)數(shù)據(jù)節(jié)點(diǎn)的 heap.percent 百分之99崖面。
通過查詢資料,我總結(jié)出來大概是這樣的:

  1. ES本身是Java項(xiàng)目梯影,既然是Java項(xiàng)目巫员,必然是運(yùn)行在JVM上的,現(xiàn)在堆內(nèi)存已滿甲棍。
  2. 堆內(nèi)存已滿简识,Elasticsearch正在嘗試GC,然而每次GC又打不到釋放的效果,因此不斷的在GC七扰,不斷的使用CPU奢赂,因此CPU使用嚴(yán)重。
  3. 索引數(shù)量比較多颈走,而ES采用的倒排索引和segment這種機(jī)制膳灶,使得在比較多的索引而且索引數(shù)據(jù)必須要使用的情況下,必須調(diào)整JVM立由,也就是對(duì)JVM進(jìn)行優(yōu)化轧钓。
  4. ES默認(rèn)的Heap太小,一般用來做大數(shù)據(jù)存儲(chǔ)是不夠的锐膜,大概率是要手動(dòng)調(diào)整的(2.X 版本默認(rèn)1G毕箍,5.6.3是2G)

查了一圈網(wǎng)上的資料,包括官網(wǎng)道盏,發(fā)現(xiàn)一個(gè)蛋疼的事實(shí):
不同版本的ES調(diào)整JVM的方法都不太一樣而柑。
我使用的是 Elasticsearch5.6.3 ,再次強(qiáng)調(diào)一下這一點(diǎn)。

解決的方法很簡(jiǎn)單荷逞,在elasticsearch的config文件夾下媒咳,改寫jvm.options文件即可。(5.6.3的docker容器中沒有這個(gè)文件颅围,我新寫了一個(gè)文件掛載到容器內(nèi)也是生效的)

jvm.options:

-Xms10g
-Xmx10g

不熟悉的話可以學(xué)習(xí)一下JVM的相關(guān)知識(shí)伟葫。

啟動(dòng)指令:

docker run -d \
 --name=espn-50 \
-p 9200:9200 \ 
-p 9300:9300  \
-v \
 /var/espn/config/elasticsearch.yml:/usr/share/elasticsearch/config/elasticsearch.yml \ 
-v \
 /var/espn/config/jvm.options:/usr/share/elasticsearch/config/jvm.options \ 
-v \
/var/espn/data:/usr/share/elasticsearch/data elasticsearch:5.6.3

將jvm.options也掛載到docker容器內(nèi)。注意院促,jvm.options的權(quán)限應(yīng)該是可讀可寫可執(zhí)行的筏养。

?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
  • 序言:七十年代末,一起剝皮案震驚了整個(gè)濱河市常拓,隨后出現(xiàn)的幾起案子渐溶,更是在濱河造成了極大的恐慌,老刑警劉巖弄抬,帶你破解...
    沈念sama閱讀 206,723評(píng)論 6 481
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件茎辐,死亡現(xiàn)場(chǎng)離奇詭異,居然都是意外死亡掂恕,警方通過查閱死者的電腦和手機(jī)拖陆,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 88,485評(píng)論 2 382
  • 文/潘曉璐 我一進(jìn)店門,熙熙樓的掌柜王于貴愁眉苦臉地迎上來懊亡,“玉大人依啰,你說我怎么就攤上這事〉暝妫” “怎么了速警?”我有些...
    開封第一講書人閱讀 152,998評(píng)論 0 344
  • 文/不壞的土叔 我叫張陵叹誉,是天一觀的道長(zhǎng)。 經(jīng)常有香客問我闷旧,道長(zhǎng)长豁,這世上最難降的妖魔是什么? 我笑而不...
    開封第一講書人閱讀 55,323評(píng)論 1 279
  • 正文 為了忘掉前任忙灼,我火速辦了婚禮匠襟,結(jié)果婚禮上,老公的妹妹穿的比我還像新娘缀棍。我一直安慰自己宅此,他們只是感情好,可當(dāng)我...
    茶點(diǎn)故事閱讀 64,355評(píng)論 5 374
  • 文/花漫 我一把揭開白布爬范。 她就那樣靜靜地躺著,像睡著了一般弱匪。 火紅的嫁衣襯著肌膚如雪青瀑。 梳的紋絲不亂的頭發(fā)上,一...
    開封第一講書人閱讀 49,079評(píng)論 1 285
  • 那天萧诫,我揣著相機(jī)與錄音斥难,去河邊找鬼。 笑死帘饶,一個(gè)胖子當(dāng)著我的面吹牛哑诊,可吹牛的內(nèi)容都是我干的。 我是一名探鬼主播及刻,決...
    沈念sama閱讀 38,389評(píng)論 3 400
  • 文/蒼蘭香墨 我猛地睜開眼镀裤,長(zhǎng)吁一口氣:“原來是場(chǎng)噩夢(mèng)啊……” “哼!你這毒婦竟也來了缴饭?” 一聲冷哼從身側(cè)響起暑劝,我...
    開封第一講書人閱讀 37,019評(píng)論 0 259
  • 序言:老撾萬(wàn)榮一對(duì)情侶失蹤,失蹤者是張志新(化名)和其女友劉穎颗搂,沒想到半個(gè)月后担猛,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體,經(jīng)...
    沈念sama閱讀 43,519評(píng)論 1 300
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡丢氢,尸身上長(zhǎng)有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 35,971評(píng)論 2 325
  • 正文 我和宋清朗相戀三年傅联,在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了。 大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片疚察。...
    茶點(diǎn)故事閱讀 38,100評(píng)論 1 333
  • 序言:一個(gè)原本活蹦亂跳的男人離奇死亡蒸走,死狀恐怖,靈堂內(nèi)的尸體忽然破棺而出稍浆,到底是詐尸還是另有隱情载碌,我是刑警寧澤猜嘱,帶...
    沈念sama閱讀 33,738評(píng)論 4 324
  • 正文 年R本政府宣布,位于F島的核電站嫁艇,受9級(jí)特大地震影響朗伶,放射性物質(zhì)發(fā)生泄漏。R本人自食惡果不足惜步咪,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 39,293評(píng)論 3 307
  • 文/蒙蒙 一论皆、第九天 我趴在偏房一處隱蔽的房頂上張望。 院中可真熱鬧猾漫,春花似錦点晴、人聲如沸。這莊子的主人今日做“春日...
    開封第一講書人閱讀 30,289評(píng)論 0 19
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽(yáng)。三九已至禽翼,卻和暖如春屠橄,著一層夾襖步出監(jiān)牢的瞬間,已是汗流浹背闰挡。 一陣腳步聲響...
    開封第一講書人閱讀 31,517評(píng)論 1 262
  • 我被黑心中介騙來泰國(guó)打工锐墙, 沒想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留,地道東北人长酗。 一個(gè)月前我還...
    沈念sama閱讀 45,547評(píng)論 2 354
  • 正文 我出身青樓溪北,卻偏偏與公主長(zhǎng)得像,于是被迫代替她去往敵國(guó)和親夺脾。 傳聞我的和親對(duì)象是個(gè)殘疾皇子之拨,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 42,834評(píng)論 2 345

推薦閱讀更多精彩內(nèi)容