Elasticsearch生產(chǎn)集群部署之重要的操作系統(tǒng)設(shè)置

1、系統(tǒng)的重要配置

理想情況下,es應(yīng)該單獨(dú)在一個服務(wù)器上運(yùn)行匾南,能夠使用服務(wù)器上的所有資源。為了達(dá)到上述目標(biāo)蛔外,我們需要配置操作系統(tǒng)蛆楞,來允許用戶運(yùn)行es并且獲取比默認(rèn)情況下更多的資源。

在生產(chǎn)環(huán)境中下面的一些設(shè)置必須配置一下:

(1)禁止swapping
(2)確保擁有足夠的虛擬內(nèi)存
(3)確保擁有足夠的線程數(shù)量

開發(fā)模式 vs 生產(chǎn)模式

默認(rèn)情況下夹厌,es會假設(shè)你是在開發(fā)模式下運(yùn)行的豹爹。如果上面的任何配置沒有正確的設(shè)置,那么會輸出一些warning到日志文件中矛纹,但是我們還是可以啟動es進(jìn)程的臂聋。

但是如果我們配置了網(wǎng)絡(luò)設(shè)置,比如network.host或南,es會認(rèn)為我們是運(yùn)行在生產(chǎn)環(huán)境中的孩等,然后就會將上述warning升級為exception。這些exception會阻止我們的es節(jié)點(diǎn)啟動采够。這是一個重要的安全保障措施來確保我們不會因為錯誤的配置了es server肄方,而導(dǎo)致數(shù)據(jù)丟失。

2蹬癌、配置系統(tǒng)設(shè)置

在/etc/security/limits.conf中权她,可以配置系統(tǒng)設(shè)置

也可以用ulimit臨時配置系統(tǒng)設(shè)置

在linux操作系統(tǒng)中,ulimit可以用來臨時的改變資源限制逝薪。通常需要用root權(quán)限來設(shè)置ulimit隅要。

舉例,如果要設(shè)置file descriptor為65536翼闽,可以用如下的命令來設(shè)置:

ulimit -n 65536

但是在linux操作系統(tǒng)中拾徙,實際上永久性的資源限制可以通過編輯/etc/security/limits.conf文件來設(shè)置。比如要設(shè)置file descriptor感局,可以再limits.conf中加入下面的行:

elasticsearch - nofile 65536

在下一次elasticsearch用戶開啟一個新的會話時就會生效

設(shè)置jvm option

一般建議通過jvm.options配置文件來設(shè)置es的jvm option尼啡。默認(rèn)的地址是config/jvm.options

每行是一個jvm argument

此外暂衡,如也可以通過ES_JAVA_OPTS環(huán)境變量來設(shè)置jvm option,比如下面的命令:

export ES_JAVA_OPTS="$ES_JAVA_OPTS -Djava.io.tmpdir=/path/to/temp/dir"

3崖瞭、禁止swapping

大多數(shù)操作系統(tǒng)都會使用盡量多的內(nèi)存來進(jìn)行file system cache狂巢,并且盡量將不經(jīng)常使用的java應(yīng)用的內(nèi)存swap到磁盤中去。這會導(dǎo)致jvm heap的部分內(nèi)存书聚,甚至是用來執(zhí)行代碼的內(nèi)存頁被swap到磁盤中去唧领。

swapping對于性能來說是非常差勁的,為了es節(jié)點(diǎn)的穩(wěn)定性考慮雌续,應(yīng)該盡量避免這種swapping斩个。因為swapping會導(dǎo)致gc過程從毫秒級變成分鐘級,在gc的時候需要將內(nèi)存從磁盤中swapping到內(nèi)存里驯杜,特別耗時受啥,這會導(dǎo)致es節(jié)點(diǎn)響應(yīng)請求變得很慢,甚至導(dǎo)致es node跟cluster失聯(lián)鸽心。在一個彈性的分布式系統(tǒng)中滚局,讓操作系統(tǒng)kill掉某一個節(jié)點(diǎn),是很高效的顽频。

有三種方法可以disable swapping藤肢。推薦的option是徹底禁用swap,如果做不到的化糯景,也得盡量最小化swappiness的影響嘁圈,比如通過lock memory的方法。

(1)禁用所有的swapping file

通常來說莺奸,es進(jìn)程會在一個節(jié)點(diǎn)上單獨(dú)運(yùn)行丑孩,那么es進(jìn)程的內(nèi)存使用是由jvm option控制的。

可以使用下面的命令臨時性禁止swap:swapoff -a

要永久性的禁止swap灭贷,需要修改/etc/fstab文件温学,然后將所有包含swap的行都注釋掉

(2)配置swappiness

另外一個方法就是通過sysctl,將vm.swappiness設(shè)置為1甚疟,這可以盡量減少linux內(nèi)核swap的傾向仗岖,在正常情況下,就不會進(jìn)行swap览妖,但是在緊急情況下轧拄,還是會進(jìn)行swap操作。sysctl -w vm.swappiness=1

(3)啟用bootstrap.memory_lock

最后一個選項讽膏,就是用mlockall檩电,將es jvm進(jìn)程的address space鎖定在內(nèi)存中,阻止es內(nèi)存被swap out到磁盤上去。在config/elasticsearch.yml中俐末,可以配置:

bootstrap.memory_lock: true

GET _nodes?filter_path=**.mlockall料按,通過這行命令可以檢查mlockall是否開啟了

如果發(fā)現(xiàn)mlockall是false,那么意味著mlockall請求失敗了卓箫。會看到一行日志载矿,unable to lock jvm memory。

最大可能的原因烹卒,就是在linux系統(tǒng)中闷盔,啟動es進(jìn)程的用戶沒有權(quán)限去lock memory,需要通過以下方式進(jìn)行授權(quán):

ulimit -l unlimited

/etc/security/limits.conf旅急,memlock設(shè)置為unlimited

另外一個原因可能是臨時目錄使用noexec option來mount了逢勾。可以通過指定一個新的臨時目錄來解決

export ES_JAVA_OPTS="$ES_JAVA_OPTS -Djava.io.tmpdir=/path/to/temp/dir"

當(dāng)然也可以通過在jvm.options文件中來設(shè)置java.io.tmpdir

4坠非、虛擬內(nèi)存

es使用hybrid mmapfs / niofs目錄來存儲index數(shù)據(jù)敏沉,操作系統(tǒng)的默認(rèn)mmap count限制是很低的,可能會導(dǎo)致內(nèi)存耗盡的異常炎码。

需要提升mmap count的限制:sysctl -w vm.max_map_count=262144

如果要永久性設(shè)置這個值,要修改/etc/sysctl.conf秋泳,將vm.max_map_count的值修改一下潦闲,重啟過后,用sysctl vm.max_map_count來驗證一下數(shù)值是否修改成功

es同時會用NioFS和MMapFS來處理不同的文件迫皱,我們需要設(shè)置最大的map刷另歉闰,這樣我們才能有足夠的虛擬內(nèi)存來給mmapped文件使用,可以用sysctl來設(shè)置:sysctl -w vm.max_map_count=262144卓起。還可以再/etc/sysctl.conf中和敬,對vm.max_map_count來設(shè)置。

5戏阅、設(shè)置線程的數(shù)量

es用了很多線程池來應(yīng)對不同類型的操作昼弟,在需要的時候創(chuàng)建新的線程是很重要的。要確保es用戶能創(chuàng)建的最大線程數(shù)量至少在2048以上奕筐。

可以通過ulimit -u 2048來臨時設(shè)置舱痘,也可以在/etc/security/limits.conf中設(shè)置nproc為2048來永久性設(shè)置。

?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
  • 序言:七十年代末离赫,一起剝皮案震驚了整個濱河市芭逝,隨后出現(xiàn)的幾起案子,更是在濱河造成了極大的恐慌渊胸,老刑警劉巖旬盯,帶你破解...
    沈念sama閱讀 216,402評論 6 499
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件,死亡現(xiàn)場離奇詭異,居然都是意外死亡胖翰,警方通過查閱死者的電腦和手機(jī)频丘,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 92,377評論 3 392
  • 文/潘曉璐 我一進(jìn)店門,熙熙樓的掌柜王于貴愁眉苦臉地迎上來泡态,“玉大人搂漠,你說我怎么就攤上這事∧诚遥” “怎么了桐汤?”我有些...
    開封第一講書人閱讀 162,483評論 0 353
  • 文/不壞的土叔 我叫張陵,是天一觀的道長靶壮。 經(jīng)常有香客問我怔毛,道長,這世上最難降的妖魔是什么腾降? 我笑而不...
    開封第一講書人閱讀 58,165評論 1 292
  • 正文 為了忘掉前任拣度,我火速辦了婚禮,結(jié)果婚禮上螃壤,老公的妹妹穿的比我還像新娘抗果。我一直安慰自己,他們只是感情好奸晴,可當(dāng)我...
    茶點(diǎn)故事閱讀 67,176評論 6 388
  • 文/花漫 我一把揭開白布冤馏。 她就那樣靜靜地躺著,像睡著了一般寄啼。 火紅的嫁衣襯著肌膚如雪逮光。 梳的紋絲不亂的頭發(fā)上,一...
    開封第一講書人閱讀 51,146評論 1 297
  • 那天墩划,我揣著相機(jī)與錄音涕刚,去河邊找鬼。 笑死乙帮,一個胖子當(dāng)著我的面吹牛杜漠,可吹牛的內(nèi)容都是我干的。 我是一名探鬼主播蚣旱,決...
    沈念sama閱讀 40,032評論 3 417
  • 文/蒼蘭香墨 我猛地睜開眼碑幅,長吁一口氣:“原來是場噩夢啊……” “哼!你這毒婦竟也來了塞绿?” 一聲冷哼從身側(cè)響起沟涨,我...
    開封第一講書人閱讀 38,896評論 0 274
  • 序言:老撾萬榮一對情侶失蹤,失蹤者是張志新(化名)和其女友劉穎异吻,沒想到半個月后裹赴,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體喜庞,經(jīng)...
    沈念sama閱讀 45,311評論 1 310
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 37,536評論 2 332
  • 正文 我和宋清朗相戀三年棋返,在試婚紗的時候發(fā)現(xiàn)自己被綠了延都。 大學(xué)時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片。...
    茶點(diǎn)故事閱讀 39,696評論 1 348
  • 序言:一個原本活蹦亂跳的男人離奇死亡睛竣,死狀恐怖晰房,靈堂內(nèi)的尸體忽然破棺而出,到底是詐尸還是另有隱情射沟,我是刑警寧澤殊者,帶...
    沈念sama閱讀 35,413評論 5 343
  • 正文 年R本政府宣布,位于F島的核電站验夯,受9級特大地震影響猖吴,放射性物質(zhì)發(fā)生泄漏。R本人自食惡果不足惜挥转,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 41,008評論 3 325
  • 文/蒙蒙 一海蔽、第九天 我趴在偏房一處隱蔽的房頂上張望。 院中可真熱鬧绑谣,春花似錦党窜、人聲如沸。這莊子的主人今日做“春日...
    開封第一講書人閱讀 31,659評論 0 22
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽。三九已至暇务,卻和暖如春,著一層夾襖步出監(jiān)牢的瞬間怔软,已是汗流浹背垦细。 一陣腳步聲響...
    開封第一講書人閱讀 32,815評論 1 269
  • 我被黑心中介騙來泰國打工, 沒想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留挡逼,地道東北人括改。 一個月前我還...
    沈念sama閱讀 47,698評論 2 368
  • 正文 我出身青樓,卻偏偏與公主長得像家坎,于是被迫代替她去往敵國和親嘱能。 傳聞我的和親對象是個殘疾皇子,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 44,592評論 2 353

推薦閱讀更多精彩內(nèi)容