1、系統(tǒng)的重要配置
理想情況下,es應(yīng)該單獨(dú)在一個服務(wù)器上運(yùn)行匾南,能夠使用服務(wù)器上的所有資源。為了達(dá)到上述目標(biāo)蛔外,我們需要配置操作系統(tǒng)蛆楞,來允許用戶運(yùn)行es并且獲取比默認(rèn)情況下更多的資源。
在生產(chǎn)環(huán)境中下面的一些設(shè)置必須配置一下:
(1)禁止swapping
(2)確保擁有足夠的虛擬內(nèi)存
(3)確保擁有足夠的線程數(shù)量
開發(fā)模式 vs 生產(chǎn)模式
默認(rèn)情況下夹厌,es會假設(shè)你是在開發(fā)模式下運(yùn)行的豹爹。如果上面的任何配置沒有正確的設(shè)置,那么會輸出一些warning到日志文件中矛纹,但是我們還是可以啟動es進(jìn)程的臂聋。
但是如果我們配置了網(wǎng)絡(luò)設(shè)置,比如network.host或南,es會認(rèn)為我們是運(yùn)行在生產(chǎn)環(huán)境中的孩等,然后就會將上述warning升級為exception。這些exception會阻止我們的es節(jié)點(diǎn)啟動采够。這是一個重要的安全保障措施來確保我們不會因為錯誤的配置了es server肄方,而導(dǎo)致數(shù)據(jù)丟失。
2蹬癌、配置系統(tǒng)設(shè)置
在/etc/security/limits.conf中权她,可以配置系統(tǒng)設(shè)置
也可以用ulimit臨時配置系統(tǒng)設(shè)置
在linux操作系統(tǒng)中,ulimit可以用來臨時的改變資源限制逝薪。通常需要用root權(quán)限來設(shè)置ulimit隅要。
舉例,如果要設(shè)置file descriptor為65536翼闽,可以用如下的命令來設(shè)置:
ulimit -n 65536
但是在linux操作系統(tǒng)中拾徙,實際上永久性的資源限制可以通過編輯/etc/security/limits.conf文件來設(shè)置。比如要設(shè)置file descriptor感局,可以再limits.conf中加入下面的行:
elasticsearch - nofile 65536
在下一次elasticsearch用戶開啟一個新的會話時就會生效
設(shè)置jvm option
一般建議通過jvm.options配置文件來設(shè)置es的jvm option尼啡。默認(rèn)的地址是config/jvm.options
每行是一個jvm argument
此外暂衡,如也可以通過ES_JAVA_OPTS環(huán)境變量來設(shè)置jvm option,比如下面的命令:
export ES_JAVA_OPTS="$ES_JAVA_OPTS -Djava.io.tmpdir=/path/to/temp/dir"
3崖瞭、禁止swapping
大多數(shù)操作系統(tǒng)都會使用盡量多的內(nèi)存來進(jìn)行file system cache狂巢,并且盡量將不經(jīng)常使用的java應(yīng)用的內(nèi)存swap到磁盤中去。這會導(dǎo)致jvm heap的部分內(nèi)存书聚,甚至是用來執(zhí)行代碼的內(nèi)存頁被swap到磁盤中去唧领。
swapping對于性能來說是非常差勁的,為了es節(jié)點(diǎn)的穩(wěn)定性考慮雌续,應(yīng)該盡量避免這種swapping斩个。因為swapping會導(dǎo)致gc過程從毫秒級變成分鐘級,在gc的時候需要將內(nèi)存從磁盤中swapping到內(nèi)存里驯杜,特別耗時受啥,這會導(dǎo)致es節(jié)點(diǎn)響應(yīng)請求變得很慢,甚至導(dǎo)致es node跟cluster失聯(lián)鸽心。在一個彈性的分布式系統(tǒng)中滚局,讓操作系統(tǒng)kill掉某一個節(jié)點(diǎn),是很高效的顽频。
有三種方法可以disable swapping藤肢。推薦的option是徹底禁用swap,如果做不到的化糯景,也得盡量最小化swappiness的影響嘁圈,比如通過lock memory的方法。
(1)禁用所有的swapping file
通常來說莺奸,es進(jìn)程會在一個節(jié)點(diǎn)上單獨(dú)運(yùn)行丑孩,那么es進(jìn)程的內(nèi)存使用是由jvm option控制的。
可以使用下面的命令臨時性禁止swap:swapoff -a
要永久性的禁止swap灭贷,需要修改/etc/fstab文件温学,然后將所有包含swap的行都注釋掉
(2)配置swappiness
另外一個方法就是通過sysctl,將vm.swappiness設(shè)置為1甚疟,這可以盡量減少linux內(nèi)核swap的傾向仗岖,在正常情況下,就不會進(jìn)行swap览妖,但是在緊急情況下轧拄,還是會進(jìn)行swap操作。sysctl -w vm.swappiness=1
(3)啟用bootstrap.memory_lock
最后一個選項讽膏,就是用mlockall檩电,將es jvm進(jìn)程的address space鎖定在內(nèi)存中,阻止es內(nèi)存被swap out到磁盤上去。在config/elasticsearch.yml中俐末,可以配置:
bootstrap.memory_lock: true
GET _nodes?filter_path=**.mlockall料按,通過這行命令可以檢查mlockall是否開啟了
如果發(fā)現(xiàn)mlockall是false,那么意味著mlockall請求失敗了卓箫。會看到一行日志载矿,unable to lock jvm memory。
最大可能的原因烹卒,就是在linux系統(tǒng)中闷盔,啟動es進(jìn)程的用戶沒有權(quán)限去lock memory,需要通過以下方式進(jìn)行授權(quán):
ulimit -l unlimited
/etc/security/limits.conf旅急,memlock設(shè)置為unlimited
另外一個原因可能是臨時目錄使用noexec option來mount了逢勾。可以通過指定一個新的臨時目錄來解決
export ES_JAVA_OPTS="$ES_JAVA_OPTS -Djava.io.tmpdir=/path/to/temp/dir"
當(dāng)然也可以通過在jvm.options文件中來設(shè)置java.io.tmpdir
4坠非、虛擬內(nèi)存
es使用hybrid mmapfs / niofs目錄來存儲index數(shù)據(jù)敏沉,操作系統(tǒng)的默認(rèn)mmap count限制是很低的,可能會導(dǎo)致內(nèi)存耗盡的異常炎码。
需要提升mmap count的限制:sysctl -w vm.max_map_count=262144
如果要永久性設(shè)置這個值,要修改/etc/sysctl.conf秋泳,將vm.max_map_count的值修改一下潦闲,重啟過后,用sysctl vm.max_map_count來驗證一下數(shù)值是否修改成功
es同時會用NioFS和MMapFS來處理不同的文件迫皱,我們需要設(shè)置最大的map刷另歉闰,這樣我們才能有足夠的虛擬內(nèi)存來給mmapped文件使用,可以用sysctl來設(shè)置:sysctl -w vm.max_map_count=262144卓起。還可以再/etc/sysctl.conf中和敬,對vm.max_map_count來設(shè)置。
5戏阅、設(shè)置線程的數(shù)量
es用了很多線程池來應(yīng)對不同類型的操作昼弟,在需要的時候創(chuàng)建新的線程是很重要的。要確保es用戶能創(chuàng)建的最大線程數(shù)量至少在2048以上奕筐。
可以通過ulimit -u 2048來臨時設(shè)置舱痘,也可以在/etc/security/limits.conf中設(shè)置nproc為2048來永久性設(shè)置。