101_es生產(chǎn)集群部署之重要的操作系統(tǒng)設(shè)置（swapping又碌、virutal memory等）

1九昧、系統(tǒng)的重要配置

理想情況下，es應(yīng)該單獨(dú)在一個(gè)服務(wù)器上運(yùn)行赠橙，能夠使用服務(wù)器上的所有資源耽装。為了達(dá)到上述目標(biāo)，我們需要配置操作系統(tǒng)期揪，來允許用戶運(yùn)行es并且獲取比默認(rèn)情況下更多的資源掉奄。

在生產(chǎn)環(huán)境中下面的一些設(shè)置必須配置一下：

（1）禁止swapping
（2）確保擁有足夠的虛擬內(nèi)存
（3）確保擁有足夠的線程數(shù)量

開發(fā)模式 vs 生產(chǎn)模式

默認(rèn)情況下，es會假設(shè)你是在開發(fā)模式下運(yùn)行的凤薛。如果上面的任何配置沒有正確的設(shè)置姓建，那么會輸出一些warning到日志文件中，但是我們還是可以啟動es進(jìn)程的缤苫。

但是如果我們配置了網(wǎng)絡(luò)設(shè)置速兔，比如network.host，es會認(rèn)為我們是運(yùn)行在生產(chǎn)環(huán)境中的活玲，然后就會將上述warning升級為exception涣狗。這些exception會阻止我們的es節(jié)點(diǎn)啟動。這是一個(gè)重要的安全保障措施來確保我們不會因?yàn)殄e(cuò)誤的配置了es server舒憾，而導(dǎo)致數(shù)據(jù)丟失镀钓。

2、配置系統(tǒng)設(shè)置

在/etc/security/limits.conf中镀迂，可以配置系統(tǒng)設(shè)置

也可以用ulimit臨時(shí)配置系統(tǒng)設(shè)置

在linux操作系統(tǒng)中丁溅，ulimit可以用來臨時(shí)的改變資源限制。通常需要用root權(quán)限來設(shè)置ulimit探遵。

舉例窟赏，如果要設(shè)置file descriptor為65536妓柜，可以用如下的命令來設(shè)置：

ulimit -n 65536

但是在linux操作系統(tǒng)中，實(shí)際上永久性的資源限制可以通過編輯/etc/security/limits.conf文件來設(shè)置涯穷。比如要設(shè)置file descriptor棍掐，可以再limits.conf中加入下面的行：

elasticsearch - nofile 65536

在下一次elasticsearch用戶開啟一個(gè)新的會話時(shí)就會生效

設(shè)置jvm option

一般建議通過jvm.options配置文件來設(shè)置es的jvm option。默認(rèn)的地址是config/jvm.options

每行是一個(gè)jvm argument

此外求豫，如也可以通過ES_JAVA_OPTS環(huán)境變量來設(shè)置jvm option塌衰，比如下面的命令：

export ES_JAVA_OPTS="$ES_JAVA_OPTS -Djava.io.tmpdir=/path/to/temp/dir"

3、禁止swapping

大多數(shù)操作系統(tǒng)都會使用盡量多的內(nèi)存來進(jìn)行file system cache蝠嘉，并且盡量將不經(jīng)常使用的java應(yīng)用的內(nèi)存swap到磁盤中去最疆。這會導(dǎo)致jvm heap的部分內(nèi)存，甚至是用來執(zhí)行代碼的內(nèi)存頁被swap到磁盤中去蚤告。

swapping對于性能來說是非常差勁的努酸，為了es節(jié)點(diǎn)的穩(wěn)定性考慮，應(yīng)該盡量避免這種swapping杜恰。因?yàn)閟wapping會導(dǎo)致gc過程從毫秒級變成分鐘級获诈，在gc的時(shí)候需要將內(nèi)存從磁盤中swapping到內(nèi)存里，特別耗時(shí)心褐，這會導(dǎo)致es節(jié)點(diǎn)響應(yīng)請求變得很慢舔涎，甚至導(dǎo)致es node跟cluster失聯(lián)。在一個(gè)彈性的分布式系統(tǒng)中逗爹，讓操作系統(tǒng)kill掉某一個(gè)節(jié)點(diǎn)亡嫌，是很高效的。

有三種方法可以disable swapping掘而。推薦的option是徹底禁用swap挟冠，如果做不到的化，也得盡量最小化swappiness的影響袍睡，比如通過lock memory的方法知染。

（1）禁用所有的swapping file

通常來說，es進(jìn)程會在一個(gè)節(jié)點(diǎn)上單獨(dú)運(yùn)行斑胜，那么es進(jìn)程的內(nèi)存使用是由jvm option控制的控淡。

可以使用下面的命令臨時(shí)性禁止swap：swapoff -a

要永久性的禁止swap，需要修改/etc/fstab文件止潘，然后將所有包含swap的行都注釋掉

（2）配置swappiness

另外一個(gè)方法就是通過sysctl掺炭，將vm.swappiness設(shè)置為1，這可以盡量減少linux內(nèi)核swap的傾向覆山，在正常情況下竹伸，就不會進(jìn)行swap泥栖，但是在緊急情況下簇宽，還是會進(jìn)行swap操作勋篓。sysctl -w vm.swappiness=1

（3）啟用bootstrap.memory_lock

最后一個(gè)選項(xiàng)，就是用mlockall魏割，將es jvm進(jìn)程的address space鎖定在內(nèi)存中譬嚣，阻止es內(nèi)存被swap out到磁盤上去。在config/elasticsearch.yml中钞它，可以配置：

bootstrap.memory_lock: true

GET _nodes?filter_path=**.mlockall拜银，通過這行命令可以檢查mlockall是否開啟了

如果發(fā)現(xiàn)mlockall是false，那么意味著mlockall請求失敗了遭垛。會看到一行日志尼桶，unable to lock jvm memory。

最大可能的原因锯仪，就是在linux系統(tǒng)中泵督，啟動es進(jìn)程的用戶沒有權(quán)限去lock memory，需要通過以下方式進(jìn)行授權(quán)：

ulimit -l unlimited

/etc/security/limits.conf庶喜，memlock設(shè)置為unlimited

另外一個(gè)原因可能是臨時(shí)目錄使用noexec option來mount了小腊。可以通過指定一個(gè)新的臨時(shí)目錄來解決

export ES_JAVA_OPTS="$ES_JAVA_OPTS -Djava.io.tmpdir=/path/to/temp/dir"

當(dāng)然也可以通過在jvm.options文件中來設(shè)置java.io.tmpdir

4久窟、虛擬內(nèi)存

es使用hybrid mmapfs / niofs目錄來存儲index數(shù)據(jù)秩冈，操作系統(tǒng)的默認(rèn)mmap count限制是很低的，可能會導(dǎo)致內(nèi)存耗盡的異常斥扛。

需要提升mmap count的限制：sysctl -w vm.max_map_count=262144

如果要永久性設(shè)置這個(gè)值入问，要修改/etc/sysctl.conf，將vm.max_map_count的值修改一下犹赖，重啟過后队他，用sysctl vm.max_map_count來驗(yàn)證一下數(shù)值是否修改成功

es同時(shí)會用NioFS和MMapFS來處理不同的文件，我們需要設(shè)置最大的map刷另峻村，這樣我們才能有足夠的虛擬內(nèi)存來給mmapped文件使用麸折，可以用sysctl來設(shè)置：sysctl -w vm.max_map_count=262144。還可以再/etc/sysctl.conf中粘昨，對vm.max_map_count來設(shè)置垢啼。

5、設(shè)置線程的數(shù)量

es用了很多線程池來應(yīng)對不同類型的操作张肾，在需要的時(shí)候創(chuàng)建新的線程是很重要的芭析。要確保es用戶能創(chuàng)建的最大線程數(shù)量至少在2048以上。

可以通過ulimit -u 2048來臨時(shí)設(shè)置吞瞪，也可以在/etc/security/limits.conf中設(shè)置nproc為2048來永久性設(shè)置馁启。