Elasticsearch使用SSD進(jìn)行冷熱分離
為了不浪費(fèi)服務(wù)器資源（每臺機(jī)器上均配置有SSD和大存儲,且內(nèi)存配置較高）幔欧，提高ES讀寫性能，我們嘗試進(jìn)行了ES集群冷熱分離的配置。
測試環(huán)境
兩臺機(jī)器，均配置有SSD和SATA盤。每臺機(jī)器上運(yùn)行兩個(gè)ES實(shí)例捎废，其中一個(gè)實(shí)例配置data目錄為SSD
- 解壓安裝(兩臺機(jī)器)
mkdir -p /data/mdware
cd /data/mdware
tar -zxf elasticsearch-2.2.1.tar.gz
ln -s /data/mdware/elasticsearch-2.2.1 /data/mdware/es
cd /data/mdware/es/conf
mkdir instance1
mkdir instance2
cp elasticsearch.yml instance1
mv elasticsearch.yml instance2
cp logging.yml instance1
mv logging.yml instance2 - 配置（四個(gè)配置文件，注意區(qū)別）
action.auto_create_index : -protocol*,+*
cluster.name: knowops
#分別取名為kone1.2.3.4
node.name: "kone1"
# kone2配置為 /ssd/kone2data（/ssd SSD掛載目錄）
path.data: /data/mdware/elasticsearch-2.2.1/kone1data
path.logs: /data/mdware/elasticsearch-2.2.1/kone1log
bootstrap.mlockall: true
# IP
network.host: 192.168.211.129
node.max_local_storage_nodes: 2
http.cors.enabled : true
http.cors.allow-origin : "*"
index.number_of_replicas: 0
discovery.zen.ping.unicast.hosts: ["192.168.211.129:9300","192.168.211.130:9300"]
啟動
cd /data/mdware/es
ulimit -n 655360（打開文件數(shù)最低要求為65536）
export ES_HEAP_SIZE=16g(我的配置為1/8內(nèi)存)
bin/elasticsearch -Des.insecure.allow.root=true -Des.path.conf=config/instance1 -d --node.tag=hot(SSD配置為hot節(jié)點(diǎn))
export ES_HEAP_SIZE=16g(1/8內(nèi)存)
bin/elasticsearch -Des.insecure.allow.root=true -Des.path.conf=config/instance2 -d --node.tag=stale模板配置
vi database.template.json
{
"template":"ni-database-*",
"settings":{
"index.number_of_replicas":"0",
"index.routing.allocation.require.tag" : "hot" //配置寫入hot節(jié)點(diǎn)
},
"mappings":{
"_default_":{
"_all":{
"enabled":false,
"norms":{
"enabled":false
}
},
"dynamic_templates":[
{
"template1":{
"mapping":{
"doc_values":true,
"ignore_above":1024,
"index":"not_analyzed",
"type":"{dynamic_type}"
},
"match":"*"
}
}
],
"properties":{
"timeStart":{
"type":"date"
}
}
}
}
}
curl -XPUT 192.168.211.130:9200/_template/ni-database-template -d @database.template.json
- 定時(shí)任務(wù)
我們的索引是按天生成的致燥，所以每天00:30定時(shí)任務(wù)移動數(shù)據(jù)到stale節(jié)點(diǎn)
#/bin/bash
time=`date -d last-day "+%Y.%m.%d"`
curl -XPUT http://localhost:9200/*-${time}/_settings?pretty -d'
{
"index.routing.allocation.require.tag": "stale"
}'
- 集群效果（kopf插件）
Paste_Image.png
