es集群中所有節(jié)點(diǎn)加入以下配置:
冷熱節(jié)點(diǎn)根據(jù)項(xiàng)目實(shí)際應(yīng)用設(shè)置
推薦集群為1主四從則設(shè)置三熱二冷
冷熱節(jié)點(diǎn)分別加入以下配置
# 標(biāo)識為熱節(jié)點(diǎn)
node.attr.temperature: hot
# 標(biāo)識為冷節(jié)點(diǎn)
node.attr.temperature: warm
filebeat配置為
值得一提的是,這樣創(chuàng)建出的索引的生命周期是由filebeat自動創(chuàng)建的名叫filebeat的索引生命周期策略管理,接下來的操作也是圍繞這個索引生命周期管理策略的
核心配置:
setup.ilm.enabled: auto
setup.ilm.rollover_alias: "fcs-pord-admin"
setup.ilm.pattern: "{now/d}"
# ================================ Filebeat inputs ================================
filebeat.inputs:
- type: log
#設(shè)置為true以啟用此輸入配置
enabled: true
## 配置你要收集的日志目錄柄沮，可以配置多個目錄
paths:
- /home/devops/project/fcs-admin.log/sys-info.log
- /home/devops/project/fcs-admin.log/sys-error.log
- /home/devops/project/fcs-admin.log/sys-user.log
# ================================ template setting ================================
# 允許自動生成index模板
setup.template.enabled: true
# 如果存在模塊則覆蓋
setup.template.overwrite: true
setup.template.name: "fcs-pord-admin-log"
setup.template.pattern: "fcs-pord-admin-*"
#當(dāng)我們該屬性為false時(shí)，就不再遵循ilm的管理炕檩，而是索引到我們自己指定的index中
setup.ilm.enabled: auto
# 這里一定要注意會在alas后面自動添加 -
# 完整的索引名為 fcs-pord-admin-2023.01.11
setup.ilm.rollover_alias: "fcs-pord-admin"
setup.ilm.pattern: "{now/d}"
# ================================ Filebeat output ================================
output.elasticsearch:
hosts: ["http://192.168.30.163:9200","http://192.168.30.164:9200","http://192.168.30.165:9200"]
username: "elastic"
password: "***********"
setup.kibana:
host: "http://192.168.30.163:5601"
這里有一個坑,如果你這個filebeat已經(jīng)創(chuàng)建過索引模板了,則啟動時(shí)會拋出一個索引模板相關(guān)的異常,
進(jìn)入kibana刪除相關(guān)索引模板即可,如下圖
image.png
image.png
把原來的索引模板刪除,再重啟filebeat即可恢復(fù)
filebeat正常啟動
進(jìn)入kibana配置索引生命周期策略
image.png
這個策略是由filebeat自動創(chuàng)建的,不需要手動創(chuàng)建
開始配置
image.png
1.熱階段
image.png
根據(jù)需求更改
由于我目前只需要熱階段和冷階段,所有溫階段我沒有配置
2.冷階段
image.png
這里分別設(shè)置了如果是三天以前的索引則移入冷節(jié)點(diǎn)和凍結(jié)
image.png
紅框中的節(jié)點(diǎn)就是我們在配置文件中標(biāo)識的節(jié)點(diǎn)啦
我只搭建三臺,設(shè)置了一熱兩冷(??)不要模仿,這個只是自己的dome
