ElasticSearch monitor體系搭建

Base on v7.8.0。本文介紹es的指標(biāo)與日志采集方式

1繁莹、metric

指標(biāo)的采集使用下面2種任意一種都可丈秩。

（1）內(nèi)置collector

下面2個(gè)參數(shù)開(kāi)啟即可狮辽。

PUT _cluster/settings
{
  "persistent": {
    "xpack.monitoring.collection.enabled": true
  }
}

PUT _cluster/settings
{
  "persistent": {
    "xpack.monitoring.elasticsearch.collection.enabled": true
  }
}

有個(gè)缺點(diǎn)仅乓，就是是在跟es的機(jī)器上運(yùn)行，maybe可能影響到es蓬戚。

（2）Metricbeat

因?yàn)閮?nèi)置的collector是需要部署在跟es的機(jī)器上的夸楣，我們可以使用es官網(wǎng)推薦的metricbeat來(lái)實(shí)現(xiàn)。

1. 把xpack.monitoring.collection.enabled關(guān)閉

PUT _cluster/settings
{
  "persistent": {
    "xpack.monitoring.collection.enabled": false
  }
}

2.安裝Metricbeat

Metricbeat的下載與安裝略過(guò)...自行看官網(wǎng)即可子漩。推薦使用rpm包
2.1配置metricbeat.yml（用rpm安裝的默認(rèn)在/etc/metricbeat下面）

metricbeat.config.modules:
  path: ${path.config}/modules.d/*.yml
  reload.period: 10s
  reload.enabled: false
output.elasticsearch:
  hosts: ["要存儲(chǔ)指標(biāo)的esip:port"]
setup.kibana:
  host: "[KIBANAIP:PORT]"

2.2 加載es-xpack模塊

metricbeat modules enable elasticsearch-xpack

到/etc/metricbeat/modules.d下面編輯elasticsearch-xpack.yml文件

- module: elasticsearch
  xpack.enabled: true
  period: 10s
  hosts: ["要采集的es集群的地址"]

2.3加載配置

metricbeat setup

2.4啟動(dòng)

service metricbeat start

選用任意一種采集方式以后豫喧，都可以在es中看到".monitor-xxxxx"的index，使用kibana即可看到指標(biāo)信息

image.png

2幢泼、log

（1）采集

es自身服務(wù)log的采集需要依賴filebeat來(lái)實(shí)現(xiàn)（logstash也行紧显，但是比較繁瑣，我們選用簡(jiǎn)單的來(lái)）
filebeat的下載與安裝略過(guò)...自行看官網(wǎng)即可缕棵。推薦使用rpm包
1.配置文件修改
修改filebeat.yml（用rpm安裝的默認(rèn)在/etc/filebeat下面）
搜索"output.elasticsearch"孵班，添加要存儲(chǔ)指標(biāo)的es地址
搜索"setup.kibana"，添加kibana地址
2.啟用es模塊

filebeat modules enable elasticsearch

到/etc/filebeat/modules.d修改elasticsearch.yml（下面只開(kāi)啟服務(wù)的日志招驴，如果其他不需要篙程，需要顯示關(guān)閉）

- module: elasticsearch
  # Server log
  server:
    enabled: true
    var.paths:
      - /var/log/elasticsearch/ops-cluster.log
  gc:
    enabled: false
    var.paths:
      - /var/log/elasticsearch/gc.log.[0-9]*
      - /var/log/elasticsearch/gc.log
  audit:
    enabled: false
    var.paths:
      - /var/log/elasticsearch/*_access.log  # Plain text logs
      - /var/log/elasticsearch/*_audit.json
  deprecation:
    enabled: false
    var.paths:
      - /var/log/elasticsearch/*_deprecation.log   # Plain text logs
      - /var/log/elasticsearch/*_deprecation.json

3.加載

filebeat setup

4.啟動(dòng)

service filebeat start

（2）可視化