本文檔簡單介紹如何配置ELK三大組件和Filebeat的流程
版本: 當前開發(fā)(測試)和生產環(huán)境各組件都是基于 5.4.1 版本。由于ELK組件之間存在版本依賴關系汪榔,更新任一組件(如要更新 elasticsearch 至最新穩(wěn)定版XXX)都需要同時更新其他的相關組件。
環(huán)境說明:
系統(tǒng)版本: Centos 7.X
Java版本:java version "1.8.0_92"
Java(TM) SE Runtime Environment (build 1.8.0_92-b14)
Java HotSpot(TM) 64-Bit Server VM (build 25.92-b14, mixed mode)
ELK軟件:
elasticsearch-5.4.1.rpm
logstash-5.4.1.rpm
kibana-5.4.1-x86_64.rpm
x-pack-5.4.1.zip
filebeat-5.4.1-x86_64.rpm
部署流程:
1甸各、安裝配置elasticsearch和x-pack
rpm -ivh?elasticsearch-5.4.1.rpm
/usr/share/elasticsearch/bin/elasticsearch-plugin install file:///data/soft/x-pack-5.4.1.zip
systemctl enable elasticsearch
--修改配置文件--
systemctl start?elasticsearch
2、安裝logstash(不用每個節(jié)點都安裝焰坪,只要一個即可)
ks-log-s2: ?rpm -ivh?logstash-5.4.1.rpm
systemctl enable?logstash
--修改配置文件--
systemctl start logstash
3趣倾、安裝kibana(不用每個節(jié)點都安裝,只要一個即可)
ks-log-s1: rpm -ivh?kibana-5.4.1-x86_64.rpm
/usr/share/kibana/bin/kibana-plugin installfile:///data/soft/x-pack-5.4.1.zip
--修改配置文件--
systemctl enable kibana
systemctl start kibana
4某饰、安裝filebeat
每個服務節(jié)點安裝儒恋,并配置log文件的絕對路徑(filebeat支持在配置文件中模糊匹配log文件名,可以視情況進行配置)
client:rpm -ivh filebeat-5.4.1-x86_64.rpm
--修改配置文件--
systemctl enable?filebeat
systemctl start?filebeat
5黔漂、配置nginx
直接在proxy_pass后面填寫“http://1.1.1.1:5601”可能會有問題诫尽,瀏覽器會報告頁面跳轉太多,而用域名或者主機名亦或upstream的形式來配置即沒有這個問題炬守。
logview server : openresty
upstream elk {
server 10.9.143.224:5601;
}
server {
listen 80;
server_name log.elklog.com;
access_log off;
location / {
proxy_pass?http://elk;
}
location = /favicon.ico {
log_not_found off;
}
}
PSPS:
filebeat 模糊匹配:
在paths段:
paths:
- /data/docker/logs/qa/psps/*/*.log?(- /data/docker/logs/qa/psps/*/psps-*.log)