因?yàn)椴煌陌姹咎?hào)之間可能會(huì)有一定的差異揖闸，所以我這里為了保證大家能夠下一步下一步的順利執(zhí)行谓娃。先確認(rèn)一下版本號(hào)和部署的環(huán)境豺谈。
elasticsearch 5.5.1
logstash 5.5.1
kibana? 5.5.1
這三個(gè)服務(wù)器統(tǒng)一部署在一臺(tái)服務(wù)器泣栈。業(yè)務(wù)量大的可以考慮將elasticsearch分離開來做集群册烈。
為了方便以下都以es來代表elasticsearc。
es + kibana 為了不熟方便選擇使用docker
在linux 下安裝docker 后執(zhí)行：
docker pull docker.elastic.co/elasticsearch/elasticsearch:5.5.1
docker pull docker.elastic.co/kibana/kibana:5.5.1
logstash 使用源碼安裝：
wget https://artifacts.elastic.co/downloads/logstash/logstash-5.6.1.tar.gz
cp logstash-5.6.1.tar.gz /usr/share/logstash.tar.gz
tar -zxvf? logstash.tar.gz
cd? logstash
./bin/logstash -e 'input { stdin {} } output { stdout {} }'
測(cè)試安裝是否成功
現(xiàn)在嘗試啟動(dòng)es和kibana：
elasticsearch啟動(dòng)：
docker?run?-p?9200:9200?-e?"http.host=0.0.0.0"?-e?"transport.host=127.0.0.1" --name?my-elastic?-d?docker.elastic.co/elasticsearch/elasticsearch:5.5.1
kibana啟動(dòng)：
docker?run?-p?5601:5601?-e?"ELASTICSEARCH_URL=http://localhost:9200"?--name?my-kibana --network?host?-d?docker.elastic.co/kibana/kibana:5.5.1
這時(shí)如果一切執(zhí)行的順利的話應(yīng)該就可以訪問kibana了
訪問地址為你部署的http://ip:5601 訪問
當(dāng)然這個(gè)時(shí)候是沒有數(shù)據(jù)的骂倘，現(xiàn)在在項(xiàng)目服務(wù)器上部署采集數(shù)據(jù)的filebeat 和metricbeat
1.在項(xiàng)目服務(wù)器中下載這兩個(gè)文件：
wget https://artifacts.elastic.co/downloads/beats/filebeat/filebeat-5.6.1-linux-x86_64.tar.gz
wget https://artifacts.elastic.co/downloads/beats/metricbeat/metricbeat-5.6.1-linux-x86_64.tar.gz
2.解壓
tar -zxvf *.tar.gz
3.配置filebeat 以ngxin 日志為例
cd filebeat-5.6.1-linux-x86_64
vim nginx.yml
將以下文件內(nèi)容復(fù)制進(jìn)去
filebeat.prospectors:
- input_type: log
? paths:
??? - /var/log/nginx/access.log
? document_type: nginx_access
? #后續(xù)對(duì)日志進(jìn)行分組統(tǒng)計(jì)
? fields:
????? level: debug
? #Filebeat從文件尾開始監(jiān)控文件新增內(nèi)容眼滤，把新增的每一行文件作為一個(gè)事件依次發(fā)送
? tail_files: true
shipper:
??? tags: ['nginx-access']
# 項(xiàng)目名稱和項(xiàng)目服務(wù)的ip地址可自定義
tags: ["myserver", "101.110.56.78"]
output.logstash:
?? # logstash服務(wù)器的ip地址
?? hosts: ["11.142.42.77:5044"]
shipper 是logstash接收日志時(shí)做條件控制使用
output.logstash 配置logstash服務(wù)器的ip地址+端口號(hào)
啟動(dòng)filebeat
./filebeat -e -c ./nginx.yml -d "publish"
配置logstash
進(jìn)入logstash安裝目錄
vim logstash.yml
input {
beats {
port => 5044
}
}
filter {
? ? ? ? if [type]? == "nginx_access"? {
? ? ? ? ? ruby {
? ? ? ? ? ? ? ? init => "@kname = ['remote_addr','remote_user','time_local','request','status','body_bytes_sent','http_referer','http_user_agent','http_x_forwarded_for']"
? ? ? ? ? ? ? ? code => "event.append(LogStash::Event.new(Hash[@kname.zip(event.get('message').split(' | '))]))"
? ? ? ? ? }
? ? ? ? ? if [request] {
? ? ? ? ? ? ?? ruby {
? ? ? ? ? ? ? ? ? ? init => "@kname = ['method','uri','verb']"
? ? ? ? ? ? ? ? ? ? code => "event.append(LogStash::Event.new(Hash[@kname.zip(event.get('request').split(' '))]))"
? ? ? ? ? }
? ? ? ? ? if [uri] {
? ? ? ? ? ? ? ? ruby {
? ? ? ? ? ? ? ? ? ? init => "@kname = ['url_path','url_args']"
? ? ? ? ? ? ? ? ? ? code => "event.append(LogStash::Event.new(Hash[@kname.zip(event.get('request').split('?'))]))"
? ? ? ? ? ? ? ? }
? ? ? ? ? ? ? ? kv {
? ? ? ? ? ? ? ? ? ? prefix => "url_"
? ? ? ? ? ? ? ? ? ? source => "url_args"
? ? ? ? ? ? ? ? ? ? field_split => "& "
? ? ? ? ? ? ? ? ? ? remove_field => [ "url_args","uri","request" ]
? ? ? ? ? ? ? ? }
? ? ? ? ? }
? ? ? ? ? }
? ? ? ? ? mutate {
? ? ? ? ? ? ? ? convert => [ "body_bytes_sent" , "integer" ]
? ? ? ? ? }
? ? ? ? ? date {
? ? ? ? ? ? ? ? match => [ "time_local", "dd/MMM/yyyy:hh:mm:ss Z" ]
? ? ? ? ? ? ? ? locale => "en"
? ? ? ? ? }
? ? ? ? }
}
output {
? ? ? if [type] == "nginx_access" {
? ? ? ? stdout {
? ? ? ? ? ? codec => rubydebug
? ? ? ? }
? ? ? ? elasticsearch {
? ? ? ? ? ? ? ? ? ? ? hosts => ["localhost:9200"]
? ? ? ? ? ? ? ? ? ? ? index => "nginx_access_%{+YYYY.MM.dd}"
? ? ? ? ? ? ? ? ? ? ? user => "elastic"
? ? ? ? ? ? ? ? ? ? ? password => "changeme"
? ? ? ? }
? ? ? ? if [status] != "200"{
? ? ? ? ? ? ? ? exec {
? ? ? ? ? ? ? ? ? ? command? =>? "sh /root/sh/alarm.sh %{tags[0]}發(fā)現(xiàn)了BUG,請(qǐng)盡快處理 服務(wù)器IP:%{tags[1]} request:%{request} 訪問狀態(tài):%{status} 時(shí)間:%{time_local}"
? ? ? ? }
? ? ? ? }
? ? ? }
? ? ? else {
? ? ? ? stdout {
? ? ? ? ? ? codec => rubydebug
? ? ? ? }
? ? ? ? elasticsearch {
? ? ? ? ? ? ? hosts => ["localhost:9200"]
? ? ? ? ? ? ? index => "metricbeat-%{+YYYY.MM.dd}"
? ? ? ? ? ? ? user => "elastic"
? ? ? ? ? ? ? password => "changeme"
? ? ? ? }
? ? ? }
}
需要注意的是：
1.nginx.conf中需要配置一下nginx的格式便于logstash 做解析
log_format main "$remote_addr | $remote_user | $time_local | $request | $status | $body_bytes_sent | $http_referer | $http_user_agent | $http_x_forwarded_for";
access_log /var/log/nginx/access.log main;
2.需要安裝logstash插件exec 才能執(zhí)行腳本
3.腳本alarm.sh的內(nèi)容為：
啟動(dòng)logstash：
./logstash -f ./logstash.yml
