先上圖看下效果甥角,我這邊直接做的logstash tcp收集钻哩,后期還會改造加入redis,會在kafka收集 緩解TCP不穩(wěn)定帶來的日志丟失。
我這邊主要講一下logstash.conf的配置因?yàn)槲业腘log日志是多行輸出的,所以這邊需要做一下多行的處理
input {
tcp{
port => 5044
type => "tcplog"
codec => multiline {
pattern => "^\["
negate => true
what => "previous"
}
}
}
output {
stdout {
codec => rubydebug
}
elasticsearch {
hosts => ["elasticsearch:9200"]
index => "logstashtcpjob"
}
}
注意庄蹋,我的ELK是用docker-compose安裝的杰妓,所以host這邊直接用elasticsearch:9200就可以。
docker-compose 如何安裝ELK 應(yīng)該大家都會吧埋涧。比較docker安裝還是很簡單的板辽。如果不會安裝的,可以在下面留言棘催,我會再寫一篇文章劲弦。