ELK日志收集系統(tǒng)進(jìn)階使用盔憨,本文主要講解如何打造一個(gè)線上環(huán)境真實(shí)可用的日志收集系統(tǒng)滞伟。有了它,你就可以和去服務(wù)器上撈日志說(shuō)再見(jiàn)了!
ELK環(huán)境安裝
ELK是指Elasticsearch红省、Kibana、Logstash這三種服務(wù)搭建的日志收集系統(tǒng)国觉,這里僅提供最新版本的docker-compose腳本和一些安裝要點(diǎn)吧恃。
docker-compose腳本
調(diào)整為6.8版本
version: '3'
services:
elasticsearch:
image: elasticsearch:6.8.0
container_name: elasticsearch
environment:
- "cluster.name=elasticsearch"
- "discovery.type=single-node"
- "ES_JAVA_OPTS=-Xms512m -Xmx512m"
- TZ=Asia/Shanghai
volumes:
- /mydata/elasticsearch/plugins:/usr/share/elasticsearch/plugins
- /mydata/elasticsearch/data:/usr/share/elasticsearch/data
ports:
- 9200:9200
- 9300:9300
networks:
- elk
kibana:
image: kibana:6.8.0
container_name: kibana
links:
- elasticsearch:es
depends_on:
- elasticsearch
environment:
- "elasticsearch.hosts=http://es:9200"
- TZ=Asia/Shanghai
ports:
- 5601:5601
networks:
- elk
logstash:
image: logstash:6.8.0
container_name: logstash
environment:
- TZ=Asia/Shanghai
volumes:
- /mydata/logstash/logstash.conf:/usr/share/logstash/pipeline/logstash.conf
depends_on:
- elasticsearch
links:
- elasticsearch:es
ports:
- 4560:4560
- 4561:4561
- 4562:4562
- 4563:4563
networks:
- elk
networks:
elk:
driver: bridge
安裝要點(diǎn)
- 第一次啟動(dòng)可能會(huì)發(fā)現(xiàn)Elasticsearch無(wú)法啟動(dòng),那是因?yàn)?usr/share/elasticsearch/data目錄沒(méi)有訪問(wèn)權(quán)限麻诀,只需要修改/mydata/elasticsearch/data目錄的權(quán)限痕寓,再重新啟動(dòng);
chmod 777 /mydata/elasticsearch/data/
- 調(diào)整/mydata/logstash/logstash.conf文件蝇闭,它以目錄的形式出現(xiàn)
rm -f /mydata/logstash/logstash.conf
touch /mydata/logstash/logstash.conf
- kibana.yml 手動(dòng)進(jìn)容器配置
進(jìn)入logstash容器
docker exec -it kibana /bin/bash
# 進(jìn)入bin目錄
cd /config/
# 復(fù)制 將下面配置復(fù)制進(jìn)去
vi kibana.yml
# 退出容器
exit
# 重啟logstash服務(wù)
docker restart logstash
#
# ** THIS IS AN AUTO-GENERATED FILE **
#
# Default Kibana configuration for docker target
server.name: kibana
server.host: "0"
elasticsearch.hosts: [ "http://elasticsearch:9200" ]
xpack.monitoring.ui.container.elasticsearch.enabled: true
i18n.locale: "zh-CN"
# es中kibana的用戶名
elasticsearch.username: "kibana"
# es中kibana的密碼
elasticsearch.password: "123456"
- 使用docker-compose命令運(yùn)行所有服務(wù):
docker-compose up -d
- 在logstash中安裝json_lines插件
# 進(jìn)入logstash容器
docker exec -it logstash /bin/bash
# 進(jìn)入bin目錄
cd /bin/
# 安裝插件
logstash-plugin install logstash-codec-json_lines
# 退出容器
exit
# 重啟logstash服務(wù)
docker restart logstash
- 開(kāi)啟防火墻并在kibana中查看
systemctl stop firewalld
- 訪問(wèn)地址:http://192.168.3.101:5601
分場(chǎng)景收集日志
這里為了方便我們查看日志呻率,提出一個(gè)分場(chǎng)景收集日志的概念,把日志分為以下四種呻引。
- 調(diào)試日志:最全日志礼仗,包含了應(yīng)用中所有DEBUG級(jí)別以上的日志,僅在開(kāi)發(fā)逻悠、測(cè)試環(huán)境中開(kāi)啟收集元践;
- 錯(cuò)誤日志:只包含應(yīng)用中所有ERROR級(jí)別的日志,所有環(huán)境只都開(kāi)啟收集童谒;
- 業(yè)務(wù)日志:在我們應(yīng)用對(duì)應(yīng)包下打印的日志单旁,可用于查看我們自己在應(yīng)用中打印的業(yè)務(wù)日志;
- 記錄日志:每個(gè)接口的訪問(wèn)記錄饥伊,可以用來(lái)查看接口執(zhí)行效率象浑,獲取接口訪問(wèn)參數(shù)。
Logback配置詳解
要實(shí)現(xiàn)上面的分場(chǎng)景收集日志琅豆,主要通過(guò)Logback的配置來(lái)實(shí)現(xiàn)愉豺,我們先來(lái)了解下Logback的配置吧!
完全配置
在SpringBoot中趋距,如果我們想要自定義Logback的配置粒氧,需要自行編寫logback-spring.xml文件,下面是我們這次要使用的完全配置节腐。
<?xml version="1.0" encoding="UTF-8"?>
<!DOCTYPE configuration>
<configuration>
<!--引用默認(rèn)日志配置-->
<include resource="org/springframework/boot/logging/logback/defaults.xml"/>
<!--使用默認(rèn)的控制臺(tái)日志輸出實(shí)現(xiàn)-->
<include resource="org/springframework/boot/logging/logback/console-appender.xml"/>
<!--應(yīng)用名稱-->
<springProperty scope="context" name="APP_NAME" source="spring.application.name" defaultValue="springBoot"/>
<!--日志文件保存路徑-->
<property name="LOG_FILE_PATH" value="${LOG_FILE:-${LOG_PATH:-${LOG_TEMP:-${java.io.tmpdir:-/tmp}}}/logs}"/>
<!--LogStash訪問(wèn)host-->
<springProperty name="LOG_STASH_HOST" scope="context" source="logstash.host" defaultValue="localhost"/>
<!--DEBUG日志輸出到文件-->
<appender name="FILE_DEBUG"
class="ch.qos.logback.core.rolling.RollingFileAppender">
<!--輸出DEBUG以上級(jí)別日志-->
<filter class="ch.qos.logback.classic.filter.ThresholdFilter">
<level>DEBUG</level>
</filter>
<encoder>
<!--設(shè)置為默認(rèn)的文件日志格式-->
<pattern>${FILE_LOG_PATTERN}</pattern>
<charset>UTF-8</charset>
</encoder>
<rollingPolicy class="ch.qos.logback.core.rolling.SizeAndTimeBasedRollingPolicy">
<!--設(shè)置文件命名格式-->
<fileNamePattern>${LOG_FILE_PATH}/debug/${APP_NAME}-%d{yyyy-MM-dd}-%i.log</fileNamePattern>
<!--設(shè)置日志文件大小外盯,超過(guò)就重新生成文件,默認(rèn)10M-->
<maxFileSize>${LOG_FILE_MAX_SIZE:-10MB}</maxFileSize>
<!--日志文件保留天數(shù)翼雀,默認(rèn)30天-->
<maxHistory>${LOG_FILE_MAX_HISTORY:-30}</maxHistory>
</rollingPolicy>
</appender>
<!--ERROR日志輸出到文件-->
<appender name="FILE_ERROR"
class="ch.qos.logback.core.rolling.RollingFileAppender">
<!--只輸出ERROR級(jí)別的日志-->
<filter class="ch.qos.logback.classic.filter.LevelFilter">
<level>ERROR</level>
<onMatch>ACCEPT</onMatch>
<onMismatch>DENY</onMismatch>
</filter>
<encoder>
<!--設(shè)置為默認(rèn)的文件日志格式-->
<pattern>${FILE_LOG_PATTERN}</pattern>
<charset>UTF-8</charset>
</encoder>
<rollingPolicy class="ch.qos.logback.core.rolling.SizeAndTimeBasedRollingPolicy">
<!--設(shè)置文件命名格式-->
<fileNamePattern>${LOG_FILE_PATH}/error/${APP_NAME}-%d{yyyy-MM-dd}-%i.log</fileNamePattern>
<!--設(shè)置日志文件大小饱苟,超過(guò)就重新生成文件,默認(rèn)10M-->
<maxFileSize>${LOG_FILE_MAX_SIZE:-10MB}</maxFileSize>
<!--日志文件保留天數(shù)狼渊,默認(rèn)30天-->
<maxHistory>${LOG_FILE_MAX_HISTORY:-30}</maxHistory>
</rollingPolicy>
</appender>
<!--DEBUG日志輸出到LogStash-->
<appender name="LOG_STASH_DEBUG" class="net.logstash.logback.appender.LogstashTcpSocketAppender">
<filter class="ch.qos.logback.classic.filter.ThresholdFilter">
<level>DEBUG</level>
</filter>
<destination>${LOG_STASH_HOST}:4560</destination>
<encoder charset="UTF-8" class="net.logstash.logback.encoder.LoggingEventCompositeJsonEncoder">
<providers>
<timestamp>
<timeZone>Asia/Shanghai</timeZone>
</timestamp>
<!--自定義日志輸出格式-->
<pattern>
<pattern>
{
"project": "mall-tiny",
"level": "%level",
"service": "${APP_NAME:-}",
"pid": "${PID:-}",
"thread": "%thread",
"class": "%logger",
"message": "%message",
"stack_trace": "%exception{20}"
}
</pattern>
</pattern>
</providers>
</encoder>
<!--當(dāng)有多個(gè)LogStash服務(wù)時(shí)箱熬,設(shè)置訪問(wèn)策略為輪詢-->
<connectionStrategy>
<roundRobin>
<connectionTTL>5 minutes</connectionTTL>
</roundRobin>
</connectionStrategy>
</appender>
<!--ERROR日志輸出到LogStash-->
<appender name="LOG_STASH_ERROR" class="net.logstash.logback.appender.LogstashTcpSocketAppender">
<filter class="ch.qos.logback.classic.filter.LevelFilter">
<level>ERROR</level>
<onMatch>ACCEPT</onMatch>
<onMismatch>DENY</onMismatch>
</filter>
<destination>${LOG_STASH_HOST}:4561</destination>
<encoder charset="UTF-8" class="net.logstash.logback.encoder.LoggingEventCompositeJsonEncoder">
<providers>
<timestamp>
<timeZone>Asia/Shanghai</timeZone>
</timestamp>
<!--自定義日志輸出格式-->
<pattern>
<pattern>
{
"project": "mall-tiny",
"level": "%level",
"service": "${APP_NAME:-}",
"pid": "${PID:-}",
"thread": "%thread",
"class": "%logger",
"message": "%message",
"stack_trace": "%exception{20}"
}
</pattern>
</pattern>
</providers>
</encoder>
<!--當(dāng)有多個(gè)LogStash服務(wù)時(shí)类垦,設(shè)置訪問(wèn)策略為輪詢-->
<connectionStrategy>
<roundRobin>
<connectionTTL>5 minutes</connectionTTL>
</roundRobin>
</connectionStrategy>
</appender>
<!--業(yè)務(wù)日志輸出到LogStash-->
<appender name="LOG_STASH_BUSINESS" class="net.logstash.logback.appender.LogstashTcpSocketAppender">
<destination>${LOG_STASH_HOST}:4562</destination>
<encoder charset="UTF-8" class="net.logstash.logback.encoder.LoggingEventCompositeJsonEncoder">
<providers>
<timestamp>
<timeZone>Asia/Shanghai</timeZone>
</timestamp>
<!--自定義日志輸出格式-->
<pattern>
<pattern>
{
"project": "mall-tiny",
"level": "%level",
"service": "${APP_NAME:-}",
"pid": "${PID:-}",
"thread": "%thread",
"class": "%logger",
"message": "%message",
"stack_trace": "%exception{20}"
}
</pattern>
</pattern>
</providers>
</encoder>
<!--當(dāng)有多個(gè)LogStash服務(wù)時(shí),設(shè)置訪問(wèn)策略為輪詢-->
<connectionStrategy>
<roundRobin>
<connectionTTL>5 minutes</connectionTTL>
</roundRobin>
</connectionStrategy>
</appender>
<!--接口訪問(wèn)記錄日志輸出到LogStash-->
<appender name="LOG_STASH_RECORD" class="net.logstash.logback.appender.LogstashTcpSocketAppender">
<destination>${LOG_STASH_HOST}:4563</destination>
<encoder charset="UTF-8" class="net.logstash.logback.encoder.LoggingEventCompositeJsonEncoder">
<providers>
<timestamp>
<timeZone>Asia/Shanghai</timeZone>
</timestamp>
<!--自定義日志輸出格式-->
<pattern>
<pattern>
{
"project": "mall-tiny",
"level": "%level",
"service": "${APP_NAME:-}",
"class": "%logger",
"message": "%message"
}
</pattern>
</pattern>
</providers>
</encoder>
<!--當(dāng)有多個(gè)LogStash服務(wù)時(shí)城须,設(shè)置訪問(wèn)策略為輪詢-->
<connectionStrategy>
<roundRobin>
<connectionTTL>5 minutes</connectionTTL>
</roundRobin>
</connectionStrategy>
</appender>
<!--控制框架輸出日志-->
<logger name="org.slf4j" level="INFO"/>
<logger name="springfox" level="INFO"/>
<logger name="io.swagger" level="INFO"/>
<logger name="org.springframework" level="INFO"/>
<logger name="org.hibernate.validator" level="INFO"/>
<root level="DEBUG">
<appender-ref ref="CONSOLE"/>
<!--<appender-ref ref="FILE_DEBUG"/>-->
<!--<appender-ref ref="FILE_ERROR"/>-->
<appender-ref ref="LOG_STASH_DEBUG"/>
<appender-ref ref="LOG_STASH_ERROR"/>
</root>
<logger name="com.macro.mall.tiny.component" level="DEBUG">
<appender-ref ref="LOG_STASH_RECORD"/>
</logger>
<logger name="com.macro.mall" level="DEBUG">
<appender-ref ref="LOG_STASH_BUSINESS"/>
</logger>
</configuration>
配置要點(diǎn)解析
使用默認(rèn)的日志配置
一般我們不需要自定義控制臺(tái)輸出蚤认,可以采用默認(rèn)配置,具體配置參考console-appender.xml糕伐,該文件在spring-boot-${version}.jar下面砰琢。
<!--引用默認(rèn)日志配置-->
<include resource="org/springframework/boot/logging/logback/defaults.xml"/>
<!--使用默認(rèn)的控制臺(tái)日志輸出實(shí)現(xiàn)-->
<include resource="org/springframework/boot/logging/logback/console-appender.xml"/>
springProperty
該標(biāo)簽可以從SpringBoot的配置文件中獲取配置屬性,比如說(shuō)在不同環(huán)境下我們的Logstash服務(wù)地址是不一樣的良瞧,我們就可以把該地址定義在application.yml來(lái)使用陪汽。
例如在application-dev.yml中定義了這些屬性:
logstash:
host: localhost
在logback-spring.xml中就可以直接這樣使用:
<!--應(yīng)用名稱-->
<springProperty scope="context" name="APP_NAME" source="spring.application.name" defaultValue="springBoot"/>
<!--LogStash訪問(wèn)host-->
<springProperty name="LOG_STASH_HOST" scope="context" source="logstash.host" defaultValue="localhost"/>
filter
在Logback中有兩種不同的過(guò)濾器,用來(lái)過(guò)濾日志輸出褥蚯。
- ThresholdFilter:臨界值過(guò)濾器挚冤,過(guò)濾掉低于指定臨界值的日志,比如下面的配置將過(guò)濾掉所有低于INFO級(jí)別的日志赞庶。
<filter class="ch.qos.logback.classic.filter.ThresholdFilter">
<level>INFO</level>
</filter>
- LevelFilter:級(jí)別過(guò)濾器训挡,根據(jù)日志級(jí)別進(jìn)行過(guò)濾,比如下面的配置將過(guò)濾掉所有非ERROR級(jí)別的日志歧强。
<filter class="ch.qos.logback.classic.filter.LevelFilter">
<level>ERROR</level>
<onMatch>ACCEPT</onMatch>
<onMismatch>DENY</onMismatch>
</filter>
appender
Appender可以用來(lái)控制日志的輸出形式舍哄,主要有下面三種。
- ConsoleAppender:控制日志輸出到控制臺(tái)的形式誊锭,比如在console-appender.xml中定義的默認(rèn)控制臺(tái)輸出。
<appender name="CONSOLE" class="ch.qos.logback.core.ConsoleAppender">
<encoder>
<pattern>${CONSOLE_LOG_PATTERN}</pattern>
</encoder>
</appender>
- RollingFileAppender:控制日志輸出到文件的形式弥锄,可以控制日志文件生成策略丧靡,比如文件名稱格式、超過(guò)多大重新生成文件以及刪除超過(guò)多少天的文件籽暇。
<!--ERROR日志輸出到文件-->
<appender name="FILE_ERROR"
class="ch.qos.logback.core.rolling.RollingFileAppender">
<rollingPolicy class="ch.qos.logback.core.rolling.SizeAndTimeBasedRollingPolicy">
<!--設(shè)置文件命名格式-->
<fileNamePattern>${LOG_FILE_PATH}/error/${APP_NAME}-%d{yyyy-MM-dd}-%i.log</fileNamePattern>
<!--設(shè)置日志文件大小温治,超過(guò)就重新生成文件,默認(rèn)10M-->
<maxFileSize>${LOG_FILE_MAX_SIZE:-10MB}</maxFileSize>
<!--日志文件保留天數(shù)戒悠,默認(rèn)30天-->
<maxHistory>${LOG_FILE_MAX_HISTORY:-30}</maxHistory>
</rollingPolicy>
</appender>
- LogstashTcpSocketAppender:控制日志輸出到Logstash的形式熬荆,可以用來(lái)配置Logstash的地址、訪問(wèn)策略以及日志的格式绸狐。
<!--ERROR日志輸出到LogStash-->
<appender name="LOG_STASH_ERROR" class="net.logstash.logback.appender.LogstashTcpSocketAppender">
<destination>${LOG_STASH_HOST}:4561</destination>
<encoder charset="UTF-8" class="net.logstash.logback.encoder.LoggingEventCompositeJsonEncoder">
<providers>
<timestamp>
<timeZone>Asia/Shanghai</timeZone>
</timestamp>
<!--自定義日志輸出格式-->
<pattern>
<pattern>
{
"project": "mall-tiny",
"level": "%level",
"service": "${APP_NAME:-}",
"pid": "${PID:-}",
"thread": "%thread",
"class": "%logger",
"message": "%message",
"stack_trace": "%exception{20}"
}
</pattern>
</pattern>
</providers>
</encoder>
<!--當(dāng)有多個(gè)LogStash服務(wù)時(shí)卤恳,設(shè)置訪問(wèn)策略為輪詢-->
<connectionStrategy>
<roundRobin>
<connectionTTL>5 minutes</connectionTTL>
</roundRobin>
</connectionStrategy>
</appender>
logger
只有配置到logger節(jié)點(diǎn)上的appender才會(huì)被使用,logger用于配置哪種條件下的日志被打印寒矿,root是一種特殊的appender突琳,下面介紹下日志劃分的條件。
- 調(diào)試日志:所有的DEBUG級(jí)別以上日志符相;
- 錯(cuò)誤日志:所有的ERROR級(jí)別日志拆融;
- 業(yè)務(wù)日志:com.macro.mall包下的所有DEBUG級(jí)別以上日志;
- 記錄日志:com.macro.mall.tiny.component.WebLogAspect類下所有DEBUG級(jí)別以上日志,該類是統(tǒng)計(jì)接口訪問(wèn)信息的AOP切面類镜豹。
控制框架輸出日志
還有一些使用框架內(nèi)部的日志傲须,DEBUG級(jí)別的日志對(duì)我們并沒(méi)有啥用處,都可以設(shè)置為了INFO以上級(jí)別趟脂。
<!--控制框架輸出日志-->
<logger name="org.slf4j" level="INFO"/>
<logger name="springfox" level="INFO"/>
<logger name="io.swagger" level="INFO"/>
<logger name="org.springframework" level="INFO"/>
<logger name="org.hibernate.validator" level="INFO"/>
Logstash配置詳解
接下來(lái)我們需要配置下Logstash泰讽,讓它可以分場(chǎng)景收集不同的日志,下面詳細(xì)介紹下使用到的配置散怖。
完全配置
創(chuàng)建一個(gè)存放logstash配置的目錄并上傳配置文件
logstash.conf文件內(nèi)容
input {
tcp {
mode => "server"
host => "0.0.0.0"
port => 4560
codec => json_lines
type => "debug"
}
tcp {
mode => "server"
host => "0.0.0.0"
port => 4561
codec => json_lines
type => "error"
}
tcp {
mode => "server"
host => "0.0.0.0"
port => 4562
codec => json_lines
type => "business"
}
tcp {
mode => "server"
host => "0.0.0.0"
port => 4563
codec => json_lines
type => "record"
}
}
filter{
if [type] == "record" {
mutate {
remove_field => "port"
remove_field => "host"
remove_field => "@version"
}
json {
source => "message"
remove_field => ["message"]
}
}
}
output {
elasticsearch {
hosts => ["es:9200"]
action => "index"
codec => json
index => "mall-tiny-%{type}-%{+YYYY.MM.dd}"
template_name => "mall-tiny"
}
}
配置要點(diǎn)
- input:使用不同端口收集不同類型的日志菇绵,從4560~4563開(kāi)啟四個(gè)端口;
- filter:對(duì)于記錄類型的日志镇眷,直接將JSON格式的message轉(zhuǎn)化到source中去咬最,便于搜索查看;
- output:按類型欠动、時(shí)間自定義索引格式永乌。
SpringBoot配置
在SpringBoot中的配置可以直接用來(lái)覆蓋Logback中的配置,比如logging.level.root就可以覆蓋<root>節(jié)點(diǎn)中的level配置具伍。
- 開(kāi)發(fā)環(huán)境配置:application-dev.yml
logstash:
host: localhost
logging:
level:
root: debug
- 測(cè)試環(huán)境配置:application-test.yml
logstash:
host: 192.168.3.101
logging:
level:
root: debug
- 生產(chǎn)環(huán)境配置:application-prod.yml
logstash:
host: logstash-prod
logging:
level:
root: info
Kibana進(jìn)階使用
進(jìn)過(guò)上面ELK環(huán)境的搭建和配置以后翅雏,我們的日志收集系統(tǒng)終于可以用起來(lái)了,下面介紹下在Kibana中的使用技巧人芽!
-
調(diào)用完成后在Management->Kibana->Index Patterns中可以創(chuàng)建Index Patterns望几,Kibana服務(wù)訪問(wèn)地址:http://192.168.3.101:5601
640.png -
創(chuàng)建完成后可以在Discover中查看所有日志,調(diào)試日志只需直接查看mall-tiny-debug*模式的日志即可萤厅;
640 (1).png -
對(duì)于日志搜索橄抹,kibana有非常強(qiáng)大的提示功能,可以通過(guò)搜索欄右側(cè)的Options按鈕打開(kāi)惕味;
640 (2).png -
記錄日志只需直接查看mall-tiny-record*模式的日志即可楼誓,如果我們想要搜索uri為/brand/listAll的記錄日志,只需在搜索欄中輸入uri : "/brand/listAll"名挥;
640 (3).png -
錯(cuò)誤日志疟羹,只需直接查看mall-tiny-error*模式的日志即可;
640 (4).png -
業(yè)務(wù)日志禀倔,只需直接查看mall-tiny-business*模式的日志即可榄融,這里我們可以查看一些SQL日志的輸出;
640 (5).png -
如果日志太大了救湖,可以通過(guò)Elasticsearch->Index Management選擇刪除即可剃袍。
640 (6).png