環(huán)境說明
- linux
CentOS Linux release 7.5.1804 (Core) - docker
Docker version 1.13.1 - elk
sebp/elk latest - filebeat
filebeat-6.4.0
elk跟filebeat在同一臺機器上
架構(gòu)
Elasticsearch
一個近乎實時查詢的全文搜索引擎是趴。Elasticsearch 的設(shè)計目標就是要能夠處理和搜索巨量的日志數(shù)據(jù)。Logstash
讀取原始日志澄惊，并對其進行分析和過濾唆途，然后將其轉(zhuǎn)發(fā)給其他組件（比如 Elasticsearch）進行索引或存儲。Logstash 支持豐富的 Input 和 Output 類型掸驱，能夠處理各種應(yīng)用的日志肛搬。Kibana
一個基于 JavaScript 的 Web 圖形界面程序，專門用于可視化 Elasticsearch 的數(shù)據(jù)毕贼。Kibana 能夠查詢 Elasticsearch 并通過豐富的圖表展示結(jié)果温赔。用戶可以創(chuàng)建 Dashboard 來監(jiān)控系統(tǒng)的日志。Filebeat
引入Filebeat作為日志搜集器鬼癣，主要是為了解決Logstash開銷大的問題陶贼。相比Logstash，F(xiàn)ilebeat 所占系統(tǒng)的 CPU 和內(nèi)存幾乎可以忽略不計扣溺。
日志處理流程：
Filebeat將日志發(fā)送給Logstash進行分析和過濾骇窍，然后由Logstash轉(zhuǎn)發(fā)給Elasticsearch，最后由Kibana可視化Elasticsearch 的數(shù)據(jù)
安裝 ELK 套件
ELK 的部署方案可以非常靈活锥余，在規(guī)模較大的生產(chǎn)系統(tǒng)中腹纳，ELK 有自己的集群，實現(xiàn)了高可用和負載均衡驱犹。我們的目標是在最短的時間內(nèi)學習并實踐 ELK嘲恍，因此將采用最小部署方案：在容器中搭建 ELK。
- 運行ELK鏡像需要vm.max_map_count至少需要262144內(nèi)存
切換到root用戶修改配置sysctl.conf
vi /etc/sysctl.conf
在尾行添加以下內(nèi)容
vm.max_map_count=262144
并執(zhí)行命令
sysctl -p
elk啟動的時候可能會提示如下錯誤:
max virtual memory areas vm.max_map_count [65530] is too low, increase to at least [262144]
查看容器日志：docker logs 容器ID
參考鏈接：https://blog.csdn.net/jiankunking/article/details/65448030
- 安裝docker
在線安裝吧雄驹，如果自定義安裝請搜索下安裝方法佃牛，這里就不再描述了
yum install docker
啟用服務(wù)
systemctl start docker
開機啟動
systemctl enable docker
- 運行ELK鏡像
sudo docker run -p 5601:5601 -p 9200:9200 -p 5044:5044 -it --name elk sebp/elk
- 配置logstash
查看容器信息
docker ps -a
進入容器
sudo docker exec -it elk /bin/bash
或
sudo docker exec -it 容器ID /bin/bash
修改02-beats-input.conf
cd /etc/logstash/conf.d/
vi 02-beats-input.conf
/etc/logstash/conf.d/02-beats-input.conf修改成如下圖所示：
這里vi命令使用有點問題，我是通過DEL鍵一行一行的刪掉了那3行的
將以下三行刪除掉医舆。這三行的意思是是否使用證書俘侠，本例是不使用證書的，如果你需要使用證書蔬将，將logstash.crt拷貝到客戶端爷速，然后在filebeat.yml里面添加路徑即可
ssl => true
ssl_certificate => "/pki/tls/certs/logstash.crt"
ssl_key => "/pki/tls/private/logstash.key"
注意：sebp/elk docker是自建立了一個證書logstash.crt，默認使用*通配配符霞怀，如果你使用證書惫东，filebeat.yml使用的服務(wù)器地址必須使用域名，不能使用IP地址，否則會報錯
這里如果不去掉這三行配置的話廉沮，在后面啟動filebeat時颓遏，會提示如下錯誤：
2018-09-12T10:01:29.770+0800 ERROR logstash/async.go:252 Failed to publish events caused by: lumberjack protocol error
2018-09-12T10:01:29.775+0800 ERROR logstash/async.go:252 Failed to publish events caused by: client is not connected
2018-09-12T10:01:30.775+0800 ERROR pipeline/output.go:109 Failed to publish events: client is not connected
- 重啟elk容器
docker restart 容器ID
- kibana可視化頁面
在瀏覽器輸入：http://ip:5601 ，稍等一會即可看到kibana啟動成功管理頁面
Elasticsearch的JSON接口：http://[Host IP]:9200/_search?pretty
安裝Filebeat
filebeat有多種安裝方式滞时，我這里采用rpm包的安裝方式叁幢，可自動注冊為systemd的服務(wù)
- 下載filebeat的rpm包
cd /opt/softwares
wget https://artifacts.elastic.co/downloads/beats/filebeat/filebeat-6.4.0-x86_64.rpm
或者到官網(wǎng)查看最新版本直接下載：https://www.elastic.co/downloads/beats/filebeat
- 安裝filebeat
rpm -ivh filebeat-6.4.0-x86_64.rpm
- 配置filebeat
cd /etc/filebeat
vi filebeat.yml
配置改為上圖所示
enabled：filebeat 6.0后，enabled默認為關(guān)閉漂洋，必須要修改成true
paths：為你想要抓取分析的日志所在路徑
配置改為上圖所示遥皂。注釋掉Elasticsearch output，開啟Logstash output刽漂。
如果直接將日志發(fā)送到Elasticsearc演训，請編輯此行：Elasticsearch output
如果直接將日志發(fā)送到Logstash，請編輯此行：Logstash output
只能使用一行輸出贝咙，其它的注掉即可
- 啟動filebeat服務(wù)
啟動filebeat
systemctl start filebeat.service
查看filebeat狀態(tài)
systemctl status filebeat.service
查看filebeat日志
tail -f /var/log/filebeat/filebeat
參考鏈接：http://www.reibang.com/p/7ca38fa881ae
kibana配置
點擊左上角的Discover按鈕样悟，如下圖所示，提示創(chuàng)建“index pattern”：
如下圖庭猩，紅框中輸入filebeat-*窟她，再點擊Next step:
如下圖，下拉框中選擇@timestamp蔼水，再點擊Create index pattern
在彈出的頁面上震糖，再次點擊左上角的Discover按鈕，然后點擊右上角的Last 15 minutes趴腋，如下圖：
此時頁面上會顯示最近15分鐘內(nèi)的日志吊说，如果最近15分鐘內(nèi)沒有任何日志上報，您也可以點擊下圖紅框中的Today按鈕优炬，展示今天的所有日志：
參考鏈接：
https://blog.csdn.net/qq_39284787/article/details/78809538
https://blog.csdn.net/boling_cavalry/article/details/79836171
https://www.cnblogs.com/CloudMan6/p/7787870.html
https://blog.csdn.net/boling_cavalry/article/details/79950677
