本文基于自建的Docker平臺速搭建一套完整的ELK系統(tǒng)趣竣,相關(guān)的鏡像直接從Docker Hub上獲取嫉戚,可以快速實(shí)現(xiàn)日志的采集和分析檢索畔师。
準(zhǔn)備鏡像
獲取ES鏡像:docker pull elasticsearch:latest
獲取kibana鏡像:docker pull kibana:latest
獲取logstash鏡像:docker pull logstash:latest
啟動(dòng)Elasticsearch
官方鏡像里面ES的配置文件保存在/usr/share/elasticsearch/config蒜埋,如果有需要可以將該目錄映射到宿主機(jī)上;數(shù)據(jù)文件目錄/usr/share/elasticsearch/data塌西,這里我們把數(shù)據(jù)目錄映射出來蛙紫;容器默認(rèn)對外提供9200端口皂股,用作API交互劈猪。
docker run --name elasticsearch \
-v "$PWD/esdata":/usr/share/elasticsearch/data \
-p 9200:9200 \
-d elasticsearch
容器啟動(dòng)以后可以調(diào)用一把驗(yàn)證一下:
啟動(dòng)Kibana
Kibana作為ES操作的UI昧甘,需要跟ES容器通信,所以這里要將ES的容器link一下战得,對外提供5601端口做頁面交互充边。
docker run --name kibana \
--link elasticsearch:elasticsearch \
-p 5601:5601 \
-d kibana
容器啟動(dòng)后用瀏覽器訪問5601端口,可以看到kibana頁面常侦,首次訪問的時(shí)候可能會(huì)提示沒有建立默認(rèn)索引浇冰,這里需要在管理頁面上創(chuàng)建一個(gè)默認(rèn)索引。默認(rèn)索引通常叫做logstash-*聋亡,如下圖所示創(chuàng)建一個(gè)默認(rèn)索引肘习。
啟動(dòng)Logstash
Logstash主要作用是收集日志,這個(gè)組件有很多插件坡倔,可以支持大部分日志集成方式漂佩,如tcp脖含、udp、jdbc仅仆、文件器赞、隊(duì)列等垢袱,他的配置非常簡單墓拜,啟動(dòng)方式也很簡單,這里以nginx的訪問日志為例请契,我們配置logstash讀取nginx的access.log咳榜,然后把日志轉(zhuǎn)發(fā)到Elasticsearch。
首先編譯一個(gè)logstash配置文件logstash.conf爽锥,內(nèi)容如下:
input{
file{
path=>"/tmp/nginx/logs/access.log"
}
}
output{
stdout{
}#日志輸出到控制臺#輸出到eselasticsearch{
hosts=>"100.100.x.231"
}
}
啟動(dòng)容器涌韩,這里我們把nginx的日志放在/tmp/nginx/logs/access.log,為了讓容器能讀到這個(gè)日志氯夷,需要把日志目錄映射到容器里面臣樱。
docker run -it --rm -v /tmp/nginx/logs/access.log:/tmp/nginx/logs/access.log docker.io/logstash:latest -f /config-dir/logstash.conf
接下來我們可以全流程測試一下日志收集展示的過程。首先在nginx里面造點(diǎn)訪問日志腮考,比如直接curl調(diào)nginx服務(wù)端口雇毫,或者直接往access.log里面寫數(shù)據(jù)也行。這時(shí)候再logstash容器我們可以看到如下日志輸出:
再往后踩蔚,打開Kibana頁面就可以看到實(shí)時(shí)寫入的日志數(shù)據(jù)了:
總結(jié)
Docker容器使ELK搭建變得非常便捷棚放,通過ELK可以快速分析檢索日志,發(fā)現(xiàn)問題馅闽,ELK的幾個(gè)核心貢獻(xiàn)者成立了一家公司叫Elastic飘蚯,目前跟我司也有一些合作,在開源的基礎(chǔ)上該公司也發(fā)布了一些商業(yè)產(chǎn)品福也,名為X-Pack局骤,提供了機(jī)器學(xué)習(xí)、圖算法以及安全技術(shù)上的諸多加強(qiáng)暴凑,有興趣的同學(xué)可以自行了解峦甩。
原文地址: 《基于Docker快速搭建ELK》