簡單介紹
ELK(ElasticSearch, Logstash, Kibana)爵卒,三者組合在一起搭建實時的日志分析平臺地消,目前好多公司都是這套废赞!
- Elasticsearch 是個開源分布式搜索引擎虎眨,它的特點(diǎn)有:分布式弟劲,零配置祷安,自動發(fā)現(xiàn),索引自動分片兔乞,索引副本機(jī)制汇鞭,restful 風(fēng)格接口,多數(shù)據(jù)源庸追,自動搜索負(fù)載等霍骄。
- Logstash 是一個完全開源的工具,他可以對你的日志進(jìn)行收集淡溯、過濾读整,并將其存儲供以后使用(如,搜索)咱娶。
- Kibana 也是一個開源和免費(fèi)的工具米间,它 Kibana 可以為 Logstash 和 ElasticSearch 提供的日志分析友好的 Web 界面,可以幫助您匯總豺总、分析和搜索重要數(shù)據(jù)日志车伞。
安裝 ES
。喻喳。另玖。這個省略,不 bb 了表伦,以前寫過谦去。。蹦哼。傳送門:http://www.54tianzhisheng.cn/2017/09/09/Elasticsearch-install/
安裝 Logstash
ELK 整套環(huán)境搭建版本很關(guān)鍵鳄哭,最好全統(tǒng)一一個版本,否則出啥問題就不太好找了纲熏。這是我見過版本統(tǒng)一最嚴(yán)格的了妆丘。而已 ES 版本升了后,其他的都要都要升級局劲,包括其插件勺拣。升級代價挺大的,最好一開始就定位好要安裝哪個版本鱼填!
在官網(wǎng)下好安裝包后傳到 Linux 上药有,這是速度最快的。
在 /usr/local 目錄下解壓:
tar -zxvf logstash-5.5.2.tar.gz
進(jìn)入解壓后的目錄:
cd /usr/local/logstash-5.5.2/bin
新增配置文件:
vim logstash.conf
增加:
input{
file{
path => ["/var/log/*.log"]
}
}
output{
elasticsearch{
hosts => ["192.168.153.135:9200"]
index => "logstash__log"
}
}
Logstash 的啟動方式是:
在 /usr/local/logstash-5.5.2/bin 目錄下運(yùn)行:
./logstash -f logstash.conf
安裝 Kibana
同樣,官網(wǎng)下好安裝包愤惰,上傳到 Linux苇经。
解壓:
tar -zxvf kibana-5.5.2-linux-x86_64.tar.gz
修改配置文件 kibana-5.5.2/config/kibana.yml 如下:
Server.host //配置機(jī)器ip/hostname
Server.name //此kibana服務(wù)的名稱
elasticsearch.url //es master節(jié)點(diǎn)url
Kibana 啟動方式:
在 /usr/local/kibana-5.5.2/bin 目錄下運(yùn)行:
./kibana
Web界面訪問: http://ip:5601 此時需要輸入用戶名和密碼登錄,默認(rèn)分別是 elastic 和 changeme
X-Pack
X-Pack 是一個 Elastic Stack 的擴(kuò)展,將安全宦言,警報扇单,監(jiān)控,報告和圖形功能包含在一個易于安裝的軟件包中奠旺。
ES 和 Kibana 都可安裝令花。
插件 x-pack-5.5.2.zip 依舊官網(wǎng)下。
ES 安裝 X-Pack
cd /usr/local/elasticsearch/bin
./elasticsearch-plugin install file:///opt/es/x-pack-5.5.2.zip
如果成功:顯示如下
[root@node1 bin]# ./elasticsearch-plugin install file:///opt/es/x-pack-5.5.2.zip
-> Downloading file:///opt/es/x-pack-5.5.2.zip
[=================================================] 100%
@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@
@ WARNING: plugin requires additional permissions @
@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@
* java.io.FilePermission \\.\pipe\* read,write
* java.lang.RuntimePermission accessClassInPackage.com.sun.activation.registries
* java.lang.RuntimePermission getClassLoader
* java.lang.RuntimePermission setContextClassLoader
* java.lang.RuntimePermission setFactory
* java.security.SecurityPermission createPolicy.JavaPolicy
* java.security.SecurityPermission getPolicy
* java.security.SecurityPermission putProviderProperty.BC
* java.security.SecurityPermission setPolicy
* java.util.PropertyPermission * read,write
* java.util.PropertyPermission sun.nio.ch.bugLevel write
* javax.net.ssl.SSLPermission setHostnameVerifier
See http://docs.oracle.com/javase/8/docs/technotes/guides/security/permissions.html
for descriptions of what these permissions allow and the associated risks.
Continue with installation? [y/N]y
@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@
@ WARNING: plugin forks a native controller @
@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@
This plugin launches a native controller that is not subject to the Java
security manager nor to system call filters.
Continue with installation? [y/N]y
-> Installed x-pack
Kibana 安裝 X-Pack
cd /usr/local/kibana-5.5.2/bin
./kibana-plugin install file:///opt/es/x-pack-5.5.2.zip
安裝成功如下:
[root@node1 bin]# ./kibana-plugin install file:///opt/es/x-pack-5.5.2.zip
Attempting to transfer from file:///opt/es/x-pack-5.5.2.zip
Transferring 159867054 bytes....................
Transfer complete
Retrieving metadata from plugin archive
Extracting plugin archive
Extraction complete
Optimizing and caching browser bundles...
Plugin installation complete
啟用 x-pack 安全機(jī)制
分別在 kibana.yml 和 elasticsearch.yml 中加入下行
xpack.security.enabled: true
這樣后凉倚,你再打開 ES 的 head 界面和 Kibana 管理界面就需要輸入賬號密碼了兼都。
上圖右邊是安裝 X-Pack 后的,功能多了幾個稽寒。
最后
環(huán)境搭建很簡單扮碧,后面如果有時間的話可以再講講在 Kibana 的 Dev Tools 上構(gòu)建 ES 的 JSON 串來對 ES 進(jìn)行操作。
我還寫過 ES 相關(guān)的文章:
1杏糙、Elasticsearch 默認(rèn)分詞器和中分分詞器之間的比較及使用方法
2慎王、全文搜索引擎 Elasticsearch 集群搭建入門教程
4宏侍、ElasticSearch 單個節(jié)點(diǎn)監(jiān)控
結(jié)尾
本文首發(fā)于:zhisheng 的博客
轉(zhuǎn)載請注明地址:http://www.54tianzhisheng.cn/2017/12/25/ELK/