簡單記錄下?es + kibana + filebeat + logstash + kafka 部署過程? （安裝版本都選取最新版）
操作系統(tǒng)版本? ： centos7 兩臺
一、java安裝
????oracle? ?java官網(wǎng) 自行下載java安裝包??jdk-8u201-linux-x64.tar.gz
????tar zxf?jdk-8u201-linux-x64.tar.gz
????mv?jdk1.8.0_201 /opt
????vim /etc/profile? ? ?
????內(nèi)容如下：
? ??????????#Java Env
????????????export JAVA_HOME=/opt/jdk1.8.0_201
????????????export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
????????????export PATH=$PATH:$JAVA_HOME/bin
????source /etc/profile
?????java -version?????
????出現(xiàn)如下圖內(nèi)容即安裝成功
每個節(jié)點(diǎn)都需要安裝
二归形、安裝elasticsearch? ? ? ?es集群內(nèi)的機(jī)器都需要安裝
????由于es不能在root用戶下運(yùn)行连霉，所以我們新建用戶
????groupadd elasticsearch
????useradd elasticsearch -g elasticsearch
????cd /opt
????wget?https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-6.7.0.tar.gz
????tar zxf?elasticsearch-6.7.0.tar.gz
????vim elasticsearch-6.7.0/config/elasticsearch.yml
????主要配置內(nèi)容如下：
????????cluster.name: es-puxu? ? ? ? ? ? ? ? ? ? ? #集群名稱嗡靡，加入一個集群的名稱需保持一致
????????node.name: es-puxu-node1? ? ? ? ? ? ?#節(jié)點(diǎn)名稱
????????path.data: /path/to/data? ??
????????path.logs: /path/to/logs
????????network.host: yourip? ? ? #此節(jié)點(diǎn)ip
????????http.port: 9200
????????discovery.zen.ping.unicast.hosts: ["yourip", "yourip2"]? ? #集群各節(jié)點(diǎn)的ip寫入此處
? ??????# Prevent the "split brain" by configuring the majority of nodes (total number of master-eligible nodes / 2 + 1):
????????discovery.zen.minimum_master_nodes: 2? ? ? ? ?#為防止腦裂現(xiàn)象讨彼，master選舉只會在至少有n個能參與master選舉的節(jié)點(diǎn)存在才會發(fā)生，n為此參數(shù)的值哩至，為可參與選舉的節(jié)點(diǎn)數(shù)/2+1
????mkdir -p /path/to/data
????mkdir? -p /path/to/logs
????chown -R elasticsearch:elasticsearch /opt/elasticsearch-6.7.0
????chown -R?elasticsearch:elasticsearch /path/to
????cd?elasticsearch-6.7.0
????bin/elastichsearch &? ? ? ? ? ? ? ? ? ??
????到此es應(yīng)該啟動成功蜜自，訪問http://yourip:9200 出現(xiàn)下圖顯示即啟動成功
? ? ? ?其余節(jié)點(diǎn)機(jī)器皆為此方式部署重荠，只需更改配置文件中得節(jié)點(diǎn)名稱和節(jié)點(diǎn)ip??
三、安裝kibana
????下載 kibana-6.7.0-linux-x86_64
????cd?kibana-6.7.0-linux-x86_64
? ??vim config/kibana.yml
bin/kibana &
四仇参、安裝zookeeper
????下載zookeeper-3.5.4-beta
? ? ?cd zookeeper-3.5.4-beta/
? ? ?vim conf/zoo.cfg
? ? ?bin/zkServer.sh start
五诈乒、安裝kafka
????下載?kafka_2.12-2.2.0
????cd?kafka_2.12-2.2.0
????vim config/server.properties
????bin/kafka-server-start.sh config/server.properties? &
六怕磨、安裝filebeat
????cd /opt
????wget?https://artifacts.elastic.co/downloads/beats/filebeat/filebeat-6.7.0-linux-x86_64.tar.gz
????tar zxf?filebeat-6.7.0-linux-x86_64.tar.gz
????vim /opt/filebeat-6.7.0-linux-x86_64/filebeat.yml
????配置如下，采集的數(shù)據(jù)這邊output kafka
????cd filebeat-6.7.0-linux-x86_64/
????./filebeat &
每個存放有日志的節(jié)點(diǎn)都需要安裝
ps ：用vim編輯保存文件會先寫入內(nèi)存仰泻，刪除老文件滩届，創(chuàng)建新的空文件被啼，最后將內(nèi)存里的內(nèi)容寫入空文件浓体，結(jié)果導(dǎo)致文件的inode號發(fā)生變化。所以測試時如果用vim去修改日志文件會發(fā)生filebeat重復(fù)采集數(shù)據(jù)的情況命浴，因?yàn)閒ilebeat發(fā)現(xiàn)inode號不一樣就認(rèn)定該文件是新文件會從頭采集數(shù)據(jù)而不是增量采集生闲。
七、安裝logstash
????下載?logstash-6.7.0
????cd?logstash-6.7.0
? ? ?vim config/file.conf
? ? 輸出到es悬蔽，還可以對日志進(jìn)行分類捉兴，保存到不同索引。
? ?bin/logstash -f config/file.conf &
訪問 http://192.168.198.132:5601
創(chuàng)建訪問的內(nèi)容禾乘，從不同機(jī)器上的收集的日志展示如下虽缕。
