環(huán)境說明：
Logstash部署在本地Windows環(huán)境：10.168.92.3蟆盐，版本2.4.1
Kafka集群部署在虛擬服務器：
10.168.92.111缚忧，
10.168.92.112宰僧，
10.168.92.113，
ZK集群同上三臺虛擬服務器
各個集群節(jié)點之間已日，時間要同步NTP時間服務器描姚，
簡單點：sudo date -s "2018-05-01 17:47:00"發(fā)往全部節(jié)點
啟動所有ZK
$ZK_HOME/bin/zkServer.sh start
查看所有ZK的狀態(tài)
可以看出誰是Follower，誰是Leader
$ZK_HOME/bin/zkServer.sh status
啟動所有Kafa
$KAFKA_HOME/bin/kafka-server-start.sh $KAFKA_HOME/config/server.properties > /dev/null 2>&1 &
安裝配置Logstash
Logstash解壓即可夹界，在根目錄下新建conf文件夾馆里，在此文件夾下新建配置文件
file-to-kafka.txt
input {
file {
codec => plain {
charset => "GB2312"
}
path => "D:/BaiduNetdiskDownload/server-log/BaseDir/*/*.txt"
discover_interval => 5
start_position => "beginning"
}
}
output {
kafka {
topic_id => "gamelog"
codec => plain {
format => "%{message}"
charset => "GB2312"
}
//kafka集群的broker-list
bootstrap_servers => "kafka-01:9092,kafka-02:9092,kafka-03:9092"
}
}
啟動Logstash
$LOGSTASH_HOME\bin\logstash -f ..\conf\file-to-kafka.txt
C:\Users\dummy\Downloads\logstash-2.4.1\bin>.\logstash -f ..\conf\file-to-kafka.txt
Settings: Default pipeline workers: 8
Pipeline main started
jps下，64504 org/jruby/Main就是Logstash的進程可柿。
C:\Program Files\Java\jdk1.7.0_80\bin>jps -l
74916 sun.tools.jps.Jps
62732 org.jetbrains.jps.cmdline.Launcher
31256
59612
64504 org/jruby/Main
在Kafaka集群上任意一個節(jié)點啟動消費者
即可經(jīng)過Logstash拉取文件到Kafka鸠踪。
kafka-console-consumer.sh --zookeeper zk-01:2181,zk-02:2181,zk-03:2181 --topic gamelog --from-beginning
