hosts sy1,sy2,sy3
broker.id 0,1,2
1.安裝好jdk
2.安裝好zookeeper
3.下載安裝kafka
apache官網(wǎng)推薦鏡像下載kafka霹俺，我這邊選擇了2.11版本
wget http://apache.opencas.org/kafka/0.9.0.1/kafka_2.11-0.9.0.1.tgz
tar -zxvf
kafka_2.11-0.9.0.1.tgz
解壓到對應(yīng)文件夾下
4.修改配置文件
修改kafka_2.12-2.1.1/config下的server.properties
broker.id=0? #當(dāng)前機(jī)器在集群中的唯一標(biāo)識，和zookeeper的myid性質(zhì)一樣
port=9092 #當(dāng)前kafka對外提供服務(wù)的端口默認(rèn)是9092
host.name=sy1 #這個參數(shù)默認(rèn)是關(guān)閉的，在0.8.1有個bug，DNS解析問題，失敗率的問題洋魂。
num.network.threads=3 #這個是borker進(jìn)行網(wǎng)絡(luò)處理的線程數(shù)
num.io.threads=8 #這個是borker進(jìn)行I/O處理的線程數(shù)
log.dirs=/opt/kafka/kafkalogs/ #消息存放的目錄，這個目錄可以配置為“，”逗號分割的表達(dá)式珊佣，上面的num.io.threads要大于這個目錄的個數(shù)這個目錄，如果配置多個目錄披粟，新創(chuàng)建的topic他把消息持久化的地方是咒锻，當(dāng)前以逗號分割的目錄中，那個分區(qū)數(shù)最少就放那一個
socket.send.buffer.bytes=102400 #發(fā)送緩沖區(qū)buffer大小守屉，數(shù)據(jù)不是一下子就發(fā)送的惑艇，先回存儲到緩沖區(qū)了到達(dá)一定的大小后在發(fā)送，能提高性能
socket.receive.buffer.bytes=102400
#kafka接收緩沖區(qū)大小拇泛，當(dāng)數(shù)據(jù)到達(dá)一定大小后在序列化到磁盤
socket.request.max.bytes=104857600 #這個參數(shù)是向kafka請求消息或者向kafka發(fā)送消息的請請求的最大數(shù)滨巴，這個值不能超過java的堆棧大小
num.partitions=1 #默認(rèn)的分區(qū)數(shù)，一個topic默認(rèn)1個分區(qū)數(shù)
log.retention.hours=168 #默認(rèn)消息的最大持久化時間碰镜，168小時兢卵，7天
message.max.byte=5242880? #消息保存的最大值5M
default.replication.factor=2? #kafka保存消息的副本數(shù)，如果一個副本失效了绪颖，另一個還可以繼續(xù)提供服務(wù)
replica.fetch.max.bytes=5242880? #取消息的最大直接數(shù)
log.segment.bytes=1073741824 #這個參數(shù)是：因?yàn)閗afka的消息是以追加的形式落地到文件秽荤，當(dāng)超過這個值的時候，kafka會新起一個文件
log.retention.check.interval.ms=300000
#每隔300000毫秒去檢查上面配置的log失效時間（log.retention.hours=168）柠横，到目錄查看是否有過期的消息如果有窃款，刪除
log.cleaner.enable=false #是否啟用log壓縮，一般不用啟用牍氛，啟用的話可以提高性能
zookeeper.connect=sy1:2181,sy2:2181,sy3:2181
#設(shè)置zookeeper的連接端口
三臺節(jié)點(diǎn)上都對應(yīng)修改晨继，注意broker.id不能相同
5.啟動kafka
kafka_2.12-2.1.1/bin/kafka-server-start.sh
-daemon kafka_2.12-2.1.1/config/server.properties
檢查服務(wù)是否啟動
jps
25301 Jps
23800 Kafka
21257 QuorumPeerMain
到此kafka安裝成功
6.配置環(huán)境變量
我這邊將zk和kafka的命令加入環(huán)境變量
寫入文件/etc/bashrc中
echo "export
KAFKA_HOME=/opt/kafka/kafka_2.12-2.1.1" >> /etc/bashrc
echo "export ZK_HOME=/opt/zookeeper/zookeeper-3.4.14"
>> /etc/bashrc
echo "export
PATH=$PATH:$KAFKA_HOME/bin:$ZK_HOME/bin" >>
/etc/bashrc
生效環(huán)境變量
source /etc/bashrc
