kafka官網(wǎng)及下載地址
1) Kafka官網(wǎng)：http://kafka.apache.org/
2) 下載地址：http://kafka.apache.org/downloads
3) 客戶端庫：https://cwiki.apache.org/confluence/display/KAFKA/Clients
4) librdkafka庫：https://github.com/edenhill/librdkafka
5) confluent-kafka-go：https://github.com/confluentinc/confluent-kafka-go
kafka集群搭建
Kafka集群是把狀態(tài)保存在Zookeeper中的闷旧，首先要搭建Zookeeper集群
這里三臺服務器分別是192.168.1.101192.168.1.102192.168.1.103在三臺服務器上分別安裝kafka丐黄。
1.下載&解壓
wget http://mirrors.hust.edu.cn/apache/kafka/2.0.0/kafka_2.12-2.0.0.tgz
tar -zxvf kafka_2.12-2.0.0.tgz -C /usr/local/
mv /usr/local/kafka_2.12-2.0.0/ /usr/local/kafka
2.配置文件
2.1配置文件說明
broker.id=0? #當前機器在集群中的唯一標識壳贪，和zookeeper的myid性質一樣
listeners=PLAINTEXT://192.168.1.101:9092 #當前kafka對外提供服務的端口默認是9092
num.network.threads=3 #這個是borker進行網(wǎng)絡處理的線程數(shù)
num.io.threads=8 #這個是borker進行I/O處理的線程數(shù)
log.dirs=/opt/kafka/kafkalogs/ #消息存放的目錄凌蔬，這個目錄可以配置為“焦读，”逗號分割的表達式，上面的num.io.threads要大于這個目錄的個數(shù)這個目錄笤闯，如果配置多個目錄日川，新創(chuàng)建的topic他把消息持久化的地方是，當前以逗號分割的目錄中叮阅，那個分區(qū)數(shù)最少就放那一個
socket.send.buffer.bytes=102400 #發(fā)送緩沖區(qū)buffer大小刁品，數(shù)據(jù)不是一下子就發(fā)送的，先回存儲到緩沖區(qū)了到達一定的大小后在發(fā)送浩姥，能提高性能
socket.receive.buffer.bytes=102400 #kafka接收緩沖區(qū)大小挑随，當數(shù)據(jù)到達一定大小后在序列化到磁盤
socket.request.max.bytes=104857600 #這個參數(shù)是向kafka請求消息或者向kafka發(fā)送消息的請請求的最大數(shù)，這個值不能超過java的堆棧大小
num.partitions=1 #默認的分區(qū)數(shù)勒叠，一個topic默認1個分區(qū)數(shù)
log.retention.hours=168 #默認消息的最大持久化時間兜挨，168小時，7天
message.max.byte=5242880? #消息保存的最大值5M
default.replication.factor=2? #kafka保存消息的副本數(shù)眯分，如果一個副本失效了拌汇，另一個還可以繼續(xù)提供服務
replica.fetch.max.bytes=5242880? #取消息的最大直接數(shù)
log.segment.bytes=1073741824 #這個參數(shù)是：因為kafka的消息是以追加的形式落地到文件，當超過這個值的時候弊决，kafka會新起一個文件
log.retention.check.interval.ms=300000 #每隔300000毫秒去檢查上面配置的log失效時間（log.retention.hours=168 ）噪舀，到目錄查看是否有過期的消息如果有魁淳，刪除
zookeeper.connect=192.168.1.101:2181,192.168.1.102:2181,192.168.1.103:2181#設置zookeeper的連接端口
2.2修改配置這幾個地方
#每臺服務器的broker.id都不能相同
broker.id=0
listeners=PLAINTEXT://localhost:9092
zookeeper.connect=192.168.1.101:2181,192.168.1.102:2181,192.168.1.103:2181
3.啟動kafka
/usr/local/kafka/bin/kafka-server-start.sh /usr/local/kafka/config/server.properties
后臺常駐方式 加-daemon
/usr/local/kafka/bin/kafka-server-start.sh -daemon /usr/local/kafka/config/server.properties
4.檢查kafka是否啟動
jps -l
