1胸懈、Kafka的安裝部署
下載kafka
安裝過(guò)程
安裝過(guò)程非常簡(jiǎn)單担扑，只需要解壓就行恰响，因?yàn)檫@個(gè)是編譯好之后的可執(zhí)行程序
-
tar -zxvf kafka_2.11-2.0.0.tgz解壓
配置zookeeper
因?yàn)閗afka依賴于zookeeper來(lái)做master選舉一起其他數(shù)據(jù)的維護(hù)趣钱，所以需要先啟動(dòng)zookeeper節(jié)點(diǎn)
kafka內(nèi)置了zookeeper的服務(wù)，所以在bin目錄下提供了這些腳本
zookeeper-server-start.sh
zookeeper-server-stop.sh
在config目錄下胚宦，存在一些配置文件
zookeeper.properties
server.properties
所以我們可以通過(guò)下面的腳本來(lái)啟動(dòng)zk服務(wù)首有，當(dāng)然，也可以自己搭建zk的集群來(lái)實(shí)現(xiàn)
sh zookeeper-server-start.sh -daemon ../config/zookeeper.properties
啟動(dòng)和停止kafka
- 修改server.properties, 增加zookeeper的配置
zookeeper.connect=localhost:2181
- 啟動(dòng)kafka
sh kafka-server-start.sh -daemon config/server.properties
- 停止kafka
sh kafka-server-stop.sh -daemon config/server.properties
2枢劝、kafka的基本操作
創(chuàng)建topic
sh kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --
partitions 1 --topic test
Replication-factor 表示該topic需要在不同的broker中保存幾份井联，這里設(shè)置成1，表示在兩個(gè)broker中
保存兩份
Partitions 分區(qū)數(shù)
查看topic
sh kafka-topics.sh --list --zookeeper localhost:2181
查看topic屬性
sh kafka-topics.sh --describe --zookeeper localhost:2181 --topic test
消費(fèi)消息
sh kafka-console-consumer.sh --bootstrap-server 192.168.13.106:9092 --topic test
--from-beginning
發(fā)送消息
sh kafka-console-producer.sh --broker-list 192.168.13.106:9092 --topic test
3您旁、 集群環(huán)境安裝
環(huán)境準(zhǔn)備
- 準(zhǔn)備三臺(tái)虛擬機(jī)
- 分別把kafka的安裝包部署在三臺(tái)機(jī)器上
修改配置
以下配置修改均為server.properties
- 分別修改三臺(tái)機(jī)器的server.properties配置烙常，同一個(gè)集群中的每個(gè)機(jī)器的id必須唯一
broker.id=0
broker.id=1
broker.id=2
- 修改zookeeper的連接配置
zookeeper.connect=192.168.10.68:2181
- 修改listeners配置
如果配置了listeners，那么消息生產(chǎn)者和消費(fèi)者會(huì)使用listeners的配置來(lái)進(jìn)行消息的收發(fā)鹤盒，否則蚕脏，
會(huì)使用localhost
PLAINTEXT表示協(xié)議，默認(rèn)是明文侦锯，可以選擇其他加密協(xié)議
listeners=PLAINTEXT://192.168.10.68:9092
listeners=PLAINTEXT://192.168.10.69:9092
listeners=PLAINTEXT://192.168.10.70:9092
分別啟動(dòng)三臺(tái)服務(wù)器
sh kafka-server-start.sh -daemon ../config/server.properties
