1 資源
| 資源信息 | 版本號 | 備注 |
|---|---|---|
| 服務(wù)器 | Centos7 | IP: 192.168.51.4 |
| JRE | 1.8 | 如果已安裝請忽略 |
| kafka | 2.12-2.1.0 | IP: 192.168.51.4 |
| zookeeper | 3.4.10 | IP: 192.168.51.4 |
JRE-1.8 下載：https://download.csdn.net/download/qq_15769939/12115544
CSDN kafaka下載：https://download.csdn.net/download/qq_15769939/16100116
官網(wǎng)地址：kafaka下載：http://kafka.apache.org/downloads
2 JDK安裝
zookeeper是需要依賴于JDK環(huán)境的室琢，如果未安裝，可參考博文：
Centos7 離線安裝和配置jre1.8：https://blog.csdn.net/qq_15769939/article/details/112749984
ZK zookeeper單機(jī)安裝與配置：https://blog.csdn.net/qq_15769939/article/details/115262156
3 安裝與配置
3.1 上傳服務(wù)器
將文件上傳到服務(wù)器的 /opt/module/software/kafka 目錄
[root@localhost software]# cd /opt/module/software/kafka/
[root@localhost kafka]# ll
總用量 53912
-rw-r--r--. 1 root root 55201797 3月 25 15:46 kafka_2.12-2.1.0.tgz.zip
3.2 解壓到指定目錄
[root@localhost kafka]# unzip kafka_2.12-2.1.0.tgz.zip
[root@localhost kafka]# tar -zxvf kafka_2.12-2.1.0.tgz -C /usr/local
[root@localhost kafka]# cd /usr/local
[root@localhost local]# mv kafka_2.12-2.1.0/ kafka_2.12
3.3 修改配置
[root@localhost conf]# vi /usr/local/kafka_2.12/config/server.properties
## 修改配置：
broker.id=0
port=9092
host.name=192.168.51.4
advertised.host.name=192.168.51.4
log.dirs=/usr/local/kafka_2.12/kafka-logs
num.partitions=2
zookeeper.connect=192.168.51.4:2181
創(chuàng)建日志目錄
[root@localhost conf]# mkdir /usr/local/kafka_2.12/kafka-logs
3.4 測試啟動(dòng)
3.4.1 啟動(dòng) kafka
[root@localhost conf]# /usr/local/kafka_2.12/bin/kafka-server-start.sh /usr/local/kafka_2.12/config/server.properties &
3.4.2 查看進(jìn)程
[root@localhost local]# jps -l
85465 kafka.Kafka
3.4.3 停止 kafka
[root@localhost bin]# /usr/local/kafka_2.12/bin/kafka-server-stop.sh /usr/local/kafka_2.12/config/server.properties &
4 常用命令
4.1 創(chuàng)建topic主題
# 創(chuàng)建topic主題命令：（創(chuàng)建名為test的topic， 1個(gè)分區(qū)分別存放數(shù)據(jù)静檬，數(shù)據(jù)備份總共1份）
kafka-topics.sh --zookeeper 192.168.1.46:2181 --create --topic topic1 --partitions 1 --replication-factor 1
- --zookeeper 為zookeeper服務(wù)列表地址配置項(xiàng)，這里任意指定zookeeper其中一個(gè)服務(wù)列表地址即可
- --create 命令后 --topic 為創(chuàng)建topic 并指定 topic name
- --partitions 為指定分區(qū)數(shù)量配置項(xiàng)
- --replication-factor 為指定副本集數(shù)量配置項(xiàng)
4.2 查看topic列表
kafka-topics.sh --zookeeper 192.168.51.4:2181 --list
4.3 發(fā)送數(shù)據(jù)
kafka-console-producer.sh --broker-list 192.168.51.4:9092 --topic topic-test
4.4 接收數(shù)據(jù)
kafka-console-consumer.sh --bootstrap-server 192.168.51.4:9092 --topic topic-test --from-beginning
4.5 刪除topic
kafka-topics.sh --zookeeper 192.168.51.4:2181 --delete --topic topic-test
4.6 查看消費(fèi)進(jìn)度
kafka-consumer-groups.sh --bootstrap-server 192.168.51.4:9092 --describe --group group1
- -describe --group 為訂閱組， 后面指定 group name
5 相關(guān)信息
- 博文不易，辛苦各位猿友點(diǎn)個(gè)關(guān)注和贊屡贺，感謝
