一龄恋、kafka單節(jié)點單broker環(huán)境搭建
系統(tǒng)環(huán)境：centos 64位 mini
虛擬機：Virtual Box
如果你不熟悉virtual box的使用疙驾，不知道如何安裝centos系統(tǒng)，可以參考之前發(fā)布的文章：
快速掌握基于Virtualbox最小化安裝centos6及遠程工具xshell使用
快速掌握virtualbox虛擬機搭建centos系統(tǒng)集群
如果你不想用virtual box郭毕，也可以使用docker它碎，之前發(fā)布的文章也有介紹，請進入頭條號查看
1、Windows下搭建單節(jié)點kafka環(huán)境
請參考之前發(fā)布在頭條號上的文章扳肛，已經詳細介紹了
1）JDK環(huán)境搭建
快速搭建Java（JDK）Tomcat基礎開發(fā)環(huán)境
2）zookeeper環(huán)境搭建
3）kafka環(huán)境搭建
2傻挂、Linux下搭建
1）JDK環(huán)境搭建
解壓：
cd/usr/local/src
tar-zxvfjdk-8u181-linux-x64.tar.gz
mvjdk1.8.0_181../
配置：
cd/usr/local/jdk1.8.0_181
vim/etc/profile
exportJAVA_HOME=/usr/local/jdk1.8.0_181
exportPATH=$JAVA_HOME/bin:$PATH
source /etc/profile
驗證：java -version
2）zookeeper環(huán)境搭建
下載
wget https://mirrors.tuna.tsinghua.edu.cn/apache/zookeeper/stable/zookeeper-3.4.12.tar.gz
解壓
cd/usr/local/src
tar-zxvfzookeeper-3.4.12.tar.gz
mvzookeeper-3.4.12../
配置環(huán)境變量
cd/usr/local/zookeeper-3.4.12
mkdirdata
mkdirlogs
vim/etc/profile
exportZK_HOME=/usr/local/zookeeper-3.4.12
exportPATH=$ZK_HOME/bin:$PATH
source /etc/profile
修改zoo.cfg
cpconf/zoo_sample.cfgconf/zoo.cfg
vimconf/zoo.cfg
dataDir=/usr/local/zookeeper-3.4.12/data
dataLogDir=/usr/local/zookeeper-3.4.12/logs
啟動測試
zkServer.sh start
[root@jikehzookeeper-3.4.12]#zkServer.shstart
ZooKeeperJMXenabledbydefault
Usingconfig:/usr/local/zookeeper-3.4.12/bin/../conf/zoo.cfg
Startingzookeeper...STARTED
查看啟動進程信息
[root@jikehlocal]#jps
3829QuorumPeerMain
3848Jps
?
[root@jikehlocal]#jps-m
3858Jps-m
3829QuorumPeerMain/usr/local/zookeeper-3.4.12/bin/../conf/zoo.cfg
注釋：zookeeper啟動后，會多一個進程QuorumPeerMain
3）kafka環(huán)境搭建
下載：
cd/usr/local/src
wgethttps://archive.apache.org/dist/kafka/0.9.0.1/kafka_2.11-0.9.0.1.tgz
注釋：我們使用的版本是0.9.0.1
解壓：
tar-zxvfkafka_2.11-0.9.0.1.tgz
mvkafka_2.11-0.9.0.1../
配置環(huán)境變量：
vim /etc/profile
exportKAFKA_HOME=/usr/local/kafka_2.11-0.9.0.1
exportPATH=$KAFKA_HOME/bin:$PATH
使得環(huán)境變量立即生效：source /etc/profile
配置server.properties
cd/usr/local/kafka_2.11-0.9.0.1
vimconf/server.properties
server.properties重要參數(shù)說明：
broker.id=0//This must be set to a unique integer for each broker
advertised.listeners=PLAINTEXT://192.168.0.108:9092：遠程連接需要配置下（0.9.0.1版本沒有這個問題）
log.dirs=/usr/local/kafka_2.11-0.9.0.1/kafka-logs//默認的是不會持久化存儲的挖息，這里必須更改下
zookeeper.connect=//zookeeper的連接地址：根據實際進行配置
3）啟動測試
配置你的hosts：
127.0.0.1? jikeh
啟動zookeeper：
Kafka 使用 ZooKeeper 如果你還沒有ZooKeeper服務器金拒，你需要先啟動一個ZooKeeper服務器。 您可以通過與kafka打包在一起的便捷腳本來快速簡單地創(chuàng)建一個單節(jié)點ZooKeeper實例套腹。
cd /usr/local/kafka_2.11-0.9.0.1
bin/zookeeper-server-start.sh config/zookeeper.properties
啟動kafka：
bin/kafka-server-start.sh config/server.properties
后臺啟動：
bin/kafka-server-start.sh -daemon config/server-1.properties &
注釋：一個server.properties其實绪抛，就可以當做一個broker
jps:查看當前運行的進程
jps -m:查看當前運行進程的詳細信息
二、kafka基本使用
1电禀、創(chuàng)建Topic
1）新建topic
查看命令的幫助信息：直接輸入bin/kafka-topics.sh幢码，然后enter，就可以查看所有的參數(shù)信息
bin/kafka-topics.sh --create --zookeeper 192.168.0.108:2181 --replication-factor 1 --partitions 1 --topic test
注釋：參數(shù)說明
replication-factor：設置副本數(shù)
partitions：設置分區(qū)數(shù)
2）查看當前所有的topic列表
bin/kafka-topics.sh --list --zookeeper 192.168.0.108:2181
3）看下topic的詳情信息
查看所有topic：
bin/kafka-topics.sh --describe --zookeeper 192.168.0.108:2181
查看指定topic：
bin/kafka-topics.sh --describe --zookeeper 192.168.0.108:2181 --topic test
2鞭呕、發(fā)送消息
bin/kafka-console-producer.sh --broker-list 192.168.0.108:9092 --topic test
3蛤育、消費消息
bin/kafka-console-consumer.sh --zookeeper 192.168.0.108:2181 --topic test --from-beginning
[root@jikehkafka_2.11-0.9.0.1]#bin/kafka-console-consumer.sh--zookeeperlocalhost:2181--from-beginning--topicmy-replicated-topic
UsingtheConsoleConsumerwitholdconsumerisdeprecatedandwillberemovedinafuturemajorrelease.Considerusingthenewconsumerbypassing[bootstrap-server]insteadof[zookeeper].
上面的警告信息宛官，表示：這是個廢棄的用法葫松，建議使用新的用法[bootstrap-server]
bin/kafka-console-consumer.sh --bootstrap-server 192.168.0.108:9092 --topic test
注釋：
--from-beginning參數(shù)的作用：重新開始消費消息，不管是否已經被消費了
對于低版本的kafka需要這樣連接：
bin/kafka-console-consumer.sh --zookeeper 192.168.0.108:2181 --topic test --from-beginning
4底洗、疑惑點
通過以上命令腋么，很多人就有疑問了，到底什么時候跟zookeeper打交道亥揖，什么時候跟broker打交道呢珊擂，這很容易讓人糊涂
創(chuàng)建topic我是跟zookeeper打交道，而生產费变、消費消息卻與broker打交道摧扇，但是低版本的kafka，消費者還是與zookeeper進行打交道的
注意：
低版本的kafka：需要這樣消費
bin/kafka-console-consumer.sh --zookeeper 192.168.0.108:2181 --topic test --from-beginning
高版本的kafka：
bin/kafka-console-consumer.sh --bootstrap-server 192.168.0.108:9092 --topic test --from-beginning
注釋：官網上的文檔挚歧，其實是按高版本的kafka來更新文檔的
為什么會有這種區(qū)別呢扛稽？
Kafka consumers在早先的版本中，offset默認存儲在ZooKeeper中滑负。
三在张、kafka客戶端遠程連接測試
如果你理解上有困難，歡迎留言矮慕，或者參考視頻教程：
帶你看官網學習Kafka帮匾，掌握Linux下Kafka環(huán)境搭建及基本使用
參考Kafka bootstrap-servers vs zookeeper in kafka-console-consumer中說建議使用新版(新版本指的是kafka 0.8.0之后的版本)的 --bootstrap-server
如果你覺得文章還可以，歡迎掃一下：
更多內容痴鳄，請關注：頭條號（極客慧）
更多資料分享瘟斜，問題咨詢，可以入群討論：375412858
文章中用到的源碼，請入群索要：
