上一篇 云服務器搭建zookeeper集群 講解了在云服務器環(huán)境下方仿,zookeeper集群的搭建,今天我們在其基礎上來搭建一下在云服務器環(huán)境下 kafka集群画恰。
服務器環(huán)境
- 阿里云:輕量服務器 1核2G(CENTOS)
- 騰訊云:輕量服務器 1核2G(CENTOS)
- 金山云:輕量服務器 1核2G(CENTOS)
搭建Kafka集群
安裝Scala
從scala官方網(wǎng)站地址 下載痪伦,我這里下載的是 scala-2.12.8.tgz。其他的安裝步驟可以參考 linux SCALA 安裝 及環(huán)境搭建立砸。
將三臺服務器都安裝好Scala。
安裝Kafka
安裝好 Scala后,從Kafka 官方網(wǎng)站地址 下載初茶,我這里下載的是 kafka_2.12-2.3.0.tgz 對應了上面的Scala語言版本颗祝。
具體的解壓步驟這里就不多做贅述,我就簡單的列出命令
解壓壓縮包 :
tar -xzvf kafka_2.12-2.3.0.tgz
重命名壓縮包:
mv kafka_2.12-2.3.0 kafka
移動文件目錄:
mv kafka /usr/local/
將三臺機器安裝好即可恼布。
配置Kafka集群
主要配置的文件就是 /usr/local/kafka/config/server.properties
我們來打開這個文件進行編輯螺戳。
執(zhí)行 vi /usr/local/kafka/config/server.properties
命令打開這個文件,以下我只給出修改的地方折汞。
這里一定要注意修改 advertised.listeners
這個變量倔幼,否則在使用spring-kafka 時,會出現(xiàn)無法找到集群的情況爽待。具體原因可以看其配置的注釋损同。這里就不多做解釋了翩腐。
將自己的zookeeper集群設置進去即可。
修改以上幾個參數(shù)即可膏燃。
將三臺服務器安裝即可茂卦。
啟動并測試
啟動
我們進入bin文件夾 cd /usr/local/kafka/bin
執(zhí)行 ./kafka-server-start.sh -daemon ../config/server.properties
將三臺服務器啟動后, 執(zhí)行 jps
命令组哩,查看進程狀態(tài)
測試
創(chuàng)建測試topic (test)
進入bin文件夾
cd /usr/local/kafka/bin
首先選擇一臺服務器 執(zhí)行
./kafka-topics.sh --zookeeper zookeeperIP1:2181,zookeeperIP2:2181,zookeeperIP3:2181 --topic test --replication-factor 1 --partitions 1 --create
將以上的 zookeeperIP 改為你自己的服務器外網(wǎng)IP
在另外一臺服務器上創(chuàng)建生產(chǎn)者
./kafka-console-producer.sh --broker-list kafka1:9092,kafka2:9092,kafka3:9092 --topic test
將以上的 kafka 改為你自己服務器的外網(wǎng)IP(一定要和之前 配置的 advertised.listeners
參數(shù)保持一致 )等龙。
在最后一臺機器上創(chuàng)建消費者
./kafka-console-consumer.sh --bootstrap-server kafka1:9092,kafka2:9092,kafka3:9092 --topic test --from-beginning
將以上的 kafka 改為你自己服務器的外網(wǎng)IP(一定要和之前 配置的 advertised.listeners
參數(shù)保持一致 )。
在生產(chǎn)者機器上 輸入 任何信息禁炒,然后查看 消費者機器是否接收到而咆,如果接收到霍比,表示集群搭建完成
總結
在云服務器環(huán)境中搭建和本地虛擬機搭建還是有區(qū)別的幕袱,特別是Kafka 節(jié)點發(fā)現(xiàn)時 主機配置,這也是我在搭建的時候踩的坑悠瞬。