Kafka 搭建:

建立Zookeeper容器:

這里我們用最簡單的方式創(chuàng)建一個獨立的Zookeeper節(jié)點痊末，如果要考慮zookeeper的高可用，可以將其做成一個集群内狸，最好是能有多臺機器检眯。

$ docker run -d --name zookeeper -p 2181:2181 -t wurstmeister/zookeeper

默認的，容器內(nèi)配置文件在昆淡，/conf/zoo.cfg锰瘸，數(shù)據(jù)和日志目錄默認在/data 和 /datalog，需要的話可以將上述目錄映射到宿主機的可靠文件目錄下昂灵。

建立kafka集群節(jié)點:

使用docker命令可快速在同一臺機器搭建多個kafka避凝，只需要改變brokerId和端口

• 節(jié)點1:

$ docker run -d --name kafka -p 9092:9092 -e KAFKA_BROKER_ID=0 -e KAFKA_ZOOKEEPER_CONNECT=192.168.0.102:2181 -e KAFKA_ADVERTISED_LISTENERS=PLAINTEXT://192.168.0.102:9092 -e KAFKA_LISTENERS=PLAINTEXT://0.0.0.0:9092 -t wurstmeister/kafka

• 節(jié)點2:

$ docker run -d --name kafka1 -p 9093:9093 -e KAFKA_BROKER_ID=1 -e KAFKA_ZOOKEEPER_CONNECT=192.168.0.102:2181 -e KAFKA_ADVERTISED_LISTENERS=PLAINTEXT://192.168.0.102:9093 -e KAFKA_LISTENERS=PLAINTEXT://0.0.0.0:9093 -t wurstmeister/kafka

• 節(jié)點3:

$ docker run -d --name kafka2 -p 9094:9094 -e KAFKA_BROKER_ID=1 -e KAFKA_ZOOKEEPER_CONNECT=192.168.0.102:2181 -e KAFKA_ADVERTISED_LISTENERS=PLAINTEXT://192.168.0.102:9094 -e KAFKA_LISTENERS=PLAINTEXT://0.0.0.0:9094 -t wurstmeister/kafka

這里面主要設置了4個參數(shù)

KAFKA_BROKER_ID=0             

KAFKA_ZOOKEEPER_CONNECT=192.168.0.102:2181

KAFKA_ADVERTISED_LISTENERS=PLAINTEXT://192.168.0.102:9092

KAFKA_LISTENERS=PLAINTEXT://0.0.0.0:9092

中間兩個參數(shù)的 192.168.0.102 改為 宿主機器 的IP地址，如果不這么設置眨补，可能會導致在別的機器上訪問不到 kafka管削。

怎么查看本機的 ip:

$ ifconfig en0

file

測試kafka:

• 進入kafka容器的命令行

$ docker exec -ti kafka /bin/bash

• 進入kafka所在目錄

$ cd opt/kafka_2.12-1.1.0/

創(chuàng)建Replication為2，Partition為2的topic:

$ bin/kafka-topics.sh --create --zookeeper 192.168.0.102:2181 --replication-factor 2 --partitions 2 --topic partopic

或者可以通過 kafka-manager 創(chuàng)建

file

查看topic的狀態(tài):

在kafka容器中的 opt/kafka_2.12-1.1.0/ 目錄下輸入

$ bin/kafka-topics.sh --describe --zookeeper 192.168.0.102:2181 --topic partopic

file

顯示每個分區(qū)的Leader機器為broker0撑螺，在broker0和1上具有備份含思，Isr代表存活的備份機器中存活的。

當停掉kafka1后甘晤，

$ docker stop kafka1

再查看topic狀態(tài)茸俭，輸出結果：

Topic:partopic  PartitionCount:2    ReplicationFactor:2 Configs:

    Topic: partopic Partition: 0    Leader: 0  Replicas: 0,1  Isr: 0

    Topic: partopic Partition: 1    Leader: 0  Replicas: 1,0  Isr: 0

創(chuàng)建Kafka管理節(jié)點:

kafka-manager有圖形化UI，可以方便的監(jiān)控集群狀態(tài)安皱，調(diào)整隊列配置

$ docker run -itd --restart=always --name=kafka-manager -p 9000:9000 -e ZK_HOSTS="192.168.0.102:2181" sheepkiller/kafka-manager

容器啟動以后訪問主機的9000端口调鬓，0.0.0:9000

file

首次進入需要添加一個集群標識，如下圖所示

file

配置好以后酌伊，通過Zookeeper該管理節(jié)點可以讀取到整個Kafka集群的信息腾窝，并且我們可以通過JMX直接看到集群的健康狀態(tài)

file

也可以看到主題的讀寫速度，偏移量等信息居砖，如下圖所示：

file

Brokers ,Partitions,Replicas 都能看到

file

以及 group:

file

參考文章:

https://blog.csdn.net/lblblblblzdx/article/details/80548157

https://blog.csdn.net/lblblblblzdx/article/details/80548294

原文地址: mac 使用 docker搭建 kafka集群 + Zookeeper + kafka-manager