基本信息：
環(huán)境：
centos 7.9
集群信息：
ip：10.10.5.26
ip：10.10.5.25
ip：10.10.5.24
服務(wù)信息：
zookeeper版本 3.6.3
kafka版本：2.8.1
1.安裝Zookeeper
#上傳安裝包，并創(chuàng)建zookeeper目錄
mkdir -p /usr/local/zookeeper
tar -xzvf zookeeper-3.6.3.tar.gz -C /usr/local/zookeeper
cd /usr/local/zookeeper/
#創(chuàng)建data和logs目錄邀跃，用于存放產(chǎn)生的數(shù)據(jù)和日志文件
mkdir data
mkdir logs
mv apache-zookeeper-3.6.3-bin zookeeper-3.6.3
cd zookeeper-3.6.3/conf
cp zoo_sample.cfg zoo.cfg
#在配置文件zoo.cfg中配置數(shù)據(jù)和日志目錄：
vim zoo.cfg
dataDir=/usr/local/zookeeper/data
dataLogDir=/usr/local/zookeeper/logs
因?yàn)橐罱海孕枰o每一個(gè)zookeeper節(jié)點(diǎn)一個(gè)id，這里是在data目錄下新建一個(gè)myid文件，里面只包括該節(jié)點(diǎn)的id
cd /usr/local/zookeeper/data
#此id可設(shè)置為服務(wù)器ip最后一位
vim myid
1
然后三臺(tái)虛擬機(jī)配完之后徘溢，還要到conf下的zoo.cfg把集群的節(jié)點(diǎn)都配置上
cd /usr/local/zookeeper/zookeeper-3.6.3/conf
vim zoo.cfg
#每個(gè)zookeeper節(jié)點(diǎn)都配置一下
server.1=10.10.5.26:2888:3888
server.2=10.10.5.25:2888:3888
server.3=10.10.5.24:2888:3888
為了我們使用年叮，我們配置一下zookeeper的環(huán)境變量，否則的話每次啟動(dòng)zookeeper都要到zookeeper的bin目錄下啟動(dòng)
vim /etc/profile
#把下面內(nèi)容復(fù)制到文件末尾（第一行的目錄根據(jù)自己的安裝路徑來配置猫十，可以使用pwd查看）：
# zk env
export ZOOKEEPER_HOME=/usr/local/zookeeper/zookeeper-3.6.3
export PATH=$ZOOKEEPER_HOME/bin:$PATH
export PATH
source /etc/profile
三臺(tái)電腦都這樣配置上。 然后就可以啟動(dòng)了呆盖！
zkServer.sh start
三個(gè)節(jié)點(diǎn)都啟動(dòng)后查看節(jié)點(diǎn)狀態(tài)：
zkServer.sh status
如果向這樣（兩個(gè)follower拖云，一個(gè)leader）就算是成功了
...
Mode:follower
...
Mode:follower
...
Mode:leader
如果出現(xiàn)error了可以去logs目錄下查看.out文件，這是他的日志应又，報(bào)錯(cuò)都會(huì)在里面體現(xiàn)宙项，有什么報(bào)錯(cuò)一般都可以百度到答案，大部分的錯(cuò)誤是防火墻的問題株扛，把防火墻關(guān)掉就好了尤筐。
下面是幾個(gè)常用的命令：
zkServer.sh start #啟動(dòng)zookeeper
zkServer.sh stop #關(guān)閉zookeeper
zkServer.sh restart #重啟
zkCli.sh -timeout 0 -r -server ip:port # 測(cè)試節(jié)點(diǎn)連通
2.安裝kafka
#上傳并解壓
tar -xzvf kafka_2.13-2.8.1.tgz -C /usr/local/
mv /usr/local/kafka_2.12-2.8.1 /usr/local/kafka2.8.1
配置環(huán)境變量
cat <<EOF> /etc/profile.d/kafka.sh
export KAFKA_HOME=/usr/local/kafka2.8.1
export PATH=$PATH:$KAFKA_HOME/bin
EOF
source /etc/profile.d/kafka.sh
修改停止腳本
vi bin/kafka-server-stop.sh
#kill -s $SIGNAL $PIDS
#修改為
kill -9 $PIDS
vim bin/kafka-server-start.sh
用于監(jiān)控的配置汇荐，修改，增加 JMX_PORT盆繁，可以獲取更多指標(biāo)
注意端口被占用
if [ "x$KAFKA_HEAP_OPTS" = "x" ]; then
export KAFKA_HEAP_OPTS="-Xmx1G -Xms1G"
export JMX_PORT="9198"
fi
關(guān)鍵配置如下：
下面是重要配置注釋
cat /usr/local/kafka2.8.1/config/server.properties
name #含義 舉例
broker.id #一個(gè)Kafka節(jié)點(diǎn)就是一個(gè)Broker.id掀淘，要保證唯一性 broker.id=0
listeners #kafka只面向內(nèi)網(wǎng)時(shí)用到listeners，內(nèi)外網(wǎng)需要作區(qū)分時(shí)才需要用到advertised.listeners listeners=PLAINTEXT://192.168.0.137:9092
zookeeper.connect #配置zk集群信息 zookeeper.connect=192.168.0.19:2181
修改配置文件:
vim /usr/local/kafka2.8.1/config/server.properties
broker.id=17
listeners=PLAINTEXT://10.10.5.17:9092
num.network.threads=3
num.io.threads=8
socket.send.buffer.bytes=102400
socket.receive.buffer.bytes=102400
socket.request.max.bytes=104857600
log.dirs=/usr/local/kafka_2.12-2.8.1/logs
num.partitions=1
num.recovery.threads.per.data.dir=1
offsets.topic.replication.factor=1
transaction.state.log.replication.factor=1
transaction.state.log.min.isr=1
log.retention.hours=168
log.segment.bytes=1073741824
log.retention.check.interval.ms=300000
zookeeper.connect=10.10.5.24:2181,10.10.5.25:2181,10.10.5.26:2181
zookeeper.connection.timeout.ms=18000
group.initial.rebalance.delay.ms=0
新建啟動(dòng)kafka腳本
cat <<EOF> /usr/local/kafka2.8.1/start.sh
#!/bin/bash
nohup kafka-server-start.sh config/server.properties >> /usr/local/kafka2.8.1/nohup.out 2>&1 &
EOF
chmod +x /usr/local/kafka2.8.1/start.sh
新建重啟kafka腳本
cat <<EOF> /usr/local/kafka2.8.1/restart.sh
#!/bin/bash
kafka-server-stop.sh
nohup kafka-server-start.sh config/server.properties >> /usr/local/kafka2.8.1/nohup.out 2>&1 &
EOF
chmod +x /usr/local/kafka2.8.1/restart.sh
設(shè)置systemd自啟動(dòng)
cat /usr/lib/systemd/system/kafka.service
[Unit]
Description=kafka
After=network.target remote-fs.target nss-lookup.target zookeeper.service
[Service]
Type=forking
Environment="PATH=/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin:/usr/local/java/jdk1.8.0_161/bin"
ExecStart=/usr/local/kafka2.8.1/kafka_start_my.sh -daemon /usr/local/kafka2.8.1/config/server.properties
ExecReload=/bin/kill -s HUP $MAINPID
ExecStop=/usr/local/kafka2.8.1/bin/kafka-server-stop.sh
#PrivateTmp=true
[Install]
WantedBy=multi-user.target
以上kafka三節(jié)點(diǎn)集群搭建完畢
注意：只有先啟動(dòng)zookeeper后才能正常啟動(dòng)kafka
kafka 可視化
再github上找kowl鏡像改基，此應(yīng)用為kafka-web（可視化工具）
web管理 ----（kowl）
docker run -d -p 19092:8080 -e KAFKA_BROKERS=10.10.5.22:9002 rsmnarts/kowl:latest
