一狼纬、說(shuō)明
在大數(shù)據(jù)處理和分析中 Apache Kafka 已經(jīng)成為了一個(gè)核心組件诞仓。然而在生產(chǎn)環(huán)境中部署 Kafka 時(shí)凰慈，安全性是一個(gè)必須要考慮的重要因素。SASL（簡(jiǎn)單認(rèn)證與安全層）和 SCRAM（基于密碼的認(rèn)證機(jī)制的鹽化挑戰(zhàn)響應(yīng)認(rèn)證機(jī)制）提供了一種方法來(lái)增強(qiáng) Kafka 集群的安全性钳榨。
本文將從零開始部署 ZooKeeper 和 Kafka 并通過(guò)配置 SASL/SCRAM 和 ACL（訪問(wèn)控制列表）來(lái)增強(qiáng) Kafka 的安全性舰罚。
?
二、Kafka 的安全機(jī)制
kafka 社區(qū)在 0.9.0.0 版本正式添加了安全特性薛耻，可以滿足各種安全性的要求营罢，包括：
- Kafka 與 ZooKeeper 之間的安全通信；
- Kafka 集群 ZooKeeper 之間的安全通信；
- 客戶端與服務(wù)端之間的安全通信饲漾；
- 消息級(jí)別的權(quán)限控制蝙搔，可以控制客戶端（生產(chǎn)者或消費(fèi)者）的讀寫操作權(quán)限。
?
| 認(rèn)證方式 | 引入版本 | 適用場(chǎng)景 |
|---|---|---|
| SSL | 0.9.0 | SSL做信道加密比較多考传，SSL認(rèn)證不如SASL所以一般都會(huì)使用SSL來(lái)做通信加密吃型。 |
| SASL/GSSAPI | 0.9.9 | 主要是給 Kerberos 使用的。如果你的公司已經(jīng)做了 Kerberos 認(rèn)證（比如使用 Active Directory）僚楞，那么使用 GSSAPI 是最方便的了勤晚。因?yàn)槟悴恍枰~外地搭建 Kerberos，只要讓你們的 Kerberos 管理員給每個(gè) Broker 和要訪問(wèn) Kafka 集群的操作系統(tǒng)用戶申請(qǐng) principal 就好了泉褐。 |
| SASL/PLAIN | 0.10.2 | 簡(jiǎn)單的用戶名密碼認(rèn)證赐写，通常與SSL結(jié)合使用，對(duì)于小公司來(lái)說(shuō)膜赃，沒必要搭建公司級(jí)別的Kerberos挺邀，使用它就比較合適。 |
| SASL/SCRAM | 0.10.2 | PLAIN的加強(qiáng)版本跳座，支持動(dòng)態(tài)的用戶增減端铛。 |
| Deleation Token | 1.1 | Delegation Token 是在 1.1 版本引入的，它是一種輕量級(jí)的認(rèn)證機(jī)制疲眷，主要目的是補(bǔ)充現(xiàn)有的 SASL 或 SSL 認(rèn)證禾蚕。如果要使用 Delegation Token，你需要先配置好 SASL 認(rèn)證咪橙，然后再利用 Kafka 提供的 API 去獲取對(duì)應(yīng)的 Delegation Token夕膀。這樣 Broker 和客戶端在做認(rèn)證的時(shí)候虚倒，可以直接使用這個(gè) token美侦，不用每次都去 KDC 獲取對(duì)應(yīng)的 ticket（Kerberos 認(rèn)證）或傳輸 Keystore 文件（SSL 認(rèn)證）。 |
| SASL/OAUTHBEARER | 2.0 | OAuth 2框架的集成魂奥。 |
?
三菠剩、環(huán)境和軟件準(zhǔn)備
從 Apache Kafka 官網(wǎng) 下載對(duì)應(yīng)版本的 Kafka 并解壓到你選擇的目錄。
確保已經(jīng)安裝 Java 才能運(yùn)行 Kafka耻煤，可以通過(guò)運(yùn)行
java -version來(lái)檢查 Java 環(huán)境具壮。
?
四、部署 Zookeeper
使用 Kafka 內(nèi)置的 Zookeeper
4.1. 啟用 SASL 認(rèn)證
進(jìn)入 config 目錄哈蝇，修改 zookeeper.properties 配置文件增加以下內(nèi)容：
authProvider.1=org.apache.zookeeper.server.auth.SASLAuthenticationProvider
jaasLoginRenew=3600000
requireClientAuthScheme=sasl
zookeeper.sasl.client=true
?
4.2. 配置 JAAS
在 config 目錄下創(chuàng)建 zk_jaas.conf 文件棺妓，內(nèi)容如下：
Server {
org.apache.zookeeper.server.auth.DigestLoginModule required
username="admin"
password="admin"
user_admin="admin"
user_zkclient="zkclient";
};
其作用是創(chuàng)建了一個(gè) Server 節(jié)點(diǎn)，其中
-
org.apache.zookeeper.server.auth.DigestLoginModule required是認(rèn)證邏輯的處理類炮赦； -
username怜跑、password是zookeeper之間通訊的用戶名和密碼； -
user_admin="admin"的結(jié)構(gòu)是 user_[username]=[password] 定義 kafka-broker（zookeeper客戶端）連接到 zookeeper 時(shí)用的用戶名和密碼。
注意：Server 內(nèi)部最后一行的
;和 } 后的;不能缺少性芬！
?
4.3. 修改啟動(dòng)文件
進(jìn)入 bin 目錄峡眶，修改 zookeeper-server-start.sh 文件；
在 export KAFKA_HEAP_OPTS= 配置項(xiàng)的參數(shù)后添加 JAAS 的配置：
export KAFKA_HEAP_OPTS="-Xmx512M -Xms512M -Djava.security.auth.login.config=../config/zk_jaas.conf"
?
4.4. 啟動(dòng) Zookeeper
執(zhí)行命令：./zookeeper-server-start.sh -daemon ../config/zookeeper.properties
-daemon 參數(shù)配置后臺(tái)運(yùn)行
?
4.5. 測(cè)試
可以從官網(wǎng) Apache ZooKeeper 下載對(duì)應(yīng)版本的 ZooKeeper 并解壓植锉；
添加 JAAS 配置辫樱，在 confi 目錄下創(chuàng)建 zk_client_jaas.conf 文件：
Client{
org.apache.zookeeper.server.auth.DigestLoginModule required
username="zkclient"
password="zkclient";
};
修改 bin 目錄下的 zkCli.sh 文件，在啟動(dòng)命令中增加 JAAS 的配置：
"$JAVA" "-Dzookeeper.log.dir=${ZOO_LOG_DIR}" "-Dzookeeper.root.logger=${ZOO_LOG4J_PROP}" "-Dzookeeper.log.file=${ZOO_LOG_FILE}" \
-cp "$CLASSPATH" $CLIENT_JVMFLAGS $JVMFLAGS \
"-Djava.security.auth.login.config=../conf/zk_client_jaas.conf" \
org.apache.zookeeper.ZooKeeperMain "$@"
執(zhí)行 zkCli.sh 連接本機(jī)已經(jīng)啟動(dòng)好的 ZooKeeper
進(jìn)入 Kafka 的 log 目錄俊庇，查看內(nèi)置 zk 的日志 zookeeper.out 顯示以下內(nèi)容：
INFO adding SASL authorization for authorizationID: zkclient (org.apache.zookeeper.server.ZooKeeperServer)
代表 ZooKeeper 的 SASL 認(rèn)證已經(jīng)配置成功狮暑。
?
五、部署 Kafka
5.1. 配置 Kafka Broker
進(jìn)入 config 目錄辉饱，修改 server.properties 配置文件增加以下內(nèi)容：
listeners=SASL_PLAINTEXT://:9092
advertised.listeners=SASL_PLAINTEXT://localhost:9092
security.inter.broker.protocol=SASL_PLAINTEXT
sasl.mechanism.inter.broker.protocol=SCRAM-SHA-256
sasl.enabled.mechanisms=SCRAM-SHA-256
authorizer.class.name=kafka.security.authorizer.AclAuthorizer
allow.everyone.if.no.acl.found=false
super.users=User:admin
-
authorizer.class.name開啟 ACL 授權(quán)機(jī)制并指定實(shí)現(xiàn)類心例； -
allow.everyone.if.no.acl.found如果沒有找到ACL（訪問(wèn)控制列表）配置，是否允許任何操作鞋囊；這里設(shè)置為false指除了超級(jí)管理員止后，其他用戶必須配置 ACL 才能訪問(wèn)資源； -
super.users超級(jí)管理員溜腐，無(wú)需配置 ACL 擁有所有權(quán)限的用戶译株。
?
5.2. 配置 JAAS
在 config 目錄下創(chuàng)建 kafka_server_jaas.conf 文件，內(nèi)容如下：
KafkaServer {
org.apache.kafka.common.security.scram.ScramLoginModule required
username="admin"
password="admin";
};
Client{
org.apache.kafka.common.security.plain.PlainLoginModule required
username="zkclient"
password="zkclient";
};
-
KafkaServer中的username挺益，password用于 Kafka 集群 Broker 節(jié)點(diǎn)之間通信用的賬號(hào)密碼歉糜； -
KafkaServer中的user_test="test"用于 Kafka 客戶端（producer，consumer）連接broker時(shí)望众，用該配置下user_[username]=[password]結(jié)構(gòu)配置的賬號(hào)密碼登錄匪补； -
Client用于 broker 和 zookeeper 之間的認(rèn)證，對(duì)應(yīng) zk_jaas.conf 中的 【user_zkclient="zkclient"】 配置烂翰； -
user_admin="admin"的結(jié)構(gòu)是 user_[username]=[password] 定義 kafka-broker（zookeeper客戶端）連接到 zookeeper 時(shí)用的用戶名和密碼夯缺。
?
5.3. 修改啟動(dòng)文件
進(jìn)入 bin 目錄，修改 kafka-server-start.sh 文件甘耿；
在 export KAFKA_HEAP_OPTS= 配置項(xiàng)的參數(shù)后添加 JAAS 的配置：
export KAFKA_HEAP_OPTS="-Xmx1G -Xms1G -Djava.security.auth.login.config=../config/kafka_server_jaas.conf"
?
5.4. 創(chuàng)建 SCRAM 用戶
在啟動(dòng) Kafka 之前需要先創(chuàng)建好用戶踊兜，在 bin 目錄下執(zhí)行以下內(nèi)容：
分別創(chuàng)建
admin(超級(jí)管理員) 和test(客戶端用戶)
./kafka-configs.sh --zookeeper localhost:2181 --alter --add-config 'SCRAM-SHA-256=[password=admin]' --entity-type users --entity-name admin
./kafka-configs.sh --zookeeper localhost:2181 --alter --add-config 'SCRAM-SHA-256=[password=test]' --entity-type users --entity-name test
SASL/SCRAM認(rèn)證的用戶信息是動(dòng)態(tài)創(chuàng)建存儲(chǔ)在 ZooKeeper 中， 由于上面的配置kafka_server_jaas.conf中 Broker 之間的通信是通過(guò)admin用戶的佳恬，如果該用戶不存在會(huì) 啟動(dòng)報(bào)錯(cuò)捏境。
?
5.5. 啟動(dòng) Kafka
執(zhí)行命令：./kafka-server-start.sh -daemon ../config/server.properties
-daemon 參數(shù)配置后臺(tái)運(yùn)行
?
六、驗(yàn)證 SASL/SCRAM 鑒權(quán)
6.1. 客戶端認(rèn)證配置
6.1.1. 管理員配置
進(jìn)入 config 目錄創(chuàng)建 cmd.properties 內(nèi)容如下：
security.protocol=SASL_PLAINTEXT
sasl.mechanism=SCRAM-SHA-256
sasl.jaas.config=org.apache.kafka.common.security.scram.ScramLoginModule required username="admin" password="admin";
配置認(rèn)證的類型以及登錄邏輯的處理類和用戶毁葱，使用超級(jí)管理員 admin
注意 最后的
;是必須加上的垫言。
6.1.2. 生產(chǎn)者配置
修改 config 目錄下的 producer.properties 增加以下內(nèi)容：
security.protocol=SASL_PLAINTEXT
sasl.mechanism=SCRAM-SHA-256
sasl.jaas.config=org.apache.kafka.common.security.scram.ScramLoginModule required username="admin" password="admin";
生產(chǎn)者也使用超級(jí)管理員 admin 來(lái)發(fā)送消息。
6.1.3. 消費(fèi)者配置
修改 config 目錄下的 consumer.properties 增加以下內(nèi)容：
security.protocol=SASL_PLAINTEXT
sasl.mechanism=SCRAM-SHA-256
sasl.jaas.config=org.apache.kafka.common.security.scram.ScramLoginModule required username="test" password="test";
消費(fèi)者使用 test 用戶來(lái)接收消息倾剿。
?
6.2. 創(chuàng)建topic
在 bin 目錄下執(zhí)行以下命令：
./kafka-topics.sh --bootstrap-server localhost:9092 --create --topic test --partitions 1 --replication-factor 1 --command-config ../config/cmd.properties
-
bootstrap-server配置 Kafka 服務(wù)端的地址 -
topic指定topic名稱 -
command-config指定命令的認(rèn)證配置筷频，這里使用上面創(chuàng)建的 管理員配置
創(chuàng)建成功后可以通過(guò)以下命令查看存在的 topic 清單：
./kafka-topics.sh --bootstrap-server localhost:9092 --list --command-config ../config/cmd.properties
?
6.3. 創(chuàng)建消費(fèi)者
6.3.1. 執(zhí)行 kafka-console-consumer
在 bin 目錄下執(zhí)行以下命令：
./kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic test --consumer.config ../config/consumer.properties
執(zhí)行命令后會(huì)發(fā)現(xiàn)以下 報(bào)錯(cuò) 信息：
ERROR Error processing message, terminating consumer process: (kafka.tools.ConsoleConsumer$)
org.apache.kafka.common.errors.SaslAuthenticationException: Authentication failed during authentication due to invalid credentials with SASL mechanism SCRAM-SHA-256
Processed a total of 0 messages
Authentication failed認(rèn)證失敗，由于消費(fèi)者的認(rèn)證使用的是 test 用戶，而該用戶還未配置任何 ACL 權(quán)限截驮。
6.3.2. 配置用戶 ACL 權(quán)限
Kafka 的 ACL (Access Control Lists) 允許你定義哪些用戶可以訪問(wèn)哪些主題笑陈，并且可以執(zhí)行哪些操作（如讀、寫葵袭、創(chuàng)建涵妥、刪除等）。
執(zhí)行以下命令：
./kafka-acls.sh --authorizer-properties zookeeper.connect=localhost:2181 --add --allow-principal User:test --operation Read --topic test --group test-consumer-group
為 test 用戶在資源
topic[test]下分配只讀權(quán)限
執(zhí)行成功坡锡，可以通過(guò)以下命令查看資源所分配的所有 ACL 清單：
./kafka-acls.sh --bootstrap-server localhost:9092 --topic test --list --command-config ../config/cmd.properties
重新創(chuàng)建消費(fèi)者：
./kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic test --consumer.config ../config/consumer.properties
執(zhí)行成功后該 shell 窗口會(huì)一直阻塞等待消息蓬网。
?
6.4. 創(chuàng)建生產(chǎn)者
新開一個(gè) shell 窗口 在 bin 目錄下執(zhí)行以下命令：
./kafka-console-producer.sh --bootstrap-server localhost:9092 --topic test --producer.config ../config/producer.properties
由于生產(chǎn)者的認(rèn)證使用的是 admin 為 超級(jí)管理員 所以無(wú)需配置 ACL 權(quán)限。
執(zhí)行成功后會(huì)出現(xiàn)
>符號(hào)鹉勒，輸入內(nèi)容之后帆锋，切換到 消費(fèi)者 窗口就可以看到了。
