arm平臺kafka性能測試
部署方式
| 主機名 |
kafka版本 |
IP |
| vcapp250 |
2.3.1 |
172.32.150.250 |
| vcapp251 |
2.3.1 |
172.32.150.251 |
| vcapp252 |
2.3.1 |
172.32.150.252 |
生產(chǎn)者測試
分區(qū)數(shù)
測試過程
- 新建一個擁有3個分區(qū)职祷、1個副本的主題协屡；
- 新建一個擁有6個分區(qū)、1個副本的主題雌续；
- 新建一個擁有15個分區(qū)吨掌、1個副本的主題半抱；
- 新建一個擁有24個分區(qū)脓恕、1個副本的主題膜宋；
- 新建一個擁有30個分區(qū)窿侈、1個副本的主題；
- 向擁有3個分區(qū)秋茫、1個副本的主題中發(fā)送相同數(shù)量的消息記錄史简，查看性能變化；
- 向擁有6個分區(qū)肛著、1個副本的主題中發(fā)送相同數(shù)量的消息記錄圆兵，查看性能變化；
- 向擁有15個分區(qū)枢贿、1個副本的主題中發(fā)送相同數(shù)量的消息記錄殉农，查看性能變化；
- 向擁有24個分區(qū)局荚、1個副本的主題中發(fā)送相同數(shù)量的消息記錄超凳，查看性能變化；
- 向擁有30個分區(qū)耀态、1個副本的主題中發(fā)送相同數(shù)量的消息記錄轮傍，查看性能變化。
測試命令
#創(chuàng)建topic
#根據(jù)測試條件更改參數(shù)--partitions
./bin/kafka-topics.sh \
--create \
--zookeeper 172.32.150.250:2181 172.32.150.251:2181 172.32.150.252:2181 \
--topic testproducer \
--partitions XX \
--replication-factor 1
#創(chuàng)建生產(chǎn)者
#消息長度1024
./bin/kafka-producer-perf-test.sh \
--num-records 5000000 \
--topic testproducer \
--record-size 1024 \
--throughput -1 \
--producer-props bootstrap.servers=172.32.150.250:9092,172.32.150.251:9092,172.32.150.252:9092 acks=-1
#消息長度2048
./bin/kafka-producer-perf-test.sh \
--num-records 5000000 \
--topic testproducer \
--record-size 2048 \
--throughput -1 \
--producer-props bootstrap.servers=172.32.150.250:9092,172.32.150.251:9092,172.32.150.252:9092 acks=-1
#刪除topic
./bin/kafka-topics.sh \
--delete \
--zookeeper 172.32.150.250:2181 172.32.150.251:2181 172.32.150.252:2181 \
--topic testproducer
測試結果
| kafka節(jié)點數(shù) |
分區(qū)數(shù) |
副本數(shù) |
消息大小 |
每秒發(fā)送信息(records/sec) |
數(shù)據(jù)量(MB/sec) |
| 3 |
3 |
1 |
1024 |
119402.985075 |
116.60 |
| 3 |
6 |
1 |
1024 |
145492.638073 |
142.08 |
| 3 |
15 |
1 |
1024 |
154282.893113 |
150.67 |
| 3 |
24 |
1 |
1024 |
150679.564837 |
147.15 |
| 3 |
30 |
1 |
1024 |
151781.919738 |
148.22 |
| kafka節(jié)點數(shù) |
分區(qū)數(shù) |
副本數(shù) |
消息大小 |
每秒發(fā)送信息(records/sec) |
數(shù)據(jù)量(MB/sec) |
| 3 |
3 |
1 |
2048 |
56215.146609 |
109.80 |
| 3 |
6 |
1 |
2048 |
70209.927684 |
137.13 |
| 3 |
15 |
1 |
2048 |
78094.494338 |
152.53 |
| 3 |
24 |
1 |
2048 |
71077.246752 |
138.82 |
| 3 |
30 |
1 |
2048 |
76645.972254 |
149.70 |
測試結論
當partition個數(shù)為broker數(shù)的5倍左右時性能較好首装。
副本數(shù)
測試過程
- 新建一個擁有15個分區(qū)创夜、1個副本的主題；
- 新建一個擁有15個分區(qū)仙逻、2個副本的主題驰吓；
- 新建一個擁有15個分區(qū)、3個副本的主題系奉；
測試命令
參考之前分區(qū)數(shù)測試相關命令棚瘟。
測試結果
| kafka節(jié)點數(shù) |
分區(qū)數(shù) |
副本數(shù) |
消息大小 |
每秒發(fā)送信息(records/sec) |
數(shù)據(jù)量(MB/sec) |
| 3 |
15 |
1 |
1024 |
78094.494338 |
152.53 |
| 3 |
15 |
2 |
1024 |
48058.439062 |
46.93 |
| 3 |
15 |
3 |
1024 |
36459.358753 |
35.60 |
測試結論
當副本數(shù)為1時性能最佳，增加副本后性能下降明顯喜最。
