首先要特別感謝趙崇賀同學(xué)利用業(yè)余時間進(jìn)行的壓測，才能為本文提供專業(yè)的測試數(shù)據(jù)
一临梗、測試環(huán)境準(zhǔn)備
| ?Cpu | ?內(nèi)存 | 硬盤 |
|---|---|---|
| Intel(R) Xeon(R) CPU E5520 @ 2.27GHz | 32G | 6T |
Kafka集群，服務(wù)器個數(shù)：3臺
采用CMS垃圾回收
JVM運行參數(shù)
-Xmx1G -Xms1G -server -XX:+UseParNewGC -XX:+UseConcMarkSweepGC
-XX:+CMSClassUnloadingEnabled -XX:+CMSScavengeBeforeRemark -XX:+DisableExplicitGC -Djava.awt.headless=true
-Xloggc:/usr/local/kafka_2.10-0.8.2.2/bin/../logs/kafkaServer-gc.log -verbose:gc
-XX:+PrintGCDetails -XX:+PrintGCDateStamps -XX:+PrintGCTimeStamps
-Dcom.sun.management.jmxremote -Dcom.sun.management.jmxremote.authenticate=false
-Dcom.sun.management.jmxremote.ssl=false
-Dkafka.logs.dir=/usr/local/kafka_2.10-0.8.2.2/bin/../logs
-Dlog4j.configuration=file:/usr/local/kafka_2.10-0.8.2.2/bin/../config/log4j.properties
Kafka server端配置
broker.id=165
port=9092
host.name=hadoop165.kuaiyong.in
num.network.threads=3
num.io.threads=8
socket.send.buffer.bytes=102400
socket.receive.buffer.bytes=102400
socket.request.max.bytes=104857600
log.dirs=/download/kafka-logs
num.partitions=1
num.recovery.threads.per.data.dir=1
log.retention.hours=168
log.segment.bytes=1073741824
log.retention.check.interval.ms=300000
log.cleaner.enable=false
zookeeper.connect=hadoop165.xxx.in:2181,hadoop166.xxx.in:2181,hadoop167.xxx.in:2181
zookeeper.connection.timeout.ms=6000
測試命令行如下
生產(chǎn)者：
bin/kafka-producer-perf-test.sh --broker-list=hadoop02:9092
--messages 100000 --topic s1 --threads 10 --message-size 1000
--batch-size 200 --compression-codec 1
消費者
bin/kafka-consumer-perf-test.sh --zookeeper hadoop03:2181
--messages 500000 --topic s1 --threads 1
二、正常請求測試
1、Producer：
數(shù)據(jù)量：230萬條記錄
每次打包發(fā)送1000條數(shù)據(jù)
數(shù)據(jù)格式：采用壓縮格式
測試結(jié)果
最大處理量：39.2501MB/S
TPS：41156.6817條
2虏束、Consumer
耗時：18秒
總體文件大小：2193.45MB
最大處理量：163.6659MB/S
TPS：171616.1767條
三厦章、壓力請求測試
1镇匀、Producer
數(shù)據(jù)量：1000萬條數(shù)據(jù)
每次打包發(fā)送1000條數(shù)據(jù)
數(shù)據(jù)格式：采用壓縮格式
測試結(jié)果
耗時：242秒
總體文件大小：9536.74MB
最大處理量：39.2531MB/S
TPS：41159.8856條
2袜啃、Consumer
耗時：70秒
總體文件大锌勇伞：9536.74MB
最大處理量：145.4193MB/S
TPS：152483.1887條
結(jié)論：1000萬條下的壓力測試，性能有所降低囊骤，估計瓶頸期在500萬條左右
