版權(quán)聲明：本套技術(shù)專欄是作者（秦凱新）平時工作的總結(jié)和升華调煎，通過從真實商業(yè)環(huán)境抽取案例進(jìn)行總結(jié)和分享，并給出商業(yè)應(yīng)用的調(diào)優(yōu)建議和集群環(huán)境容量規(guī)劃等內(nèi)容己肮，請持續(xù)關(guān)注本套博客士袄。版權(quán)聲明：禁止轉(zhuǎn)載，歡迎學(xué)習(xí)谎僻。
kafka線上真實環(huán)境實戰(zhàn)及調(diào)優(yōu)進(jìn)階系列
- kafka 商業(yè)環(huán)境實戰(zhàn)-kafka生產(chǎn)環(huán)境規(guī)劃
- kafka 商業(yè)環(huán)境實戰(zhàn)-kafka生產(chǎn)者和消費者吞吐量測試
- kafka 商業(yè)環(huán)境實戰(zhàn)-kafka生產(chǎn)者Producer參數(shù)設(shè)置及參數(shù)調(diào)優(yōu)建議
1. kafka生產(chǎn)者吞吐量測試指標(biāo)
kafka-producer-perf-test :是kafka提供的測試Producer性能腳本娄柳，通過腳本，可以計算出Producer在一段時間內(nèi)的平均延時和吞吐量艘绍。
1.1 kafka-producer-perf-test
在kafka安裝目錄下面執(zhí)行如下命令,生產(chǎn)環(huán)境中盡量讓腳本運行較長的時間赤拒，才會有意義：
bin/kafka-producer-perf-test.sh --topic test --num-records 500000 --record-size 200 --througthput -1 --producer-props bootstrap.servers=bd-master:9092,bd-slave1=9092,bd-slave3=9092 acks=1
1.2 測試結(jié)果分析如下：
500000 records sent ,41963 records/sec (8.00 MB/sec),2362.85 ms/avg latency ,3513.00 ms max latency ,2792ms 50h ,3144ms 95th ,3364 ms 99h,3503ms 99.9th
看到上面的結(jié)果肯定蒙了，看我細(xì)細(xì)講來：
kafka 的平均吞吐量是8.00 MB/sec 诱鞠，即占用64Mb/s左右的帶寬挎挖，平均每一秒發(fā)送41963條消息。平均延時為2362.85 ms航夺，最大延時為3513.00 ms蕉朵，95%的消息發(fā)送需要3144ms，99%的消息發(fā)送需要3364ms阳掐，99.9%的消息發(fā)送需要3503ms始衅。
2. kafka消費者吞吐量指標(biāo)說明：
2.1 kafka-consumer-perfs
我們總共測試500萬條數(shù)據(jù)量
bin/kafka-consumer-perfs-test.sh --broker-list bd-master:9092,bd-slave1=9092,bd-slave3=9092 --message-size 200 --messages 500000 --topic test
2.2 得到如下結(jié)果：
2018-10-28 9:39:02 95.4188 92.2313 500271 484289
看到上面的結(jié)果肯定蒙了冷蚂，看我細(xì)細(xì)講來：
該環(huán)境下，1s內(nèi)總共消費了95.4188MB消息汛闸，吞吐量為92.2313MB/s,也即736Mb/s蝙茶。
3 結(jié)語
秦凱新 于深圳 2018-10-28
