Windows和Linux的Jmeter分布式集群壓力測(cè)試
在使用Jmeter進(jìn)行性能測(cè)試時(shí)，如果并發(fā)數(shù)比較大(比如最近項(xiàng)目需要支持1000并發(fā))周霉，單臺(tái)電腦的配置(CPU和內(nèi)存)可能無法支持忧陪，這時(shí)可以使用Jmeter提供的分布式測(cè)試的功能却盘。
一践磅、Jmeter分布式執(zhí)行原理：
1、Jmeter分布式測(cè)試時(shí)钳踊，選擇其中一臺(tái)作為調(diào)度機(jī)(master)晤愧，其它機(jī)器做為執(zhí)行機(jī)(slave)大莫。
2、執(zhí)行時(shí)官份，master會(huì)把腳本發(fā)送到每臺(tái)slave上只厘，slave 拿到腳本后就開始執(zhí)行，slave執(zhí)行時(shí)不需要啟動(dòng)GUI舅巷，我理解它應(yīng)該是通過命令行模式執(zhí)行的羔味。
3、執(zhí)行完成后钠右，slave會(huì)把結(jié)果回傳給master赋元，master會(huì)收集所有slave的信息并匯總。
二飒房、執(zhí)行機(jī)（slave）配置：
1搁凸、slave機(jī)上需要安裝Jmeter，具體如何安裝這里不詳細(xì)介紹了狠毯。
2护糖、添加環(huán)境變量：JMETER_HOME=D:\B_TOOLS\apache-jmeter-2.13，此處為你Jmeter的路徑
3嚼松、啟動(dòng)bin目錄下的：jmeter-server.bat嫡良，啟動(dòng)成功如下圖：
4锰扶、上圖上標(biāo)紅的IP和端口會(huì)在master里配置時(shí)用到。IP就是slave機(jī)器IP皆刺，端口默認(rèn)是1099，端口也可以自定義凌摄，這里我自定義為1000羡蛾，這個(gè)后面會(huì)講。?
5锨亏、多臺(tái)slave的話痴怨，重復(fù)1~4步驟就好。??
三器予、調(diào)度機(jī)（master）配置：
1浪藻、腳本：簡(jiǎn)單的一個(gè)訪問百度的腳本：
2、找到Jmeter的bin目錄下jmeter.properties文件乾翔，修改如下配置爱葵，IP和Port是slave機(jī)的IP以及自定義的端口（這里端口我自定義為100，后面會(huì)講如何自定義）：
remote_hosts=10.13.223.202:1000,10.13.225.12:1000
多臺(tái)slave之前用","隔開反浓，我這配置了2臺(tái)萌丈，可以看到標(biāo)紅的這個(gè)就是上面截圖slave的IP和Port.
3、打開Jmeter雷则，選擇運(yùn)行辆雾，有運(yùn)程啟動(dòng)、運(yùn)程全部啟動(dòng)兩個(gè)選項(xiàng)：
4月劈、選擇遠(yuǎn)程啟動(dòng)-->10.13.225.12:1000
a) master結(jié)果度迂，這里我只啟動(dòng)了10.13.225.12:1000這一臺(tái)slave，所以只有一個(gè)結(jié)果(線程數(shù)和循環(huán)次數(shù)都是1)：
b) slave控制臺(tái)信息：
5猜揪、選擇遠(yuǎn)程啟動(dòng)-->遠(yuǎn)程全部啟動(dòng)：
a) master結(jié)果惭墓，全部啟動(dòng)，我配置了2臺(tái)slave而姐，所以有兩次執(zhí)行結(jié)果：
四诅妹、自定義端口：
上面其實(shí)已經(jīng)實(shí)現(xiàn)了Jmeter的分布式測(cè)試，這部分主要介紹下如何自定義slave端口：
1毅人、slave：在slave機(jī)的Jmeter的bin目錄下吭狡，找到j(luò)meter.properties文件，修改如下兩個(gè)配置項(xiàng)丈莺，比如我這里修改為1888：
server_port=1888
server.rmi.localport=1888
2划煮、啟動(dòng)slave機(jī)上的jmeter-server.bat，如下圖缔俄，端口已經(jīng)修改為：1888
3弛秋、master：修改master機(jī)器的jmeter.properties文件：
remote_hosts=10.13.223.202:1000,10.13.225.12:1888
4器躏、重啟jmeter.bat，如下圖蟹略，端口已經(jīng)變了:
五登失、其它說明：
1、調(diào)度機(jī)(master)和執(zhí)行機(jī)(slave)最好分開挖炬，由于master需要發(fā)送信息給slave并且會(huì)接收slave回傳回來的測(cè)試數(shù)據(jù)揽浙，所以mater自身會(huì)有消耗，所以建議單獨(dú)用一臺(tái)機(jī)器作為mater意敛。
2馅巷、參數(shù)文件：如果使用csv進(jìn)行參數(shù)化，那么需要把參數(shù)文件在每臺(tái)slave上拷一份且路徑需要設(shè)置成一樣的草姻。
3钓猬、每臺(tái)機(jī)器上安裝的Jmeter版本和插件最好都一致，否則會(huì)出一些意外的問題撩独。
對(duì)于運(yùn)維工程師來說敞曹，需要對(duì)自己維護(hù)的服務(wù)器性能瓶頸了如指掌，比如我當(dāng)前的架構(gòu)每秒并發(fā)是多少综膀，我服務(wù)器最大能接受的并發(fā)是多少异雁，是什么導(dǎo)致我的性能有問題；如果當(dāng)前架構(gòu)快達(dá)到性能瓶頸了僧须，是橫向擴(kuò)容性能提升大纲刀，還是縱向擴(kuò)容性能提升大。
如果需要了解這些信息担平，需要在兩方面下功夫示绊，一個(gè)是對(duì)服務(wù)器進(jìn)行性能測(cè)試，一個(gè)是對(duì)服務(wù)器進(jìn)行性能監(jiān)控暂论。
通過對(duì)服務(wù)器進(jìn)行性能測(cè)試：我們可以了解到當(dāng)前架構(gòu)的性能瓶頸面褐，還可以對(duì)架構(gòu)橫向擴(kuò)容和縱向擴(kuò)容來進(jìn)行測(cè)試，對(duì)后期的架構(gòu)擴(kuò)容提供數(shù)據(jù)參考取胎。
通過對(duì)服務(wù)器進(jìn)行性能監(jiān)控：我們可以了解當(dāng)前服務(wù)器的CPU展哭、內(nèi)存、IO等資源是否耗盡闻蛀，我們可以在監(jiān)控系統(tǒng)添加觸發(fā)器匪傍，一旦服務(wù)器資源在快要達(dá)到瓶頸的時(shí)候，我們可以觸發(fā)一個(gè)報(bào)警讓運(yùn)維人員來處理觉痛，也可以觸發(fā)一個(gè)讓架構(gòu)進(jìn)行自動(dòng)化擴(kuò)容（如果是云平臺(tái)役衡，直接調(diào)用api創(chuàng)建主機(jī)，ansible部署應(yīng)用和程序）
本文將介紹下薪棒，我在工作中使用jmeter測(cè)試性能瓶頸的一些實(shí)踐手蝎。本文做性能測(cè)試適用于移動(dòng)互聯(lián)網(wǎng)架構(gòu)榕莺，非移動(dòng)互聯(lián)網(wǎng)架構(gòu)有其他更好的測(cè)試方法。
在工作中使用jmeter做大并發(fā)壓力測(cè)試的場(chǎng)景下棵介，單機(jī)受限內(nèi)存钉鸯、CPU、網(wǎng)絡(luò)IO邮辽，會(huì)出現(xiàn)服務(wù)器壓力還沒有上去唠雕，但是壓測(cè)服務(wù)器已經(jīng)由于模擬的壓力太大死機(jī)了。為了讓jmeter工具提供更強(qiáng)大的負(fù)載能力逆巍，jmeter提供了多臺(tái)機(jī)器同時(shí)產(chǎn)生負(fù)載的機(jī)制及塘，下面是架構(gòu)圖莽使。
原理：比如我在jmeter server配置線程數(shù)為10锐极，循環(huán)次數(shù)為100，也就是會(huì)對(duì)測(cè)試服務(wù)器發(fā)起1000次請(qǐng)求芳肌，我有3臺(tái)agent服務(wù)器灵再，如果我在server端選擇遠(yuǎn)程啟動(dòng)壓力測(cè)試，那么每臺(tái)agent都會(huì)對(duì)測(cè)試服務(wù)器發(fā)起10*100次請(qǐng)求亿笤，那么這次壓力測(cè)試產(chǎn)生的請(qǐng)求就是10*100*3=3000次翎迁。
如果對(duì)原理不是很明白，看完下面的操作之后就會(huì)理解了净薛。
服務(wù)器環(huán)境說明：做性能測(cè)試可以直接在在云平臺(tái)按需購買壓力機(jī)汪榔，一旦測(cè)試結(jié)束釋放壓力機(jī)即可。
分布式環(huán)境壓力服務(wù)器要求：
需要server（控制機(jī)）和agent（壓力機(jī)）肃拜，agent搭建在linux（centos 6.5）服務(wù)器環(huán)境下痴腌，server搭建在windows（server 2012）環(huán)境下。
壓力測(cè)試瓶頸大都在帶寬上面燃领，需要保證壓力機(jī)的帶寬要比服務(wù)器的帶寬高士聪，不然壓力上不去。
需要保證agent和server都在一個(gè)網(wǎng)絡(luò)中猛蔽，且在多網(wǎng)卡環(huán)境需要保證啟動(dòng)的網(wǎng)卡都在一個(gè)網(wǎng)段剥悟。
需要保證server和agent之間的時(shí)間同步。
關(guān)閉防火墻曼库。
（1）部署jdk環(huán)境,配置path變量区岗，安裝完成效果如下
（2）直接去官網(wǎng)下載最新的二進(jìn)制源碼包即可。
（3）解壓jmeter到指定目錄毁枯，設(shè)置path變量躏尉，安裝完成之后，在命令行運(yùn)行jmeter命令后众，如果可以正常啟動(dòng)jmeter胀糜，說明環(huán)境配置ok颅拦。
（1）下載安裝
wget http://mirrors.tuna.tsinghua.edu.cn/apache//jmeter/binaries/apache-jmeter-3.1.zip
unzip apache-jmeter-3.1.zip -d?/usr/local/
cd?/usr/local/
ln?-s apache-jmeter-3.1/ jmeter
（2）配置啟動(dòng)腳本
#!/bin/bash
# chkconfig: 345 26 74
# description: jmeter agent
myip=`ifconfig?eth0 |awk?'/inet addr/{gsub(/addr:/,"");print $2}'`
cmd="/usr/local/jmeter/bin/jmeter-server -Djava.rmi.server.hostname=$myip"
start(){
??$cmd &
}
stop(){
????jmeter_pid=`ps?aux |?grep?jmeter-server |?grep?-v?grep?|?awk?'{print $2}'`
????for?pid?in?$jmeter_pid;do
????kill?-9 $pid
????done
}
act=$1
case?$act?in
?'start')
???start;;
?'stop')
???stop;;
?'restart')
???stop
???sleep?2
???start;;
??*)
???echo?'[start|stop|restart]';;
esac
（3）啟動(dòng)jmeter agent服務(wù)，驗(yàn)證是否監(jiān)聽1099端口
[root@jmeter-agent-01 ~]# /etc/init.d/jmeter-agent start
[root@jmeter-agent-01 ~]# netstat -lntp | grep 1099
tcp??????? 0????? 0 0.0.0.0:1099??????????????? 0.0.0.0:*?????????????????? LISTEN????? 414/java
（1）確保server和agnet安裝正確教藻。
（2）Agent啟動(dòng)距帅，并監(jiān)聽1099端口。
（3）在server機(jī)器的jmeter安裝目錄下bin目錄下括堤，找到properties文件碌秸，修改遠(yuǎn)程主機(jī)選項(xiàng)，添加3個(gè)agent服務(wù)器的地址悄窃。
（4）啟動(dòng)jmeter server讥电，多網(wǎng)卡模式需要指定IP地址啟動(dòng)
1jmeter -Djava.rmi.server.hostname=192.168.10.61
（5）驗(yàn)證分布式環(huán)境是否搭建成功
1、jmeter啟動(dòng)之后在如下選項(xiàng)中,會(huì)出現(xiàn)你添加的遠(yuǎn)程主機(jī)列表
2轧抗、創(chuàng)建一個(gè)請(qǐng)求測(cè)試：創(chuàng)建一個(gè)訪問百度的請(qǐng)求恩敌，訪問次數(shù)為一次，配置如下：
直接點(diǎn)擊啟動(dòng)横媚，是jmeter server機(jī)器發(fā)起一次請(qǐng)求纠炮，結(jié)果如下
請(qǐng)求所有之前的請(qǐng)求數(shù)據(jù)之后，在選擇遠(yuǎn)程全部啟動(dòng)灯蝴，查看發(fā)起的請(qǐng)求就是三次恢口，也就是每個(gè)agent服務(wù)器按照著server的配置，請(qǐng)求了一次穷躁。
如果你的環(huán)境在選擇全部啟動(dòng)之后耕肩，沒有報(bào)錯(cuò)，且發(fā)起請(qǐng)求數(shù)量和agent服務(wù)器數(shù)量一致问潭，說明jmeter分布式壓力測(cè)試環(huán)境搭建成功猿诸，可以進(jìn)行測(cè)試了。
jmeter斷言常用有兩種睦授，一種是響應(yīng)斷言两芳，一種是響應(yīng)時(shí)間斷言，如果響應(yīng)內(nèi)容不滿足斷言的配置去枷，則認(rèn)為這次的請(qǐng)求是失敗的怖辆。
響應(yīng)斷言：判斷響應(yīng)內(nèi)容是否包含指定的字符信息，用于判斷api接口返回內(nèi)容是否正確删顶。
響應(yīng)時(shí)間斷言：判斷響應(yīng)時(shí)間竖螃，是否超過預(yù)期的時(shí)間，用于判斷api接口返回時(shí)間是否超過預(yù)期逗余。
（1）修改http為實(shí)際的api測(cè)試請(qǐng)求特咆。
（2）斷言添加方式：右擊測(cè)試計(jì)劃的http請(qǐng)求，選擇添加à斷言à添加響應(yīng)斷言和斷言持續(xù)時(shí)間。
（3）配置響應(yīng)斷言：我們接口正常返回code值為2000腻格，如果接口返回code值不是2000表示接口異常画拾，為了測(cè)試，這里修改為接口返回code值不為2222則表示訪問失敗菜职。
（4）配置斷言響應(yīng)時(shí)間：設(shè)置請(qǐng)求接口時(shí)間超過1毫秒青抛，則認(rèn)為請(qǐng)求失敗。
（5）驗(yàn)證斷言配置：發(fā)起http請(qǐng)求酬核，由于返回內(nèi)容code值不為2222蜜另，以及訪問時(shí)間超過1毫秒，所以認(rèn)為訪問失敗嫡意。
使用變量的場(chǎng)景舉例：我們需要測(cè)試性能的曲線模型举瑰，也就是由輕壓力慢慢變?yōu)橹貕毫Γ瑏頊y(cè)試我們的性能拐點(diǎn)蔬螟，這個(gè)時(shí)候jmeter就需要配置多個(gè)線程組此迅，每個(gè)線程組需要設(shè)置http請(qǐng)求，比如下圖促煮；由于每次測(cè)試性能的曲線模型都是同一個(gè)接口邮屁，所以每次修改接口都需要修改http請(qǐng)求整袁，這個(gè)時(shí)候如果使用了變量菠齿，就意味著每次修改api只需要修改api的變量即可。
設(shè)置變量的方法：在測(cè)試計(jì)劃中
引用變量：
下面是我執(zhí)行一次性能曲線模型測(cè)試（請(qǐng)求從每秒3千遞增到3萬）的聚合報(bào)告：簡(jiǎn)單的看下坐昙，可以看到性能的拐點(diǎn)在每秒發(fā)起2.7萬請(qǐng)求绳匀，TPS處理能力可以達(dá)到6000每秒，99%的用戶響應(yīng)時(shí)間在60毫秒炸客，最大響應(yīng)時(shí)間為71毫秒疾棵，性能還是不錯(cuò)的。
并發(fā)瓶頸：當(dāng)請(qǐng)求從每秒2.7萬遞增到3萬的過程中痹仙，我們的TPS由6000下降到了4500是尔，可以看到并發(fā)瓶頸就在每秒最多處理6000請(qǐng)求
響應(yīng)時(shí)間：我們可以看到TPS保持在3500或之下，99%用戶用戶的響應(yīng)時(shí)間為11毫秒开仰，隨著TPS的升高拟枚，我們的響應(yīng)時(shí)間也在隨著升高，可以看到我們的TPS在每秒3500響應(yīng)的時(shí)候众弓，對(duì)響應(yīng)時(shí)間是沒有影響的恩溅。
注意這個(gè)只是我的業(yè)務(wù)其中的一個(gè)接口，我們生產(chǎn)有上百個(gè)接口谓娃，不同的接口返回?cái)?shù)據(jù)還有代碼邏輯脚乡，以及執(zhí)行的sql均不相同，如果需要做性能測(cè)試滨达，應(yīng)該選擇其中的熱點(diǎn)接口奶稠，對(duì)每個(gè)接口進(jìn)行性能測(cè)試俯艰，得到結(jié)果之后在進(jìn)行具體的分析性能瓶頸到低是什么？
聚合報(bào)告參數(shù)說明：?jiǎn)挝粸楹撩?/p>
Label：定義HTTP請(qǐng)求名稱
Samples：表示這次測(cè)試中發(fā)出了多少個(gè)請(qǐng)求
Average：平均響應(yīng)時(shí)長——默認(rèn)情況下是單個(gè)request的平均響應(yīng)時(shí)長
Median：中位數(shù)锌订，也就是50%用戶的響應(yīng)時(shí)長
90% Line：90%用戶的響應(yīng)時(shí)長
Min：訪問頁面的最小響應(yīng)時(shí)長
Max：訪問頁面的最大響應(yīng)時(shí)長
Error%：錯(cuò)誤請(qǐng)求的數(shù)量/請(qǐng)求的總數(shù)
Throughput：默認(rèn)情況下表示每秒完成的請(qǐng)求數(shù)（request per second）
KB/Sec：每秒從服務(wù)器端接收到的數(shù)據(jù)量
并發(fā)測(cè)試直接發(fā)起指定數(shù)量的請(qǐng)求蟆炊，比如一起發(fā)起10萬請(qǐng)求看一下系統(tǒng)的處理能力，這個(gè)時(shí)候如果需要服務(wù)器的資源使用信息瀑志，就不能使用比如zabbix監(jiān)控系統(tǒng)了涩搓，因?yàn)橐话闾幚?0萬請(qǐng)求，對(duì)于我們來說20秒可以處理完畢劈猪，但是zabbix數(shù)據(jù)采集是每分鐘一次昧甘，這樣采集到的數(shù)據(jù)明顯是不準(zhǔn)的，這樣就需要通過系統(tǒng)自帶的監(jiān)控命令战得，來實(shí)時(shí)查詢服務(wù)器的性能充边，比如可以通過dstat或者glances等動(dòng)態(tài)監(jiān)控命令來分析系統(tǒng)的性能。
補(bǔ)充：不是測(cè)試每一個(gè)接口都需要進(jìn)行這樣的實(shí)時(shí)監(jiān)控常侦，比如過測(cè)試我的大部分接口TPS可達(dá)5000浇冰，但是其中一個(gè)接口只能達(dá)到2000這個(gè)時(shí)候就需要在測(cè)試的時(shí)候?qū)崟r(shí)監(jiān)控，看一下到底是什么原因?qū)е滦阅苌喜蝗チ觥Ｊ怯捎诜祷財(cái)?shù)據(jù)太大導(dǎo)致網(wǎng)絡(luò)帶寬被占滿肘习；還是sql執(zhí)行時(shí)間太長導(dǎo)致數(shù)據(jù)庫負(fù)載高，還是代碼有問題導(dǎo)致web服務(wù)cpu占用高坡倔。
穩(wěn)定性測(cè)試就是持續(xù)不斷模擬指定數(shù)量請(qǐng)求漂佩，來訪問服務(wù)器，比如我每秒向測(cè)試服務(wù)器發(fā)起4000請(qǐng)求罪塔，持續(xù)12小時(shí)投蝉，來看看服務(wù)器會(huì)出現(xiàn)什么情況，這個(gè)時(shí)候就需要用到zabbix來進(jìn)行監(jiān)控了征堪，下面是我做性能測(cè)試的部分監(jiān)控接口瘩缆，包含tomcat每秒請(qǐng)求，服務(wù)器入口流量佃蚜，整個(gè)集群每分鐘請(qǐng)求的http狀態(tài)碼統(tǒng)計(jì)庸娱，還有服務(wù)器資源使用信息。
