前言
Apache Bench是一個(gè)簡(jiǎn)單易用的壓力測(cè)試工具讽膏，在這里我不想多講抒抬。今天主要說(shuō)的是寫(xiě)一個(gè)py腳本來(lái)自動(dòng)化測(cè)試過(guò)程，以及中間遇到的一些奇葩問(wèn)題杜跷。
測(cè)試腳本
#!/usr/bin/env python
# encoding: utf-8
import sys
import subprocess as sub
import json
import re
import time
store=open(sys.argv[1],'w')
if len(sys.argv)>2:
total=sys.agrv[2]
else:
total=10000
if len(sys.argv)>3:
hostPath=sys.argv[3]
else:
hostPath='http://127.0.0.1:3000/'
#url=['index','str','json','read','write','chain']
#cocurrency=[8,16,32,64,128,256]
url=['str','json','chain'];cocurrency=[16]
result=dict.fromkeys(url,{})
def parseAB(src,dst):
src=src.split('\n')
pattern=re.compile(r'\d+\.{0,1}\d{0,10}')
for i in range(15,len(src)-10):
if(src[i].count(':')==0):
continue
tmp=src[i].split(':')
key=tmp[0]
data=pattern.findall(tmp[1])
if not data:
continue
elif(len(data)>1):
dst[key]=[]
for j in data:
dst[key]=dst[key]+[float(j)]
else:
dst[key]=float(data[0])
dst['percentage']={}
for i in range(len(src)-10,len(src)):
tmp=pattern.findall(src[i])
if(len(tmp)!=2):
continue
dst['percentage'][int(tmp[0])]=int(tmp[1])
return dst
for item in url:
for c in cocurrency:
child=sub.check_output('ab -k -n '+str(total)+' -c '+str(c)+' '+hostPath+item,shell=True,close_fds=True)
#child=sub.Popen('ab -k -n '+str(total)+' -c '+str(c)+' '+hostPath+item,shell=True,close_fds=True,stdout=sub.PIPE)
result[item][c]={}
parseAB(child,result[item][c])
time.sleep(5)
store.write(json.dumps(result));
store.close()
最終得到了一個(gè)包含該框架所有測(cè)試信息的json文件涣旨，之所以采用json這種數(shù)據(jù)格式歪架，是為了方便下一步處理。
解析腳本
#!/usr/bin/env python
# encoding: utf-8
import sys
import json
basePath=''
frame=['express']
data={}
for f in frame:
data[f]=json.loads(open(basePath+f+'.json','r').read())
url=data[frame[0]].keys()
cocurrency=data[frame[0]][url[0]].keys()
keyList=data[frame[0]][url[0]][cocurrency[0]].keys()
print 'you can get these key: '+str(keyList)
compare=dict.fromkeys(frame,dict.fromkeys(url,{}))
for f in frame:
for u in url:
for k in keyList:
dataType=type(data[f][u][cocurrency[0]][k])
if dataType==int or dataType==float:
tmp=[]
for c in cocurrency:
tmp=tmp+[dataType(data[f][u][c][k])]
compare[f][u][k]=tmp
elif dataType==dict:
percent=data[f][u][cocurrency[0]][k].keys()
tmp=dict.fromkeys(percent,[])
for p in percent:
for c in cocurrency:
tmp[p]=tmp[p]+[data[f][u][c][k][p]]
compare[f][u][k]=tmp
elif dataType==list:
sta=['min','mean','sd','median','max']
tmp=dict.fromkeys(sta,[])
for i in range(len(sta)):
for c in cocurrency:
s=sta[i]
tmp[s]=tmp[s]+[data[f][u][c][k][i]]
compare[f][u][k]=tmp
def get(f,u,k,index=None):
if k=='percentage':
if not index:
return compare[f][u][k]['95']
else:
return compare[f][u][k][str(index)]
elif type(compare[f][u][k])==dict:
if not index:
return compare[f][u][k]['mean']
else:
return compare[f][u][k][index]
else:
return compare[f][u][k]
最終暴露出一個(gè)API接口
import handle
handle.get('express','json','Time per request')
//return an array for all cocurrency you choose
遇到的問(wèn)題
在測(cè)試過(guò)程中（開(kāi)始的腳本不是這個(gè)樣子的霹陡，有略微的改變）到16000+請(qǐng)求的時(shí)候會(huì)卡主和蚪，并最終拋出socket timeout的錯(cuò)誤，錯(cuò)誤碼60.為什么會(huì)這樣子呢烹棉？
是由于系統(tǒng)資源的限制攒霹，socket在unix系統(tǒng)下也是利用文件描述符的，socket的數(shù)量是有限制的浆洗，對(duì)于本人的MAC是16387催束，據(jù)說(shuō)對(duì)于linux系統(tǒng)是32000+，好伏社，找到了問(wèn)題所在抠刺，看來(lái)是子進(jìn)程退出時(shí)沒(méi)有關(guān)閉socket。在python的bug報(bào)告里提到了這個(gè)問(wèn)題摘昌，在subprocess的調(diào)用中加一句close_fds=True可以在子進(jìn)程執(zhí)行之前關(guān)閉除了0速妖，1，2的所有文件描述符聪黎，自然就關(guān)閉了上次操作的所有sockets罕容。
不過(guò)，這樣依舊不行稿饰。锦秒。。為什么呢湘纵？因?yàn)椴灰朔?wù)器是localhost脂崔，關(guān)閉這些文件描述符只是客戶端的socket.close()滤淳，意味著文件描述符可以被再次分配梧喷，但服務(wù)端依然保有socket，它的資源沒(méi)有被釋放，限制依舊存在铺敌。想要立即釋放汇歹，我們應(yīng)該用socket.shutdown()，不過(guò)這樣恐怕需要改寫(xiě)subprocess偿凭，顯然蛋疼产弹。
然后我就發(fā)現(xiàn)了我的測(cè)試語(yǔ)句
ab -c 8 -n 10000 http://127.0.0.1:3000/json
對(duì)，木有用-k弯囊，keep-alive選項(xiàng)允許socket被復(fù)用痰哨，不只是用于一個(gè)http請(qǐng)求。同時(shí)我還在循環(huán)末尾加了一句sleep以等待資源被釋放匾嘱。剩下的就只能聽(tīng)天由命了斤斧。
還有一個(gè)非常常見(jiàn)的錯(cuò)誤。
ab -c 8 -n 10000 http://localhost:3000/json
寫(xiě)成這樣也會(huì)報(bào)錯(cuò)哦霎烙！
結(jié)語(yǔ)
最后向大家提一個(gè)問(wèn)題撬讽，為什么用Jmeter做壓力測(cè)試的時(shí)候，吞吐量會(huì)一開(kāi)始很高悬垃，然后一直在下降游昼？
