吞吐量
在了解qps、tps弥搞、rt、并發(fā)數(shù)之前攀例,首先我們應(yīng)該明確一個系統(tǒng)的吞吐量到底代表什么含義,一般來說粤铭,系統(tǒng)吞吐量指的是系統(tǒng)的抗壓、負(fù)載能力酱鸭,代表一個系統(tǒng)每秒鐘能承受的最大用戶訪問量。
一個系統(tǒng)的吞吐量通常由qps(tps)凹髓、并發(fā)數(shù)來決定怯屉,每個系統(tǒng)對這兩個值都有一個相對極限值蔚舀,只要某一項達(dá)到最大值锨络,系統(tǒng)的吞吐量就上不去了。
QPS
Queries Per Second足删,每秒查詢數(shù),即是每秒能夠響應(yīng)的查詢次數(shù)失受,注意這里的查詢是指用戶發(fā)出請求到服務(wù)器做出響應(yīng)成功的次數(shù)咏瑟,簡單理解可以認(rèn)為查詢=請求request痪署。
qps=每秒鐘request數(shù)量
TPS
Transactions Per Second 的縮寫,每秒處理的事務(wù)數(shù)狼犯。一個事務(wù)是指一個客戶機(jī)向服務(wù)器發(fā)送請求然后服務(wù)器做出反應(yīng)的過程∶跎客戶機(jī)在發(fā)送請求時開始計時,收到服務(wù)器響應(yīng)后結(jié)束計時瓢姻,以此來計算使用的時間和完成的事務(wù)個數(shù)。
針對單接口而言绎狭,TPS可以認(rèn)為是等價于QPS的,比如訪問一個頁面/index.html儡嘶,是一個TPS扭弧,而訪問/index.html頁面可能請求了3次服務(wù)器比如css壹若、js府瞄、index接口符喝,產(chǎn)生了3個QPS兄世。
tps=每秒鐘事務(wù)數(shù)量
RT
Response Time縮寫啼辣,簡單理解為系統(tǒng)從輸入到輸出的時間間隔御滩,寬泛的來說,他代表從客戶端發(fā)起請求到服務(wù)端接受到請求并響應(yīng)所有數(shù)據(jù)的時間差削解。一般取平均響應(yīng)時間。
并發(fā)數(shù)
簡而言之氛驮,系統(tǒng)能同時處理的請求/事務(wù)數(shù)量。
計算方式
QPS=并發(fā)數(shù)/RT 或者 并發(fā)數(shù)=QPS*RT
舉個栗子:
假設(shè)公司每天早上9點到10點1個小時內(nèi)都有員工要上廁所盏缤,公司有3600個員工砰蠢,平均每個員工上廁所時間為10分鐘唉铜,我們來計算一下。
QPS ? ?= 3600/60*60 ? 1
RT ? ? ?= 10*60 ? ? ? ? ? ?600秒
并發(fā)數(shù) = 1 * 600 ? ? ? ? ?600
這樣就意味著如果想達(dá)到最好的蹲坑體驗潭流,公司需要600個坑位來滿足員工需求,否則的話上廁所就要排隊等待了拆宛。
性能思考
按照QPS=并發(fā)數(shù)/RT公式,假設(shè)我們現(xiàn)在是單線程的場景胰挑,那么QPS公式應(yīng)該是這樣:QPS=1/RT椿肩,實際上RT應(yīng)該=CPU time + CPU wait time,如果將線程數(shù)提高到2郑象,那么QPS=2/(CPU time + CPU wait time),那么是否意味著我們只要單純提高線程數(shù)就能提高QPS呢厂榛?
最佳線程數(shù)計算
假設(shè)CPU time是49ms丽惭,CPU wait time是200ms击奶,那么QPS=1000ms/249ms=4.01责掏,這里200ms的wait時間我們可以認(rèn)為CPU一直處于等待狀態(tài)啥也沒干,理論上來說200ms還可以接受200/49≈4個請求换衬,不考慮上下文切換和其他開銷的話,可以認(rèn)為總線程數(shù)=(200+49)/49=5担映,如果再考慮上CPU多核和利用率的問題,我們大致可以認(rèn)為:最佳線程數(shù)=RT/CPU Time * CPU核心數(shù) * CPU利用率
那么最大QPS公式推導(dǎo)為:
最大QPS=最佳線程數(shù)*單線程QPS=(RT/CPU Time * CPU核心數(shù) * CPU利用率)*(1/RT) = CPU核心數(shù)*CPU利用率/CPU time
那么這樣是否意味著我們只要不停增加CPU核心數(shù)就能無限提高QPS呢
阿姆達(dá)爾定律Amdahl
G.M.Amdahl在1967年提出了Amdahl’s law蝇完,針對并行處理的scalability給出了一個模型,指出使用并行處理的提速由問題的可并行的部分所決定短蜕。我們可以簡單理解為程序通過額外的計算資源,理論上能獲得的加速值忿危。
par為并行計算所占的比例,p為并行處理節(jié)點個數(shù)
假設(shè)你想從望京去順義铺厨,坐一輛車需要3小時,雖然現(xiàn)在有3輛車赃磨,你也不能1小時就到。這里無法并行邻辉,所有Par=0%,p=3值骇,加速比還是等于1移国,并沒有提高速度吱瘩。
古斯塔夫森定律Gustafson
斯塔夫森定律又被稱為擴(kuò)展的加速比(scaled speedup)迹缀,他說明處理器個數(shù)、串行比例和加速比之間的關(guān)系祝懂,只是和阿姆達(dá)爾定律側(cè)重角度有所不同。
按照阿姆達(dá)爾定律和QPS計算公式砚蓬,在CPUtime 和 CPU利用率不變的情況下,增加CPU核心數(shù)就能增加最大QPS颅和,在par不為0即并行的時候,增加并行數(shù)量p就能提升效率峡扩,但是實際上隨著請求數(shù)量的增加障本,帶來大量的上下文的切換教届、gc和鎖變化。qps更高案训,產(chǎn)生對象越多,gc越頻繁忿项,cpu time和利用率都受到影響,尤其在串行的時候轩触,鎖自旋家夺、自適應(yīng)脱柱、偏向等等也成為影響par的因素拉馋。
總結(jié),為了提升達(dá)到最好的性能煌茴,我們需要不斷的進(jìn)行性能測試,調(diào)整小城池大小蔓腐,找到最合適的參數(shù)來達(dá)到提高性能的目的。
參考:
http://javahao123.com/?p=772
https://cloud.tencent.com/developer/article/1106559
https://www.cnblogs.com/caishunzhe/p/13056105.html
http://www.reibang.com/p/8532ac88ce72
https://zhuanlan.zhihu.com/p/66929848
https://www.cnblogs.com/lupeng2010/p/12705795.html