性能指標分類

在進行性能測試的指標監(jiān)控和結(jié)果分析時捻悯，可以關(guān)注以下這幾個維度的指標：

• 系統(tǒng)性能指標
• 資源性能指標
• 數(shù)據(jù)庫指標
• 中間件指標
• 穩(wěn)定性指標
• 可擴展性指標
• 可靠性指標

一、系統(tǒng)性能指標

系統(tǒng)性能指標，幾種常見的：

• 并發(fā)用戶數(shù)
• 錯誤率
• 響應(yīng)時間
• 系統(tǒng)處理能力：TPS、QPS夺欲、HPS
• 吞吐量

1、并發(fā)用戶數(shù)

• 定義
  同一時刻涨岁，在系統(tǒng)中進行業(yè)務(wù)操作的用戶數(shù)量
• 在不同類型系統(tǒng)的區(qū)別仍翰；長連接和短連接
  1.在長連接型系統(tǒng)（如即時通訊系統(tǒng)）中，最大并發(fā)用戶數(shù)就是該系統(tǒng)的最大并發(fā)接入能力。由于需要維持長連接胃夏，所以并發(fā)用戶數(shù)多對服務(wù)器資源也是個負擔(dān)（CPU/內(nèi)存/網(wǎng)卡等）
  2.在短連接型系統(tǒng)（如web網(wǎng)站）中轴或，最大并發(fā)用戶數(shù)并不等于該系統(tǒng)的最大并發(fā)介入能力，而是和該系統(tǒng)架構(gòu)仰禀、系統(tǒng)處理能力等情況有關(guān)（請求的處理能力照雁、短連接的釋放時機等考慮）
• 使用
  1.單接口：測試的是這個接口在該并發(fā)用戶數(shù)的情況下的性能
  2.業(yè)務(wù)邏輯：測試業(yè)務(wù)邏輯，需要考慮到系統(tǒng)中不同用戶的不同使用場景答恶，并不是所有用戶都在用系統(tǒng)的同個功能饺蚊。比如說100個在線用戶，有40%在瀏覽商品悬嗓，有30%在下訂單污呼，有30%在支付（比例是瞎掰）

2、錯誤率

• 定義
  系統(tǒng)在負載情況下包竹，請求失敗的比率燕酷。錯誤率 = (失敗請求數(shù) / 總請求數(shù))* 100%，或者 (失敗交易數(shù) / 總交易數(shù))* 100%
• 行業(yè)參考標準
  不同行業(yè)不同業(yè)務(wù)系統(tǒng)周瞎，性能指標中苗缩，對高并發(fā)情況下的錯誤率的要求不一致，但大多不能大于0.06%

3声诸、響應(yīng)時間

• 定義
  簡稱RT挤渐，指的是系統(tǒng)對請求作出響應(yīng)的時間。有兩種理解双絮，一種前端視角浴麻，一種是后端視角：關(guān)注后端的性能測試，基本是接口級別的測試囤攀。所以響應(yīng)時間是從 C 端發(fā)出請求開始計算软免，直到 C 端收到最后一個字節(jié)的響應(yīng)數(shù)據(jù)（也稱之為TTLB，Time to laster byte）焚挠。也就是下圖中的N1+T3+T4+T5+T6+T7+T8m
  圖示

  請求響應(yīng)的過程

• 解釋
  響應(yīng)時間的單位一般為毫秒或秒膏萧。在一個系統(tǒng)中，有很多個功能蝌衔，對應(yīng)不同的接口榛泛，擁有不同的處理邏輯，所以不同的功能的響應(yīng)時間一般不相同噩斟。就算是相同的接口曹锨，可能不同的入?yún)?dǎo)致響應(yīng)時間也不一樣（比如提交表單）。所以剃允，在執(zhí)行系統(tǒng)的性能測試時的響應(yīng)時間沛简，一般指該系統(tǒng)參與性能測試的這些功能的平均響應(yīng)時間齐鲤，或者這些功能中的最大響應(yīng)時間

• 行業(yè)參考標準
  互聯(lián)網(wǎng)上對響應(yīng)時間有一個標準：2-5-10原則
  2秒之內(nèi)得到響應(yīng)，會認為系統(tǒng)響應(yīng)的很快
  5秒之內(nèi)得到響應(yīng)椒楣，會認為系統(tǒng)響應(yīng)的速度還不錯
  10秒之內(nèi)得到響應(yīng)给郊，會認為系統(tǒng)響應(yīng)的速度很糟糕
  超過10秒還未得到響應(yīng)，會認為系統(tǒng)是沒有響應(yīng)的
  本段摘抄自性能測試的指標
  除了這個原則捧灰，還需要根據(jù)不同行業(yè)不同類型系統(tǒng)淆九，不同數(shù)據(jù)量，結(jié)合不同場景來制定性能指標中的響應(yīng)時間毛俏。因為響應(yīng)時間并不能直接說明這個系統(tǒng)的性能高低吩屹，而是取決于在使用場景中，用戶對響應(yīng)時間的接受程度

4拧抖、系統(tǒng)處理能力：HPS煤搜、TPS、QPS

• 定義
  指系統(tǒng)在利用系統(tǒng)硬件平臺和軟件平臺進行信息處理的能力唧席。
  系統(tǒng)處理能力通過系統(tǒng)每秒鐘能夠處理的交易數(shù)量來評價擦盾，交易有兩種理解：一是業(yè)務(wù)人員角度的一筆業(yè)務(wù)過程；二是系統(tǒng)角度的一次交易申請和響應(yīng)過程淌哟。前者稱為業(yè)務(wù)交易過程迹卢，后者稱為事務(wù)。兩種交易指標都可以評價應(yīng)用系統(tǒng)的處理能力徒仓。一般建議與系統(tǒng)交易日志保持一致腐碱，以便于統(tǒng)計業(yè)務(wù)量或者交易量。
• 解釋
  HPS（Hits Per Second）：每秒點擊次數(shù)掉弛，單位是次/秒症见。
  TPS（Transaction per Second）：系統(tǒng)每秒處理交易數(shù)，單位是筆/秒殃饿。
  QPS（Query per Second）：系統(tǒng)每秒處理查詢次數(shù)谋作，單位是次/秒。
  在互聯(lián)網(wǎng)業(yè)務(wù)中乎芳，如果某些業(yè)務(wù)有且僅有一個請求連接遵蚜，那么TPS=QPS=HPS。一般情況下奈惑，用TPS來衡量整個業(yè)務(wù)流程吭净，用QPS來衡量接口查詢次數(shù)，用HPS來表示對服務(wù)器點擊請求肴甸。
• 行業(yè)參考標準
  無論TPS寂殉、QPS、HPS雷滋，此指標是衡量系統(tǒng)處理能力非常重要的指標不撑，越大越好文兢。
  根據(jù)經(jīng)驗晤斩，一般情況下：
  金融行業(yè)：1000TPS~50000TPS焕檬，不包括互聯(lián)網(wǎng)化的活動
  保險行業(yè)：100TPS~100000TPS，不包括互聯(lián)網(wǎng)化的活動
  制造行業(yè)：10TPS~5000TPS
  互聯(lián)網(wǎng)電子商務(wù)：10000TPS~1000000TPS
  互聯(lián)網(wǎng)中型網(wǎng)站：1000TPS~50000TPS
  互聯(lián)網(wǎng)小型網(wǎng)站: 500TPS~10000TPS

5澳泵、吞吐量/Throughput

• 定義
  吞吐量是指系統(tǒng)在單位時間內(nèi)處理請求的數(shù)量实愚。
• 解釋
  對于單用戶的系統(tǒng)，響應(yīng)時間可以很好地度量系統(tǒng)的性能兔辅，但對于并發(fā)系統(tǒng)腊敲，通常需要用吞吐量作為性能指標。
  對于一個多用戶的系統(tǒng)维苔，如果只有一個用戶使用時系統(tǒng)的平均響應(yīng)時間是t碰辅，當?shù)衝個用戶使用時，每個用戶的響應(yīng)時間通常并不是n×t介时，而往往比n×t小很多（不過没宾，在某些特殊情況下也可能比n×t大，甚至大很多）沸柔。
• 一般而言循衰，吞吐量是一個比較通用的指標，兩個具有不同用戶數(shù)和用戶使用模式的系統(tǒng)褐澎，如果其最大吞吐量基本一致会钝，則可以判斷兩個系統(tǒng)的處理能力基本一致。

• Jmeter中吞吐量的計算
  吞吐量 = 總線程數(shù) / 執(zhí)行持續(xù)時間（單位：x個線程/s）
  執(zhí)行持續(xù)時間 = 最后一個線程的啟動時間 + 最后一個線程的持續(xù)時間 - 第一個線程的啟動時間

  
  
  示意圖

二工三、資源性能指標

資源性能指標迁酸，幾種常見的：

• CPU
• 內(nèi)存
• 磁盤IOPS
• 磁盤吐吞量
• 網(wǎng)絡(luò)吐吞量
  在執(zhí)行性能測試時，如果系統(tǒng)是分服務(wù)部署的俭正，那么需要監(jiān)控所測功能接口的服務(wù)器所在的服務(wù)器的資源指標（比如es部署在服務(wù)器A胁出，mysql部署在服務(wù)器B，核心業(yè)務(wù)服務(wù)部署在服務(wù)器C...）段审；如果所有服務(wù)都只在一個服務(wù)器全蝶，那么只需要監(jiān)控該服務(wù)器的資源指標即可

1、CPU/中央處理器

• 定義
  CPU是一塊超大規(guī)模的集成電路寺枉，是計算機的控制核心和運算核心抑淫。功能主要是解釋計算機指令以及處理軟件中的數(shù)據(jù)
• 行業(yè)參考標準
  1.CPU的指標主要是看CPU利用率，監(jiān)控過程注意總的利用率和服務(wù)的利用率（因為兩者未必相等）
  2.CPU總的利用率應(yīng)該少于80%甚至少于75%
• CPU執(zhí)行狀態(tài)（詳情百度）
  1.用戶態(tài)/user
  2.系統(tǒng)態(tài)/sys：要小于等于30%
  3.等待態(tài)/wait：要小于等于5%
  4.空閑態(tài)/idle

2姥闪、內(nèi)存

• 定義
  內(nèi)存是計算機中十分重要的結(jié)構(gòu)之一始苇，是和CPU進行溝通的橋梁。計算機中所有程序的運行都是在內(nèi)存中進行的（進程線程）筐喳，所以內(nèi)存的性能對計算機的性能催式、程序的性能影響非常大函喉。
• swap
  swap空間是虛擬內(nèi)存技術(shù)的一種，可以是硬盤上的一塊區(qū)域荣月，或分區(qū)管呵，或文件，也可以是分區(qū)和文件結(jié)合哺窄。當物理內(nèi)存資源緊張時捐下，操作系統(tǒng)會把一些不常訪問的數(shù)據(jù)存放到swap中，為其他常用的進程騰出物理內(nèi)存萌业，當要訪問swap的數(shù)據(jù)時坷襟，操作系統(tǒng)會再從swap中加載這部分數(shù)據(jù)到內(nèi)存中。
  ps.如今swap空間限制是2G生年，而不是128M

• 行業(yè)參考標準
  一般情況下婴程，服務(wù)器都會配置swap空間。此時抱婉，當內(nèi)存利用率達到100%時档叔，并不代表內(nèi)存有瓶頸，還需要結(jié)合看swap空間的利用率授段，一般情況下蹲蒲，swap空間的利用率要低于70%，太高的話容易導(dǎo)致系統(tǒng)性能降低
  相關(guān)的命令：free -m侵贵、vmstat 3(刷新時間)届搁、swapon -s
  參考：文章1、文章12

3窍育、IOPS

• 定義
  IOPS (Input/Output Per Second)即每秒的輸入輸出量/讀寫次數(shù)卡睦，是衡量磁盤性能的主要指標之一。IOPS是指單位時間內(nèi)系統(tǒng)能處理的I/O請求數(shù)量漱抓，一般以每秒處理的I/O請求數(shù)量為單位表锻，I/O請求通常為讀或?qū)憯?shù)據(jù)操作請求。

• 計算公式
  1乞娄、常見磁盤平均物理尋道時間為：
  7200轉(zhuǎn)/分的STAT硬盤平均物理尋道時間是9ms
  10000轉(zhuǎn)/分的STAT硬盤平均物理尋道時間是6ms
  15000轉(zhuǎn)/分的SAS硬盤平均物理尋道時間是4ms
  2瞬逊、常見硬盤的旋轉(zhuǎn)延遲時間為：
  7200 rpm的磁盤平均旋轉(zhuǎn)延遲大約為601000/7200/2 = 4.17ms
  10000 rpm的磁盤平均旋轉(zhuǎn)延遲大約為601000/10000/2 = 3ms，
  15000 rpm的磁盤其平均旋轉(zhuǎn)延遲約為60*1000/15000/2 = 2ms仪或。
  3确镊、最大IOPS的理論計算方法
  IOPS = 1000 ms/ (尋道時間 + 旋轉(zhuǎn)延遲)》渡荆可以忽略數(shù)據(jù)傳輸時間蕾域。
  7200 rpm的磁盤IOPS = 1000 / (9 + 4.17) = 76 IOPS
  10000 rpm的磁盤IOPS = 1000 / (6+ 3) = 111 IOPS
  15000 rpm的磁盤IOPS = 1000 / (4 + 2) = 166 IOPS

• 行業(yè)參考標準
  IOPS可細分為如下幾個指標：
  Toatal IOPS：混合讀寫和順序隨機I/O負載情況下的磁盤IOPS，這個與實際I/O情況最為相符到旦，大多數(shù)應(yīng)用關(guān)注此指標
  Random Read IOPS：100%隨機讀負載情況下的IOPS旨巷。
  Random Write IOPS：100%隨機寫負載情況下的IOPS巨缘。
  Sequential Read IOPS：100%順序讀負載情況下的IOPS。
  Sequential Write IOPS：100%順序?qū)懾撦d情況下的IOPS采呐。

• 相關(guān)命令
  iostat：查看IO狀態(tài)

4若锁、磁盤吞吐量

• 定義
  磁盤吞吐量/Disk Throughput，指的是磁盤正常情況下懈万，單位時間內(nèi)經(jīng)過磁盤的數(shù)據(jù)量（磁盤寫入和讀出的數(shù)據(jù)量）拴清，也就是每秒磁盤I/O的流量靶病。

• 行業(yè)參考標準
  最能直接反應(yīng)出磁盤是否有瓶頸的依據(jù)会通，就是磁盤的使用率。一般情況下娄周，使用率要低于80%甚至70%

• 相關(guān)命令
  df和du：查看磁盤使用情況
  iostat：查看IO狀態(tài)

磁盤IOPS和磁盤吞吐量

• 計算
  每秒 I/O 吞吐量＝ (IOPS) * (平均 I/O SIZE)涕侈。
  從公式可以看出： (I/O SIZE 越大)，IOPS 越高煤辨，那么每秒 I/O 的吞吐量就越高裳涛。因此，我們會認為 IOPS 和吞吐量的數(shù)值越高越好众辨。
  實際上端三，對于一個磁盤來講，這兩個參數(shù)均有其最大值鹃彻，有上限郊闯，而且這兩個參數(shù)也存在著一定的關(guān)系。

• 場景
  1.追求吞吐量的場景：讀取1個10MB文件蛛株，用時0.2秒 Throught(吞吐量)=50MB/s, IOPS=5
  2.追求IOPS的場景：讀取10000個1KB文件团赁，用時10秒 Throught(吞吐量)=1MB/s ，IOPS=1000/s

5谨履、網(wǎng)絡(luò)吞吐量

• 定義
  網(wǎng)絡(luò)吞吐量/Network Throughput欢摄，是指在正常情況下單位時間內(nèi)通過的網(wǎng)絡(luò)的數(shù)據(jù)數(shù)量，單位為Byte/s笋粟。
  網(wǎng)絡(luò)吞吐量指標用于衡量系統(tǒng)對于網(wǎng)絡(luò)設(shè)備或鏈路傳輸能力的需求怀挠。
  當網(wǎng)絡(luò)吞吐量指標接近網(wǎng)絡(luò)設(shè)備或鏈路最大傳輸能力時，則需要考慮升級網(wǎng)絡(luò)設(shè)備害捕。

• 行業(yè)參考標準
  網(wǎng)絡(luò)吞吐量一般情況下不能超過設(shè)備或鏈路的最大傳輸能力的70%

• ipraf命令
  安裝使用
  命令詳解

三绿淋、數(shù)據(jù)庫指標

• 常用的數(shù)據(jù)庫指標：

• 行業(yè)參考標準
  1.執(zhí)行SQL耗時越小越好，一般是微妙級
  2.鎖等待次數(shù)越少越好吨艇，鎖等待時間越短越好
  3.命中率越高越好躬它，一般不能低于95%

• 實踐
  筆者在性能測試實踐中，在mysql方面的關(guān)注點：
  1.執(zhí)行sql耗時
  2.數(shù)據(jù)庫的連接數(shù)
  3.數(shù)據(jù)庫鎖
  上面三種指標东涡，彼此相互影響冯吓，可以通過打點輸出日志來監(jiān)控

• 緩存的利弊
  mysql查詢緩存可以改善性能倘待，但是使用的時候需要注意：開啟查詢緩存后，讀寫會增加額外的開銷组贺。因為讀的時候凸舵，會先去查詢緩存；寫的時候失尖，在寫入數(shù)據(jù)后需要更新緩存啊奄。不過，一般情況下這些消耗都相對比較小掀潮，所以查詢緩存一般情況下還是優(yōu)大于弊菇夸。當然，最終是否需要開啟查詢緩存仪吧，需要結(jié)合業(yè)務(wù)的需求庄新。

• 擴充知識
  性能測試：數(shù)據(jù)庫

四、中間件指標

常用的中間件例如Tomcat薯鼠、Weblogic等指標主要包括JVM, ThreadPool, JDBC,具體如下：

• 行業(yè)參考標準：
  1.當前正在運行的線程數(shù)不能超過設(shè)定的最大值择诈。一般情況下系統(tǒng)性能較好的情況下，線程數(shù)最小值設(shè)置50和最大值設(shè)置200比較合適出皇。
  2.當前運行的JDBC連接數(shù)不能超過設(shè)定的最大值羞芍。一般情況下系統(tǒng)性能較好的情況下，JDBC最小值設(shè)置50和最大值設(shè)置200比較合適郊艘。
  3.GC 頻率不能頻繁荷科，特別是FULL GC更不能頻繁，一般情況下系統(tǒng)性能較好的情況下暇仲，JVM最小堆大小和最大堆大小分別設(shè)置1024M比較合適步做。

五、穩(wěn)定性指標

• 定義
  穩(wěn)定性測試一般是在系統(tǒng)最大容量的80%或者系統(tǒng)預(yù)期日常壓力下進行的奈附，關(guān)注的指標有：TPS曲線全度、資源指標變動、最短的穩(wěn)定時間

• 解釋
  最短穩(wěn)定時間是基于下面兩點得出：
  1.TPS曲線穩(wěn)定斥滤，沒有太大的波動
  2.資源指標沒有出現(xiàn)泄漏等異常情況

• 行業(yè)參考標準
  對于不同使用率的系統(tǒng)将鸵，最短穩(wěn)定時間有不同的要求：
  1.對于日常工作使用的系統(tǒng)（運行8-9小時），最短穩(wěn)定時間至少要8個小時
  2.對于7*24小時運行的系統(tǒng)佑颇，最短穩(wěn)定時間至少要24小時顶掉，并且需要考慮到使用高峰期。
  如果系統(tǒng)不能穩(wěn)定運行挑胸，上線之后痒筒，隨著業(yè)務(wù)的增長，以及長時間的系統(tǒng)運行，將會出現(xiàn)性能下降簿透，甚至有系統(tǒng)崩潰的風(fēng)險

六移袍、可擴展性指標

• 定義
  可擴展性指的是系統(tǒng)在以集群方式進行部署時，增加的硬件資源和增加的性能指標之間的關(guān)系
• 計算公式
  擴展指標 = ( 增加的性能 / 之前的性能) / ( 增加的資源 / 之前的資源) *100%
• 解釋
  擴展能力是通過多輪的資源增加以及對應(yīng)的性能測試來得出的指標趨勢圖老充。擴展能力非常好的系統(tǒng)葡盗，擴展指標應(yīng)該是線性的或者接近線性的。
• 行業(yè)參考標準
  理想的擴展能力是資源增加幾倍啡浊，那么性能增加至少是其70%

七觅够、可靠性指標

從你系統(tǒng)可靠性指標度量分析時，可以從三類進行：

• 雙機熱備
• 集群
• 備份和恢復(fù)

1巷嚣、雙機熱備

對于將雙機熱備作為可靠性保障手段的系統(tǒng)喘先，可衡量的指標如下：

• 節(jié)點切換是否成功及其消耗時間。
• 雙機切換是否有業(yè)務(wù)中斷涂籽。
• 節(jié)點回切是否成功及其耗時苹祟。
• 雙機回切是否有業(yè)務(wù)中斷砸抛。
• 節(jié)點回切過程中的數(shù)據(jù)丟失量在進行雙機切換的同時评雌，使用壓力發(fā)生工具模擬實際業(yè)務(wù)發(fā)生情況，對應(yīng)用保持一定的性能壓力直焙，保證測試結(jié)果符合生產(chǎn)實際情況景东。

2、集群

對于使用集群方式的系統(tǒng)奔誓，主要通過以下方式考量其集群可靠性：

• 集群中某個節(jié)點出現(xiàn)故障時斤吐，系統(tǒng)是否有業(yè)務(wù)中斷情況出現(xiàn)
• 在集群中新增一個節(jié)點時，是否需要重啟系統(tǒng)
• 當故障節(jié)點恢復(fù)后厨喂，加入集群和措，是否需要重啟系統(tǒng)
• 當故障節(jié)點恢復(fù)后，加入集群蜕煌，系統(tǒng)是否有業(yè)務(wù)中斷情況出現(xiàn)
• 節(jié)點切換需要多長時間在驗證集群可靠性的同時派阱，需根據(jù)具體情況使用壓力工具模擬實際業(yè)務(wù)發(fā)生相關(guān)情況，對應(yīng)用保持一定的性能壓力斜纪，確保測試結(jié)果符合生產(chǎn)實際情況贫母。

3、備份和恢復(fù)

本指標為了驗證系統(tǒng)的備份/恢復(fù)機制是否有效可靠盒刚，包括系統(tǒng)的備份和恢復(fù)腺劣、數(shù)據(jù)庫的備份和恢復(fù)、應(yīng)用的- - 備份和恢復(fù)因块，包括以下測試內(nèi)容：

• 備份是否成功及其消耗時間橘原。
• 備份是否使用腳本自動化完成。
• 恢復(fù)是否成功及其消耗時間。
• 恢復(fù)是否使用腳本自動化完成指標體系的運用原則趾断。
• 指標項的采用和考察取決于對相應(yīng)系統(tǒng)的測試目的和測試需求寨辩。被測系統(tǒng)不一樣，測試目的不一樣歼冰，測試需求也不一樣靡狞，考察的指標項也有很大差別。
• 部分系統(tǒng)涉及額外的前端用戶接入能力的隔嫡，需要考察用戶接入并發(fā)能力指標甸怕。
• 對于批量處理過程的性能驗證，主要考慮批量處理效率并估算批量處理時間窗口腮恩。
• 如測試目標涉及到系統(tǒng)性能容量梢杭，測試需求中應(yīng)根據(jù)相關(guān)指標項的定義，明確描述性能指標需求秸滴。
• 測試指標獲取后武契，需說明相關(guān)的前提條件（如在多少的業(yè)務(wù)量、系統(tǒng)資源情況等）荡含。

總結(jié)

上面所描述的一些點咒唆，比如說：可擴展性指標、可靠性指標释液，甚至中間件指標等全释，都是在大部分公司大部分項目中是不會去進行的，但是從產(chǎn)品的整體性能和質(zhì)量保證的角度來看误债，卻是必須要關(guān)注的浸船。
工作過程中，制定什么樣的測試方案寝蹈，需要關(guān)注哪些指標李命，需要結(jié)合項目實際情況（包括但不僅限于產(chǎn)品需求、項目時間箫老、可提供設(shè)備封字、人員素質(zhì)等方面）

PS.本文整理自性能專題：一文搞懂性能測試常見指標