作者介紹：Robben宿百，騰訊高級(jí)開發(fā)工程師趁仙。工作多年，長(zhǎng)期從事后臺(tái)的開發(fā)垦页、架構(gòu)設(shè)計(jì)雀费、優(yōu)化等方面的相關(guān)工作。商業(yè)轉(zhuǎn)載請(qǐng)聯(lián)系騰訊WeTest獲得授權(quán)痊焊，非商業(yè)轉(zhuǎn)載請(qǐng)注明出處盏袄。

WeTest導(dǎo)讀

對(duì)技術(shù)人員來(lái)說(shuō)，知其然還需知其所以然——搞清技術(shù)的底層機(jī)制薄啥、弄明白問題的深層次原因貌矿、知悉解決方案的適用場(chǎng)景，是每個(gè)開發(fā)人員應(yīng)有的技術(shù)素養(yǎng)罪佳，也是個(gè)人發(fā)展上積累功底、產(chǎn)品生命上維持穩(wěn)定所必須的黑低。

問題背景

8月推送的《當(dāng)壓測(cè)遇見奧運(yùn) ——游戲服務(wù)器如何在上線時(shí)面對(duì)用戶的洪荒之力》中提到了機(jī)器人模擬測(cè)試是對(duì)各類已有的壓力測(cè)試方法做了一個(gè)平衡赘艳， 通過高還原真實(shí)玩家的用戶行為酌毡，模擬高并發(fā)場(chǎng)景，從而得到類似很多人同時(shí)游戲的測(cè)試效果蕾管。
其中通過模擬機(jī)器人測(cè)試有四個(gè)優(yōu)勢(shì)：
1枷踏、 高還原游戲玩法，深度模擬真實(shí)用戶行為掰曾；
2旭蠕、 并發(fā)性不受限制，從1W到10W旷坦，壓力能夠自主設(shè)置掏熬；
3、 可以反復(fù)執(zhí)行秒梅，便于性能調(diào)優(yōu)回歸旗芬；
4、 實(shí)現(xiàn)7*24小時(shí)不斷監(jiān)控捆蜀。
在開發(fā)提交代碼之后疮丛，版本在自動(dòng)編譯之后就跑新的測(cè)試，這樣每天都能進(jìn)行性能監(jiān)控辆它，在調(diào)優(yōu)方面誊薄，完全的進(jìn)行一個(gè)重復(fù)性測(cè)試，可以不斷的進(jìn)行回歸和調(diào)優(yōu)锰茉。這個(gè)方法的問題就在于機(jī)器人模擬需要專人開發(fā)呢蔫，對(duì)測(cè)試者的開發(fā)能力，分析能力都有一個(gè)比較高的要求洞辣。

而要開發(fā)一款進(jìn)行服務(wù)器性能測(cè)試的機(jī)器人咐刨，需要通過建模、分析扬霜、開發(fā)三個(gè)步驟定鸟，那么今天我們就要來(lái)介紹一下，具體在開發(fā)服務(wù)器性能測(cè)試機(jī)器人的時(shí)候著瓶，如何讓它表現(xiàn)的更像人联予？有更加平穩(wěn)和正常的表現(xiàn)？

為了讓介紹的內(nèi)容更加形象和具有說(shuō)服力材原，我從我們自己的產(chǎn)品開始介紹沸久，扒一扒騰訊WeTest服務(wù)器性能測(cè)試在開發(fā)機(jī)器人的過程中遇到的一些坑。

WeTest平臺(tái)的服務(wù)器壓測(cè)余蟹，支持用戶在一個(gè)測(cè)試用例中定義遞增的機(jī)器人數(shù)量卷胯，通過逐步增壓的方式威酒，來(lái)探索服務(wù)器的實(shí)際承受能力窑睁。從下圖的機(jī)器人壓力曲線圖可以獲取直觀的概念：

曲線統(tǒng)計(jì)的是每個(gè)時(shí)刻連接到服務(wù)器并且進(jìn)行業(yè)務(wù)數(shù)據(jù)收發(fā)包的在線機(jī)器人個(gè)數(shù)挺峡，由曲線看上去，可以感受到壓力是平穩(wěn)遞增的（中間有微小下跌担钮，是因?yàn)楫?dāng)前的模式下橱赠，會(huì)在不同的階段更新和重啟機(jī)器人，這個(gè)也是后面會(huì)優(yōu)化之處）箫津。然而狭姨，為了在測(cè)試結(jié)果報(bào)告中畫出這樣一張合理的圖，也是經(jīng)歷了幾番折騰苏遥，總結(jié)一下饼拍，還是蠻有意思的。

優(yōu)化歷程

對(duì)于上圖描述的同一個(gè)壓力逐漸遞增的測(cè)試用例暖眼，經(jīng)過了許多版本的迭代才能得到最終的效果惕耕，最早版本的機(jī)器人壓力曲線，統(tǒng)計(jì)生成后出現(xiàn)了這樣的問題：

【問題】模擬機(jī)器人在開始的十幾秒內(nèi)诫肠，壓力還算有些頭緒司澎，后面某個(gè)時(shí)刻，就經(jīng)歷了急劇的下跌栋豫，之后就完全無(wú)規(guī)律可循了挤安。

【分析】經(jīng)過定位，這個(gè)階段的問題是丧鸯，我們的壓力測(cè)試工具在響應(yīng)包較大時(shí)蛤铜，會(huì)出現(xiàn)接收緩存區(qū)數(shù)據(jù)被并發(fā)寫入而數(shù)據(jù)污染的情況，導(dǎo)致程序core掉丛肢。經(jīng)過快速的修改調(diào)試围肥，問題終于被修復(fù)。OK蜂怎，壓力曲線應(yīng)該會(huì)比較平穩(wěn)了吧穆刻。

然而理想很豐滿，現(xiàn)實(shí)很骨感杠步，模擬機(jī)器人依然存在問題：
【問題】在大概二十秒內(nèi)的時(shí)間氢伟，還是比較平穩(wěn)地增增減減，維持在一個(gè)穩(wěn)定的水平幽歼。然后到二十秒后朵锣，又會(huì)出現(xiàn)急劇地下降，壓力上不去甸私，大概半分鐘后诚些，反撲，上升皇型，沒多久再急劇下降泣刹。助析。。

【分析】首先查看壓力工具的運(yùn)行邏輯椅您，一切正常；程序寡键，沒core掀泳，一切正常；日志錯(cuò)誤西轩，沒有员舵，一切正常。那壓力為何上不去呢藕畔？查看系統(tǒng)的各種運(yùn)行時(shí)數(shù)據(jù)马僻，終于發(fā)現(xiàn)了問題所在：

原因1：由于咱們的機(jī)器是部署在合作伙伴騰訊云這里的，機(jī)器拿到后也并未進(jìn)行大的配置調(diào)整注服，所以系統(tǒng)默認(rèn)可用的端口范圍還是比較小的韭邓，如下圖：

而作為一個(gè)模擬機(jī)器人的壓力機(jī)，必然會(huì)在短時(shí)間內(nèi)并發(fā)和服務(wù)器建立大量的連接溶弟，所以本地的端口號(hào)是必須大一點(diǎn)的女淑，直接改文件，增加范圍辜御，搞定：

原因2：其實(shí)就是經(jīng)典到有些老生常談的TCP timewait問題了鸭你。因?yàn)槲覀儔毫C(jī)的機(jī)器人，會(huì)并發(fā)建立很多短連接擒权，并且每次都由機(jī)器人主動(dòng)斷開短連接袱巨，所以導(dǎo)致系統(tǒng)中存在大量的timewait連接。直接結(jié)果就是沒法建立新的連接碳抄，在線機(jī)器人數(shù)量上不去愉老。

這里簡(jiǎn)單地提兩個(gè)要點(diǎn)：
a) timewait是在TCP連接的主動(dòng)發(fā)起方才有的狀態(tài)，一句話概況纳鼎，它是為了防止“主動(dòng)斷開連接方發(fā)送的最后一個(gè)ACK包異常俺夕，導(dǎo)致被動(dòng)關(guān)閉防會(huì)重發(fā)FIN請(qǐng)求，影響該四元組上的下一個(gè)連接的正確性”這一問題而設(shè)計(jì)的贱鄙，通過主動(dòng)關(guān)閉方等待2*MSL劝贸，即兩倍的報(bào)文生存期的時(shí)長(zhǎng)來(lái)避免。如此逗宁，報(bào)文一來(lái)一回的時(shí)間都等完了映九，大概率保證了確實(shí)沒異常了。繼而瞎颗，系統(tǒng)中也就常常會(huì)出現(xiàn)大量的timewait連接件甥。

b) 解決的方法捌议，一般是把兩個(gè)內(nèi)核參數(shù)：net.ipv4.tcp_tw_recycle、net.ipv4.tcp_tw_reuse都改為1引有，前者指啟動(dòng)time wait連接的快速回收瓣颅，后者指讓time wait的四元組可以快速用于新連接。
然而兩個(gè)優(yōu)化都是有需要注意之處的：
對(duì)于第一個(gè)參數(shù)譬正，當(dāng)它置1后宫补，為了解決timewait設(shè)計(jì)時(shí)出發(fā)點(diǎn)的風(fēng)險(xiǎn)，新來(lái)的連接請(qǐng)求在如下情況會(huì)被拒掉：同一客戶端IP在某時(shí)間窗內(nèi)的新連接時(shí)間戳變小曾我。雖然一般是不會(huì)存在這種情況的粉怕，但是，對(duì)于NAT而言抒巢，則天然容易出現(xiàn)這個(gè)問題：A連接服務(wù)器 -->B連接服務(wù)器 --> B 先被accept --> A（同一NAT IP）請(qǐng)求到了服務(wù)器 --> A請(qǐng)求被據(jù)贫贝。
對(duì)于第二個(gè)參數(shù)，一般認(rèn)為蛉谜，它不太能解決純服務(wù)端的資源占用問題稚晚，因?yàn)樗脑M雖然能用了，但資源還是沒釋放悦陋；但對(duì)于有客戶端性質(zhì)的情況是適用的蜈彼，如連接mysql的服務(wù)端php進(jìn)程。
了解了這些之后俺驶，我們的壓力機(jī)幸逆，既不存在要響應(yīng)NAT過來(lái)的客戶端請(qǐng)求的情況，又不存在服務(wù)器端的特點(diǎn)暮现，所以天然是非常適合用這兩個(gè)內(nèi)核參數(shù)的優(yōu)化的还绘。
經(jīng)過這一輪系統(tǒng)參數(shù)的優(yōu)化后，在線機(jī)器人數(shù)量基本穩(wěn)定了：

因?yàn)槭嵌踢B接栖袋，所以在線機(jī)器人的數(shù)量曲線并不是水平的拍顷，但至少可以一直保持較高的并發(fā)。更進(jìn)一步塘幅，我們?cè)诋a(chǎn)品的實(shí)現(xiàn)層面又做了優(yōu)化昔案，開放長(zhǎng)短連接配置給用戶，同時(shí)對(duì)于HTTP協(xié)議的簡(jiǎn)單模式电媳，仿照真實(shí)的瀏覽器行為踏揣，將默認(rèn)行為置為長(zhǎng)連接。這樣匾乓，就會(huì)出現(xiàn)文章開頭的理想曲線了：

總結(jié)感受

其實(shí)本文中的優(yōu)化只是非常小的一個(gè)點(diǎn)捞稿，也沒有什么驚心動(dòng)魄的過程與艱深晦澀的理論，幾輪優(yōu)化著手點(diǎn)涉及的概念范疇也雜，但卻是一個(gè)真實(shí)的逐步解決問題的典型娱局。
在這個(gè)網(wǎng)絡(luò)發(fā)達(dá)彰亥，信息爆炸的時(shí)代，基本上對(duì)于每個(gè)技術(shù)點(diǎn)或者問題衰齐，都可以迅速地獲取到大量資料任斋。關(guān)鍵是對(duì)于技術(shù)的實(shí)現(xiàn)原理和問題的解決方案，卻不能僅僅知其然耻涛，還必須知其所以然——搞清技術(shù)的底層機(jī)制仁卷、弄明白問題的深層次原因、知悉解決方案的適用場(chǎng)景犬第，是每個(gè)開發(fā)人員應(yīng)有的技術(shù)素養(yǎng)，也是個(gè)人發(fā)展上積累功底芒帕、產(chǎn)品生命上維持穩(wěn)定所必須的歉嗓。

而騰訊WeTest的壓力測(cè)試團(tuán)隊(duì)正是運(yùn)用了沉淀十多年的內(nèi)部實(shí)踐經(jīng)驗(yàn)總結(jié)，通過基于真實(shí)業(yè)務(wù)場(chǎng)景和用戶行為進(jìn)行壓力測(cè)試背蟆，推出一套面向游戲業(yè)務(wù)的綜合性應(yīng)用性能管理解決方案鉴分，該方案旨在幫助游戲開發(fā)者發(fā)現(xiàn)服務(wù)器端的性能瓶頸，進(jìn)行針對(duì)性的性能調(diào)優(yōu)带膀，降低服務(wù)器采購(gòu)和維護(hù)成本志珍，提高用戶留存和轉(zhuǎn)化率。

目前騰訊WeTest服務(wù)器性能測(cè)試已經(jīng)正式對(duì)外開放垛叨，業(yè)務(wù)場(chǎng)景模擬伦糯，持續(xù)壓力觸達(dá)服務(wù)器極限，幫助尋找服務(wù)器性能問題嗽元！點(diǎn)擊鏈接：http://wetest.qq.com/gaps/立即體驗(yàn)敛纲！