關(guān)于自動(dòng)化測(cè)試的定位及一些思考

? ? ? ? 大家對(duì)自動(dòng)化的理解，首先是想到Web UI自動(dòng)化侍芝，這就為什么我一說(shuō)自動(dòng)化，公司一般就會(huì)有很多人反對(duì)埋同，因?yàn)樽詣?dòng)化的成本實(shí)在太高了州叠，其實(shí)自動(dòng)化是分為三個(gè)層面的（UI層自動(dòng)化、接口自動(dòng)化凶赁、單元測(cè)試）咧栗，不是每個(gè)層面的自動(dòng)化都是遙不可及的，以下標(biāo)示一下這三個(gè)層面的難易程度（網(wǎng)上叫這個(gè)為自動(dòng)化金字塔）：

? ? ? ? 基本上可以肯定的是虱肄，單元測(cè)試是成本最低的致板，也是最容易推廣，見(jiàn)效最大的咏窿，但是很多公司不會(huì)投入這塊斟或，原因是因?yàn)楝F(xiàn)在大部分公司都是人才短缺，特別是成手的研發(fā)人員集嵌。你說(shuō)投入到項(xiàng)目實(shí)際開(kāi)發(fā)工作的人員都嫌不夠萝挤，怎么可能抽出相關(guān)人力去做單元測(cè)試。而以目前大部分公司的測(cè)試團(tuán)隊(duì)人員構(gòu)成來(lái)說(shuō)根欧，能做單元測(cè)試的基本沒(méi)有（有也被抽去做開(kāi)發(fā)了）怜珍，這也是大家一致認(rèn)為單元測(cè)試屬于開(kāi)發(fā)職責(zé)的原因（除了他們自己沒(méi)人能做了）。

單元測(cè)試如果做不了凤粗，那么接口（API或Service）自動(dòng)化測(cè)試能做不酥泛？這個(gè)只要有一定的技術(shù)基礎(chǔ)還是能做的，至少有一部分測(cè)試人員是能夠做接口測(cè)試的（話(huà)說(shuō)性能測(cè)試就屬于一種接口自動(dòng)化），如果能自主開(kāi)發(fā)或直接引進(jìn)一套像樣的接口自動(dòng)化工具或框架（工具上來(lái)說(shuō)柔袁，市面上也不少）呆躲，那么就可以開(kāi)展這部分的工作，我相信大部分公司能做好的自動(dòng)化測(cè)試瘦馍，應(yīng)該也是基于這一層的（所以我們建議有條件的話(huà)歼秽，自動(dòng)化測(cè)試可以先在這一層面開(kāi)層应役，當(dāng)然前提是真有那么多接口或服務(wù)需要測(cè)試）情组。接口自動(dòng)化測(cè)試框架應(yīng)該具有以下功能，根據(jù)復(fù)雜度和各自需求而定：

1箩祥、校驗(yàn)

這個(gè)很好了解院崇，如果沒(méi)有校驗(yàn)，單純的執(zhí)行接口的話(huà)袍祖，那就談不上測(cè)試了底瓣。所以支持對(duì)返回值校驗(yàn)是一個(gè)必須的功能。

2蕉陋、數(shù)據(jù)隔離

數(shù)據(jù)隔離就是指具體的請(qǐng)求接口捐凭、參數(shù)、校驗(yàn)等數(shù)據(jù)做到與代碼相隔離凳鬓，便于維護(hù)茁肠，一旦需要調(diào)整接口用例、新增接口用例時(shí)可很快速的找到位置缩举，隔離的另一個(gè)好處就是可復(fù)用垦梆，框架可以推廣給其他團(tuán)隊(duì)，使用者可以使用相同的代碼仅孩，只需要根據(jù)要求填寫(xiě)各自用例即可測(cè)試起來(lái)托猩。

3、數(shù)據(jù)傳遞

做到數(shù)據(jù)隔離可維護(hù)后辽慕，數(shù)據(jù)傳遞是另外一個(gè)更重要的需求京腥。

數(shù)據(jù)傳遞是指接口用例之間可以做到向下傳參，例如我們通過(guò)創(chuàng)建訂單接口創(chuàng)建一個(gè)訂單溅蛉，該接口會(huì)返回一個(gè)訂單號(hào)公浪，接下來(lái)我們要進(jìn)行調(diào)用查詢(xún)訂單的接口，從返回的數(shù)據(jù)中與創(chuàng)建訂單用例中的數(shù)據(jù)進(jìn)行校驗(yàn)温艇，此時(shí)第二個(gè)接口的請(qǐng)求數(shù)據(jù)是需要從第一個(gè)接口用例中的返回中提取的因悲。這樣的例子比比皆是，所以支持?jǐn)?shù)據(jù)傳遞是又一個(gè)必不可少的功能勺爱。

4晃琳、動(dòng)態(tài)函數(shù)

實(shí)際用例場(chǎng)景中我們可能會(huì)有隨機(jī)生成一個(gè)手機(jī)號(hào)、字符串加密等需求，在數(shù)據(jù)與代碼隔離之后卫旱，此時(shí)我們就需要代碼可以支持做到識(shí)別對(duì)應(yīng)關(guān)鍵字時(shí)可以執(zhí)行對(duì)應(yīng)的函數(shù)進(jìn)行填充人灼。例如在數(shù)據(jù)中填寫(xiě)nowTime()時(shí)，具體執(zhí)行時(shí)會(huì)被替換成當(dāng)前時(shí)間顾翼，填寫(xiě)random(5)時(shí)投放，會(huì)被替換成一個(gè)五位的隨機(jī)數(shù)等等。

5适贸、可配置

有時(shí)灸芳，我們的需求是用例不單單只能在一個(gè)環(huán)境上執(zhí)行，可能需要同一份接口用例可以在QA拜姿、預(yù)發(fā)烙样、線(xiàn)上等多個(gè)環(huán)境都可以執(zhí)行。所以框架需要做到可配置蕊肥，便于切換谒获，調(diào)用不同的配置文件可以在不同的環(huán)境執(zhí)行。

6壁却、日志

日志包含執(zhí)行的具體執(zhí)行接口批狱、請(qǐng)求方式、請(qǐng)求參數(shù)展东、返回值赔硫、校驗(yàn)接口、請(qǐng)求時(shí)間琅锻、耗時(shí)等關(guān)鍵信息卦停，日志的好處一來(lái)是可以便于在新增用例有問(wèn)題時(shí)快速定位出哪里填寫(xiě)有問(wèn)題，二來(lái)是發(fā)現(xiàn)bug時(shí)方便向開(kāi)發(fā)反饋提供數(shù)據(jù)恼蓬，開(kāi)發(fā)可以從觸發(fā)時(shí)間以及參數(shù)等信息快速定位到問(wèn)題所在惊完。

7、可視化報(bào)告

用例執(zhí)行后处硬，就是到了向團(tuán)隊(duì)展示結(jié)果的時(shí)候了小槐，一個(gè)可視化的報(bào)告可以便于團(tuán)隊(duì)成員了解到每次自動(dòng)化接口用例執(zhí)行的成功數(shù)、失敗數(shù)等數(shù)據(jù)荷辕。

8凿跳、用例驅(qū)動(dòng)

（1）用例的驅(qū)動(dòng)模式，涉及到怎么存放測(cè)試數(shù)據(jù)疮方，怎么描述用例控嗜，又如何復(fù)用；

（2）考慮到效率的話(huà)還要支持并發(fā)骡显；

（3）當(dāng)然測(cè)試報(bào)告不能光記錄成功和失敗疆栏，還有用例執(zhí)行耗時(shí)曾掂、接口調(diào)用耗時(shí)、場(chǎng)景的通過(guò)率等各項(xiàng)數(shù)值的統(tǒng)計(jì)壁顶。

? ? ? ? 說(shuō)完單元測(cè)試珠洗、接口測(cè)試的自動(dòng)化，我們現(xiàn)在來(lái)說(shuō)說(shuō)UI層自動(dòng)化測(cè)試若专，這也是一直很火并且也是自動(dòng)化概念先入為主的一塊许蓖，畢竟市面上有不少成熟的自動(dòng)化工具，如QTP调衰、Selenium等膊爪。這塊自動(dòng)化一定是會(huì)有測(cè)試團(tuán)隊(duì)參與的，就算自動(dòng)化框架是由開(kāi)發(fā)來(lái)完成窖式，那么具體測(cè)試工作也是由Tester全程參與的蚁飒。UI層自動(dòng)化測(cè)試真的不容易推行，無(wú)論有多么完善的自動(dòng)化框架萝喘，在這一塊維護(hù)的成本也是非常高的，特別是懂開(kāi)發(fā)的人不懂測(cè)試琼懊，懂測(cè)試的人不懂開(kāi)發(fā)阁簸，這一矛盾現(xiàn)象所帶來(lái)的內(nèi)部消耗就不少，再加上項(xiàng)目需求和UI層都在頻繁變動(dòng)哼丈，而且Web UI技術(shù)越來(lái)越復(fù)雜和多元化（UI層自動(dòng)化需要基于對(duì)象識(shí)別技術(shù)）启妹，這些都導(dǎo)致很多公司不愿意投入這一塊。即使這樣醉旦，做為一個(gè)有上進(jìn)心的測(cè)試人員饶米，我們也是需要多想想這一塊，畢竟這是離我們測(cè)試最近的一塊“技術(shù)沃土”了（之一）车胡。

現(xiàn)在我們來(lái)重點(diǎn)來(lái)談下Web UI自動(dòng)化測(cè)試（目前的系統(tǒng)大都通過(guò)Web UI來(lái)展示）檬输，一般成熟一點(diǎn)的自動(dòng)化工具方案大體是這樣：

1、開(kāi)發(fā)語(yǔ)言：Python或Java匈棘；

2丧慈、開(kāi)源測(cè)試框架：Selenium WebDriver；

3主卫、Web元素定位：Xpath+cssSelector+findElement或findElements方法逃默；

　　具體實(shí)施細(xì)節(jié)來(lái)講重點(diǎn)是針對(duì)Web UI自動(dòng)化測(cè)試的特點(diǎn)，將各層包裝簇搅，分而治之的思想完域，各自相互獨(dú)立，職責(zé)定義清楚瘩将，下面簡(jiǎn)要說(shuō)明下：

1吟税、測(cè)試用例業(yè)務(wù)流操作實(shí)現(xiàn)及測(cè)試數(shù)據(jù)分離管理关噪；

2、頁(yè)面元素定位及頁(yè)面元素的操作分離乌妙；

3使兔、可視化的日志查詢(xún)系統(tǒng)；

4藤韵、跨瀏覽器支持如：IE,Firefox,Chrome虐沥；

5、可視化的的測(cè)試報(bào)告泽艘，可以具體查詢(xún)到日志/截圖等欲险；

6、實(shí)現(xiàn)了通過(guò)Excel的數(shù)據(jù)驅(qū)動(dòng)管理匹涮；

7天试、郵件發(fā)送管理，可以自定義具體時(shí)間及接受者等然低；

? ? ? ? 以上是一般Web UI自動(dòng)化測(cè)試的一些實(shí)踐要求喜每，當(dāng)然也是相對(duì)簡(jiǎn)易的，復(fù)雜的就是實(shí)現(xiàn)平臺(tái)化管理雳攘，每天測(cè)試工程師带兜，只需要選擇具體項(xiàng)目、所測(cè)的測(cè)試用例集吨灭，然后執(zhí)行刚照，輸出測(cè)試報(bào)告，郵件自動(dòng)發(fā)送到相關(guān)開(kāi)發(fā)/測(cè)試喧兄，框架的開(kāi)發(fā)維護(hù)上也能夠持續(xù)集成无畔。

? ? ? ? 說(shuō)完了這三個(gè)層面的自動(dòng)化測(cè)試，那么我們?cè)賮?lái)分析一下吠冤，到底應(yīng)該優(yōu)先開(kāi)展哪個(gè)層面的自動(dòng)化測(cè)試浑彰，到底是哪個(gè)投入產(chǎn)出比最高，以下分享一篇網(wǎng)上文章的部分內(nèi)容咨演，人家已經(jīng)給了答案：

眾所周知闸昨，軟件測(cè)試的邊際成本會(huì)隨著缺陷探測(cè)率的提高而提高，這就是軟件測(cè)試的基本公理之一"測(cè)試的不可窮盡性"的經(jīng)濟(jì)學(xué)體現(xiàn)薄风。這一規(guī)律也適用于自動(dòng)化測(cè)試饵较，也就是說(shuō)隨著自動(dòng)化覆蓋率的提升，自動(dòng)化的成本也呈現(xiàn)指數(shù)式上升遭赂。按照這個(gè)思路進(jìn)行拓展循诉，可以分析下單元測(cè)試，集成測(cè)試和UI測(cè)試的自動(dòng)化成本曲線(xiàn)如圖2所示撇他。與通常理解的一致茄猫，為了達(dá)到相同的自動(dòng)化率(x0)狈蚤，UI的成本最高、其次是API划纽，Unit則最低脆侮。

經(jīng)濟(jì)學(xué)中有另外一個(gè)著名的理論叫做邊際效益遞減。當(dāng)做一項(xiàng)投資勇劣，隨著投資量的增加靖避，單位投資增量所帶來(lái)的單位收益是越來(lái)越少的，甚至在某個(gè)臨界點(diǎn)之后比默，這個(gè)收益有可能是負(fù)數(shù)幻捏。而這個(gè)零界點(diǎn)，就是投資收益最大的點(diǎn)命咐。在這個(gè)點(diǎn)之前的所有投資篡九，都可以擴(kuò)大總收益，而在超過(guò)之后繼續(xù)進(jìn)行投資醋奠，就不那么明智了榛臼。

? ? ? ? ?圖2 ?自動(dòng)化成本/收益曲線(xiàn)

按照這個(gè)思路，在圖2上钝域，針對(duì)三種不同類(lèi)型的自動(dòng)化測(cè)試讽坏，可以獲得三個(gè)零界點(diǎn)。而總收益最大的點(diǎn)在接口測(cè)試上例证，隨后是單元測(cè)試，UI測(cè)試則最低迷捧。

如果從測(cè)試效果上看织咧，接口測(cè)試和UI/單元測(cè)試相比，有很多優(yōu)勢(shì)漠秋。 對(duì)于單元測(cè)試來(lái)說(shuō)笙蒙，通常單元測(cè)試是針對(duì)代碼進(jìn)行的測(cè)試，而接口測(cè)試是在測(cè)試一個(gè)活的庆锦，經(jīng)過(guò)部署的系統(tǒng)捅位。 另外，單個(gè)接口測(cè)試與單個(gè)單元測(cè)試用例相比搂抒，也可以覆蓋更多的代碼艇搀。更重要的是，接口測(cè)試也可以是面向業(yè)務(wù)的測(cè)試求晶，通過(guò)接口進(jìn)行業(yè)務(wù)層面的測(cè)試焰雕。

而相比UI自動(dòng)化用例，接口測(cè)試更加的簡(jiǎn)單直接芳杏，執(zhí)行效率更高矩屁。 除了部分如企業(yè)級(jí)應(yīng)用軟件辟宗，可能很多業(yè)務(wù)在前端進(jìn)行之外，很多情況下吝秕，絕大部分通過(guò)UI完成的業(yè)務(wù)操作完全可以通過(guò)API端完成泊脐。某些情況下，API（接口）的測(cè)試條件覆蓋率甚至可以多過(guò)UI烁峭。

綜合上述的分析容客，筆者認(rèn)為在自動(dòng)化測(cè)試的初級(jí)階段，適合奔小康的測(cè)試團(tuán)隊(duì)的自動(dòng)化模式應(yīng)該是中間層的接口最大则剃，兩端的UI和Unit測(cè)試適度實(shí)施耘柱。從圖形上看，就是一個(gè)橄欖型（中間的接口測(cè)試效益比最高）棍现。如果再加上一部分的手工測(cè)試调煎，那就是一個(gè)不倒翁了。（題外話(huà)：接口測(cè)試可以由開(kāi)發(fā)團(tuán)隊(duì)來(lái)做己肮，也可交由測(cè)試團(tuán)隊(duì)去開(kāi)展）

按照這個(gè)模式士袄，將大部分自動(dòng)化投資用于接口測(cè)試，可以獲得最高的投資回報(bào)谎僻。再結(jié)合持續(xù)測(cè)試與持續(xù)集成等最佳實(shí)踐娄柳，在團(tuán)隊(duì)之間彼此共享測(cè)試用例、測(cè)試框架或者平臺(tái)艘绍，通過(guò)接口測(cè)試這一承上啟下的測(cè)試類(lèi)型赤拒，可以自下而上地逐步翻越過(guò)紙杯蛋糕模式中的那堵墻。（備注：紙杯蛋糕模式诱鞠，是一種反金字塔的自動(dòng)化模式挎挖，開(kāi)發(fā)和測(cè)試各自為政，線(xiàn)性的開(kāi)展測(cè)試航夺，無(wú)法并行協(xié)同測(cè)試蕉朵，相當(dāng)于有道部門(mén)墻，開(kāi)發(fā)的自測(cè)環(huán)節(jié)和測(cè)試開(kāi)展的測(cè)試環(huán)節(jié)阳掐，沒(méi)有建立關(guān)聯(lián)和資源共享---重復(fù)測(cè)試始衅、度量目標(biāo)不一致、過(guò)度自動(dòng)化）

跟大家推薦一個(gè)學(xué)習(xí)資料分享群：747981058缭保，里面大牛已經(jīng)為我們整理好了許多的學(xué)習(xí)資料汛闸，有自動(dòng)化，接口涮俄，性能等等的學(xué)習(xí)資料蛉拙！人生是一個(gè)逆水行舟的過(guò)程，不進(jìn)則退彻亲，咱們一起加油吧孕锄！