精準(zhǔn)測(cè)試的軟件產(chǎn)品質(zhì)量效率變化分析
伴隨著軟件規(guī)模的擴(kuò)大和軟件快速迭代的雙重業(yè)務(wù)加速要求射沟，軟件質(zhì)量控制的壓力也越來(lái)越明顯溅固。但黑盒測(cè)試的無(wú)力感和白盒測(cè)試的高復(fù)雜度募书，讓軟件測(cè)試工程師和管理者都非常郁悶异雁，多樣化的自動(dòng)化測(cè)試工具也解決不了根本性的問(wèn)題华临。
目前正在業(yè)內(nèi)流行的精準(zhǔn)測(cè)試技術(shù)窘行，從企業(yè)級(jí)應(yīng)用的反饋來(lái)看饥追，它最為主要的三個(gè)技術(shù)特性，使企業(yè)在軟件質(zhì)量改進(jìn)方面罐盔，突破了原有的天花板但绕。
1、 測(cè)試用例與代碼的雙向追溯技術(shù)：使開(kāi)發(fā)和測(cè)試過(guò)程可視化惶看，達(dá)到軟件與團(tuán)隊(duì)管理的數(shù)據(jù)化交流捏顺，不再流于形式和口頭交流；灰盒的透明運(yùn)行模式纬黎，不改變傳統(tǒng)企業(yè)流程幅骄，卻能夠?qū)⒐δ軠y(cè)試的數(shù)據(jù)映射到代碼層面進(jìn)行精準(zhǔn)分析。
2本今、 延展測(cè)試數(shù)據(jù)的應(yīng)用價(jià)值：精準(zhǔn)測(cè)試在運(yùn)行中會(huì)產(chǎn)生大量的數(shù)據(jù)拆座，基于這些數(shù)據(jù)可以讓測(cè)試過(guò)程的價(jià)值拓展到整個(gè)研發(fā)體系，例如通過(guò)深度測(cè)試數(shù)據(jù)直接進(jìn)行智能缺陷定位冠息，通過(guò)逆向追溯幫助開(kāi)發(fā)分析進(jìn)行代碼一致性修改等挪凑。
3、 通過(guò)智能算法全面支持敏捷：全自動(dòng)的智能回歸用例選取逛艰、用例聚類分析躏碳、測(cè)試漏洞分析，累計(jì)覆蓋率等技術(shù)全面支持敏捷場(chǎng)景下的質(zhì)量保證散怖。
本文將重點(diǎn)分析精準(zhǔn)測(cè)試在研發(fā)體系中應(yīng)用后的整體運(yùn)行效率和質(zhì)量改進(jìn)分析唐断。另本文分析數(shù)據(jù)對(duì)應(yīng)的標(biāo)的產(chǎn)品是星云測(cè)試的ThreadingTest產(chǎn)品，目前也是精準(zhǔn)功能最全面杭抠、商用化程度最高的精準(zhǔn)測(cè)試產(chǎn)品（讀者可提前閱讀精準(zhǔn)測(cè)試框架白皮書以及到體驗(yàn)精準(zhǔn)測(cè)試產(chǎn)品，熟悉精準(zhǔn)測(cè)試的整體功能）恳啥。
精準(zhǔn)測(cè)試運(yùn)行效率很高偏灿。它采用的技術(shù)路線為系統(tǒng)級(jí)灰盒技術(shù)范疇，因此精準(zhǔn)測(cè)試的運(yùn)行過(guò)程依然是黑盒钝的，不直接改變用例的運(yùn)行方法及團(tuán)隊(duì)成員構(gòu)成翁垂，上手比較快铆遭。它的數(shù)據(jù)采集是基于軟件測(cè)試示波器全自動(dòng)采集，用于標(biāo)記采集數(shù)據(jù)和用例的映射關(guān)系沿猜，對(duì)原有測(cè)試的運(yùn)行效率干擾極小枚荣，實(shí)際運(yùn)行分析額外附加工作量在2%以下。精準(zhǔn)測(cè)試必要的插裝過(guò)程無(wú)需人工干預(yù)啼肩，實(shí)施成本也是一次性的橄妆。
下圖是精準(zhǔn)測(cè)試的運(yùn)行效率圖：
傳統(tǒng)意義上的黑盒測(cè)試方法一般在覆蓋率進(jìn)入到40-50區(qū)間以后，會(huì)逐步開(kāi)始產(chǎn)生較大運(yùn)行瓶頸祈坠，測(cè)試專業(yè)上形象的稱之為殺蟲劑效應(yīng)害碾。而黑盒的瓶頸點(diǎn)又恰恰是精準(zhǔn)測(cè)試的發(fā)力點(diǎn)。精準(zhǔn)測(cè)試可以關(guān)聯(lián)到代碼看到語(yǔ)句塊赦拘，分支慌随，條件等的覆蓋率，也可以根據(jù)精準(zhǔn)測(cè)試提供的各種彩色分析視圖確定漏測(cè)點(diǎn)躺同。因此不管被測(cè)系統(tǒng)有多復(fù)雜阁猜，精準(zhǔn)測(cè)試的運(yùn)行效率均呈線性45度角穩(wěn)步上升。
從上圖可以看出蹋艺，越過(guò)瓶頸點(diǎn)后的中等覆蓋率水平剃袍，精準(zhǔn)測(cè)試所使用的時(shí)間僅僅是傳統(tǒng)黑盒測(cè)試的一半，因此成本投入也將是普通黑盒測(cè)試的一半车海。這一點(diǎn)對(duì)于企業(yè)來(lái)講不僅僅是大幅度提升了測(cè)試的工作效率笛园、加快了產(chǎn)品發(fā)布時(shí)間，同時(shí)節(jié)約了大量的人力成本投入侍芝。精準(zhǔn)測(cè)試的核心技術(shù)要點(diǎn)是測(cè)試用例與代碼的追溯技術(shù)研铆。這項(xiàng)技術(shù)簡(jiǎn)單來(lái)說(shuō)就是當(dāng)功能執(zhí)行完成以后對(duì)應(yīng)的整體代碼執(zhí)行情況就會(huì)立即產(chǎn)生，可以理解為一種強(qiáng)大的全景調(diào)試器州叠，即當(dāng)點(diǎn)擊一個(gè)測(cè)試用例棵红，就立即追蹤到對(duì)應(yīng)的代碼和模塊。如果你有一個(gè)足夠大的屏幕咧栗，可以想象場(chǎng)景是多么的震撼…
精準(zhǔn)測(cè)試測(cè)試漏洞分析功能逆甜，適用于敏捷測(cè)試。它可以基于程序靜態(tài)數(shù)據(jù)和動(dòng)態(tài)運(yùn)行數(shù)據(jù)致板，自動(dòng)分析軟件缺陷最高風(fēng)險(xiǎn)的位置交煞，引導(dǎo)首先對(duì)于高風(fēng)險(xiǎn)的模塊完成覆蓋，在有限時(shí)間內(nèi)完成最具有風(fēng)險(xiǎn)的模塊的覆蓋測(cè)試斟或∷卣鳎基于智能缺陷定位技術(shù)，精準(zhǔn)測(cè)試結(jié)果可以直接定位到缺陷的位置，因此精準(zhǔn)測(cè)試讓開(kāi)發(fā)人員定位缺陷的效率可以至少提升2-3倍御毅。
-
企業(yè)最為頭痛的回歸測(cè)試維護(hù)根欧，精準(zhǔn)測(cè)試也給予了很好的方案。根據(jù)國(guó)際權(quán)威統(tǒng)計(jì)端蛆，平均每6行代碼的修改凤粗，就會(huì)引入一個(gè)未知的難以直接預(yù)測(cè)的缺陷。從另一個(gè)角度來(lái)看今豆，回歸測(cè)試會(huì)隨著項(xiàng)目人員記憶模糊以及團(tuán)隊(duì)調(diào)整嫌拣，使不可預(yù)知的缺陷比例逐步上升。而精準(zhǔn)測(cè)試由于其內(nèi)置算法的原因晚凿，各種信息都極其完整的保存在了計(jì)算機(jī)里亭罪。我們實(shí)際對(duì)比了5個(gè)用例集在1000個(gè)左右的系統(tǒng)的測(cè)試，其計(jì)算用例集可控制在20%左右歼秽。另外在從回歸測(cè)試的風(fēng)險(xiǎn)角度上看应役，傳統(tǒng)通過(guò)經(jīng)驗(yàn)判斷型方法，由于周期拉長(zhǎng)后人員變動(dòng)以及記憶模糊燥筷。導(dǎo)致發(fā)現(xiàn)迭代引起的未知關(guān)聯(lián)的概率越來(lái)越低箩祥，上線后引入風(fēng)險(xiǎn)。而采用精準(zhǔn)測(cè)試肆氓，由于每輪測(cè)試記錄的數(shù)據(jù)越來(lái)越多袍祖，基礎(chǔ)代碼覆蓋輻射面越來(lái)越廣，其計(jì)算準(zhǔn)確性亦在持續(xù)上升谢揪。經(jīng)過(guò)一定量的版本迭代后蕉陋，其發(fā)現(xiàn)關(guān)聯(lián)缺陷的概率可以達(dá)到80%以上。
精準(zhǔn)測(cè)試的測(cè)試用例聚類分析功能拨扶，可以有效地發(fā)現(xiàn)“測(cè)試的錯(cuò)誤”凳鬓。比如一個(gè)用例執(zhí)行步驟錯(cuò)誤，它的聚類結(jié)果必然會(huì)發(fā)生變化患民，管理者通過(guò)系統(tǒng)分析的結(jié)果就可以發(fā)現(xiàn)并糾正這一類的錯(cuò)誤缩举，而之前可能需要在現(xiàn)場(chǎng)反復(fù)的確認(rèn)。
從管理角度看匹颤，傳統(tǒng)架構(gòu)下平均4-5個(gè)測(cè)試執(zhí)行人員就需要一個(gè)管理者仅孩，管理成本極高。精準(zhǔn)測(cè)試體系下印蓖，由于過(guò)程管理均由計(jì)算機(jī)自動(dòng)記錄辽慕，管理者只需看報(bào)表就能清楚獲知項(xiàng)目進(jìn)度情況及每位項(xiàng)目參與者的工作效率。通過(guò)日?qǐng)?bào)赦肃、周報(bào)溅蛉、月報(bào)等绞旅，輕松了解各項(xiàng)目狀況。后續(xù)團(tuán)隊(duì)無(wú)論如何變更温艇，都可以在被授權(quán)的情況下，通過(guò)平臺(tái)清楚地了解到整體框架結(jié)構(gòu)與細(xì)致追溯關(guān)系堕汞，達(dá)到快速接手勺爱、大量節(jié)省開(kāi)發(fā)與維護(hù)成本的目的。
根據(jù)上述分析讯检，精準(zhǔn)測(cè)試適合應(yīng)用于研發(fā)琐鲁、測(cè)試的成熟體系中，特點(diǎn)是引入成本低人灼，提高企業(yè)研發(fā)围段、測(cè)試效率顯著，軟件風(fēng)控成果卓越投放。正如網(wǎng)絡(luò)上所說(shuō)奈泪，精準(zhǔn)測(cè)試正在快速成為主流技術(shù)。
