前言

測試團(tuán)隊(duì)在執(zhí)行自動(dòng)化或者黑盒測試時(shí)欧芽，希望同時(shí)獲取代碼的覆蓋率，測研團(tuán)隊(duì)由此開發(fā)了第一代自動(dòng)化覆蓋率平臺(tái)朴摊。隨著業(yè)務(wù)迭代默垄，存量代碼越來越多，使用過程中遇到了很多新的問題甚纲，例如：

1. 無法統(tǒng)計(jì)增量代碼覆蓋率口锭，以便量化測試完整度
2. 不支持合并覆蓋率報(bào)告，多人多環(huán)境協(xié)作測試時(shí)無法獲得完整統(tǒng)計(jì)數(shù)據(jù)
3. 報(bào)告手動(dòng)生成介杆，以及生成報(bào)告的必要信息也需要人肉收集鹃操，系統(tǒng)間自動(dòng)化程度低况既，用戶使用效率低

針對(duì)上述的問題，測試研發(fā)團(tuán)隊(duì)開發(fā)了覆蓋率平臺(tái)2.0版本组民，實(shí)現(xiàn)了增量代碼覆蓋率，包括定時(shí)采樣悲靴，自動(dòng)合并報(bào)告等功能臭胜，以賦能團(tuán)隊(duì)精準(zhǔn)測試能力。

方案設(shè)計(jì)

增量代碼覆蓋率基于Jacoco實(shí)現(xiàn)癞尚，Jacoco是基于JVM虛擬機(jī)的使用最廣的第三方代碼覆蓋率開源工具耸三。我們的設(shè)計(jì)主要針對(duì)JacocoCore模塊，Analyze模塊進(jìn)行功能擴(kuò)展浇揩，在數(shù)據(jù)分析中加入增量行計(jì)數(shù)邏輯仪壮，以實(shí)現(xiàn)增量覆蓋率統(tǒng)計(jì)。出于體系建設(shè)考慮胳徽，我們集成增量覆蓋率功能到DevOps發(fā)布流程积锅，完善了質(zhì)量量化和風(fēng)險(xiǎn)約束能力，設(shè)計(jì)方案如下：

image

增量覆蓋率實(shí)現(xiàn)方案

Rubik自動(dòng)化平臺(tái)會(huì)根據(jù)發(fā)布系統(tǒng)推送的發(fā)布事件自動(dòng)觸發(fā)定時(shí)采樣养盗，數(shù)據(jù)合并缚陷，另外項(xiàng)目管理系統(tǒng)按一定規(guī)則讀取統(tǒng)計(jì)數(shù)據(jù)，并且會(huì)對(duì)覆蓋率未達(dá)標(biāo)的發(fā)布流程進(jìn)行卡點(diǎn)約束往核。

主要功能說明

CodeDiff數(shù)據(jù)解析

增量行數(shù)據(jù)是計(jì)算增量覆蓋率的前提箫爷，Rubik平臺(tái)通過發(fā)布系統(tǒng)獲得被測站點(diǎn)的包版本與生產(chǎn)包版本，調(diào)用GitLabApi獲取差異代碼數(shù)據(jù)聂儒，差異代碼數(shù)據(jù)為純字符串格式虎锚，解析轉(zhuǎn)換為差異行數(shù)據(jù)，轉(zhuǎn)換邏輯如下：
/// /* 解析GitDiff數(shù)據(jù) /* @param diff 代碼差異生數(shù)據(jù) /* @return 增量行數(shù)組 /*/ public static int[] parseIncrLines(String diff) { GitDiffHelper helper = new GitDiffHelper(diff); helper.parse(); return helper.newLines; } private void parse(){ if (diff == null || diff.length() == 0) { return; } // 跳過文件信息 nextLineIfMinusFile(); nextLineIfPlusFile(); while (!eof()) { // 解析差異行數(shù)據(jù)塊 parseBlock(); } }

采樣數(shù)據(jù)分析

Jacoco通過各個(gè)維度的計(jì)數(shù)器逐層累加實(shí)現(xiàn)衩婚，分別為：

• 指令計(jì)數(shù)器（CounterImpl）
• 行計(jì)數(shù)器（LineImpl）
• 方法計(jì)算節(jié)點(diǎn)（MethodCoverageImpl）
• 類計(jì)算節(jié)點(diǎn)(ClassCoverageImpl)
• Package計(jì)算節(jié)點(diǎn)（PackageCoverageImpl）
• Module計(jì)算節(jié)點(diǎn)（BundleCoverageImpl）
• 站點(diǎn)計(jì)算節(jié)點(diǎn)（Jacoco未提供窜护，可自行實(shí)現(xiàn)）

通過從底層指令計(jì)數(shù)器開始逐層累加，最終得到站點(diǎn)級(jí)統(tǒng)計(jì)信息谅猾。為實(shí)現(xiàn)增量行統(tǒng)計(jì)柄慰，我們將增量行與全量行分開，在計(jì)算節(jié)點(diǎn)父類中（CoverageNodeImpl）中增加了增量行計(jì)數(shù)器税娜。
public class CoverageNodeImpl implements ICoverageNode{ ... /// /* 全量行計(jì)數(shù)器 // protected CounterImpl lineCounter; ///* /* 增量行計(jì)數(shù)器 /*/ protected CounterImpl diffLineCounter; ...

在原計(jì)數(shù)邏輯中加入增量行計(jì)數(shù)邏輯坐搔，如下：

public class SourceNodeImpl extends CoverageNodeImpl implements ISourceNode{ private LineImpl[] lines; // 由GitDiff計(jì)算得到的差異行數(shù)據(jù) private int[] diffLines; ... // 由行內(nèi)指令計(jì)數(shù)器累加行計(jì)數(shù)器 private void incrementLine(final ICounter instructions, final ICounter branches, final int line){ ensureCapacity(line, line); final LineImpl l = getLine(line); final int oldTotal = l.getInstructionCounter().getTotalCount(); final int oldCovered = l.getInstructionCounter().getCoveredCount(); boolean isDiffLine; if (l == LineImpl.EMPTY) { // 確定是否為增量行 isDiffLine = diffLines != null && Arrays.binarySearch(diffLines, line) >= 0; } else { isDiffLine = l.isDiffLine(); } lines[line - offset] = l.increment(instructions, branches, isDiffLine); // Increment line counter: if (instructions.getTotalCount() > 0) { if (instructions.getCoveredCount() == 0) { if (oldTotal == 0) { lineCounter = lineCounter.increment(CounterImpl.COUNTER_1_0); // 增量行處理邏輯：處理已覆蓋行 if (isDiffLine) { diffLineCounter = diffLineCounter.increment(CounterImpl.COUNTER_1_0); } } } else { if (oldTotal == 0) { lineCounter = lineCounter.increment(CounterImpl.COUNTER_0_1); // 增量行處理邏輯：處理未覆蓋行 if (isDiffLine) { diffLineCounter = diffLineCounter.increment(CounterImpl.COUNTER_0_1); } } else { if (oldCovered == 0) { lineCounter = lineCounter.increment(-1, +1); // 增量行處理邏輯：處理部分覆蓋行 if (isDiffLine) { diffLineCounter = diffLineCounter.increment(-1, +1); } } } } } }

另外行計(jì)數(shù)器中Jacoco通過四維數(shù)組單例，用固定數(shù)量的對(duì)象表示8^4（4096）種計(jì)數(shù)情況敬矩，實(shí)現(xiàn)了計(jì)數(shù)緩存概行，以提高內(nèi)存使用率，這里增加了增量行標(biāo)志位以區(qū)別全量行計(jì)數(shù)器弧岳，但是Jacoco自身的緩存計(jì)數(shù)器(Fix類)無法適配增量的情況凳忙，所以這里也同樣增加了增量行緩存計(jì)數(shù)器业踏，即DiffFix類，這里會(huì)帶來固定的4096個(gè)DiffFix對(duì)象的額外開銷涧卵，但是對(duì)整體性能影響幾乎可以忽略勤家。

public abstract class LineImpl implements ILine{ ... private final boolean isDiffLine; private static final LineImpl[][][][] SINGLETONS = new LineImpl[SINGLETON_INS_LIMIT + 1][][][]; private static final LineImpl[][][][] DIFF_SINGLETONS = new LineImpl[SINGLETON_INS_LIMIT + 1][][][]; static { // 全量行計(jì)數(shù)緩存 for (int i = 0; i <= SINGLETON_INS_LIMIT; i++) { SINGLETONS[i] = new LineImpl[SINGLETON_INS_LIMIT + 1][][]; for (int j = 0; j <= SINGLETON_INS_LIMIT; j++) { SINGLETONS[i][j] = new LineImpl[SINGLETON_BRA_LIMIT + 1][]; for (int k = 0; k <= SINGLETON_BRA_LIMIT; k++) { SINGLETONS[i][j][k] = new LineImpl[SINGLETON_BRA_LIMIT + 1]; for (int l = 0; l <= SINGLETON_BRA_LIMIT; l++) { SINGLETONS[i][j][k][l] = new Fix(i, j, k, l); } } } } // 增量行計(jì)數(shù)緩存 for (int i = 0; i <= SINGLETON_INS_LIMIT; i++) { DIFF_SINGLETONS[i] = new LineImpl[SINGLETON_INS_LIMIT + 1][][]; for (int j = 0; j <= SINGLETON_INS_LIMIT; j++) { DIFF_SINGLETONS[i][j] = new LineImpl[SINGLETON_BRA_LIMIT + 1][]; for (int k = 0; k <= SINGLETON_BRA_LIMIT; k++) { DIFF_SINGLETONS[i][j][k] = new LineImpl[SINGLETON_BRA_LIMIT + 1]; for (int l = 0; l <= SINGLETON_BRA_LIMIT; l++) { DIFF_SINGLETONS[i][j][k][l] = new DiffFix(i, j, k, l); } } } } }

覆蓋率報(bào)告

出于對(duì)可讀性的要求，我們沒有采用Jacoco原生的Html報(bào)告柳恐，而是獨(dú)立開發(fā)了相對(duì)更為簡潔的增量/全量報(bào)告伐脖，如下：

image

全環(huán)境覆蓋率報(bào)告如下：

image

數(shù)據(jù)合并

測試過程往往經(jīng)過多次發(fā)布，可能因?yàn)榉峙釡y乐设，也可能因?yàn)樾迯?fù)缺陷讼庇，每次JVM啟動(dòng)后需要將之前的采樣數(shù)據(jù)合并到下一次采樣數(shù)據(jù)中繼續(xù)累加，Rubik平臺(tái)接收發(fā)布事件并按以下規(guī)則自動(dòng)合并：

• 站點(diǎn)發(fā)布新版本前進(jìn)行最后一次采樣
• 站點(diǎn)發(fā)布新版本中近尚，健康檢查通過后立即進(jìn)行一次采樣蠕啄，并且同時(shí)開啟定時(shí)采樣
• 任意一次采樣都將進(jìn)行向前自動(dòng)合并數(shù)據(jù)，向前查找規(guī)則為：同一站點(diǎn)戈锻，同一環(huán)境歼跟，同一代碼分支的最近一次采樣數(shù)據(jù)

雖然可以在PAones項(xiàng)目管理平臺(tái)的發(fā)布工單中查看站點(diǎn)覆蓋率報(bào)告，但想實(shí)時(shí)查看站點(diǎn)的增量覆蓋情況舶沛，用戶可登錄Rubik平臺(tái)嘹承，指定自己的測試環(huán)境，就可以方便的看到被測環(huán)境內(nèi)所有站點(diǎn)的增量覆蓋率（按每小時(shí)定時(shí)采樣如庭，也可手動(dòng)觸發(fā)實(shí)時(shí)采樣）叹卷，從而相對(duì)精準(zhǔn)的控制測試進(jìn)度，減少漏測問題坪它。效果如下圖骤竹。

image

項(xiàng)目實(shí)施中遇到的問題

數(shù)據(jù)合并問題

現(xiàn)象

覆蓋率平臺(tái)平均每天需要對(duì)400+個(gè)站點(diǎn)提供分析服務(wù)，另外算上每小時(shí)定時(shí)采樣往毡，一天完成超過8000次采樣分析以及報(bào)告生成蒙揣，在上線運(yùn)行一段時(shí)間后發(fā)現(xiàn)，偶爾會(huì)出現(xiàn)服務(wù)響應(yīng)慢或卡頓开瞭，甚至不可用現(xiàn)象懒震。

分析

針對(duì)異常時(shí)內(nèi)存分析發(fā)現(xiàn)，主要堆積的對(duì)象是SessionInfoStore嗤详。

image

SessionInfoStore是Jacoco用來進(jìn)行代碼分析展示的底層類个扰，包含所有的執(zhí)行類信息，在自動(dòng)合并過程中Jacoco默認(rèn)對(duì)SessionInfo進(jìn)行了累加而非合并葱色，導(dǎo)致每進(jìn)行一次合并采樣文件數(shù)據(jù)量都會(huì)增加30%到50%递宅，隨著不斷對(duì)采樣數(shù)據(jù)合并，加載文件所消耗內(nèi)存急劇增加，直到并發(fā)加載幾個(gè)文件就導(dǎo)致內(nèi)存耗盡办龄，頻繁觸發(fā)GC烘绽，通過復(fù)盤發(fā)現(xiàn)，一份采樣文件由最初的10K到問題出現(xiàn)時(shí)可以擴(kuò)大到800M到1.5G俐填。

優(yōu)化方案

通過調(diào)查發(fā)現(xiàn)SessionInfo只在原生Html報(bào)告中需要使用安接，去掉后不影響自研報(bào)告展示，也不會(huì)破壞Jacoco分析數(shù)據(jù)流程英融，于是優(yōu)(cu)雅(bao)的將合并數(shù)據(jù)中的對(duì)應(yīng)邏輯直接去除赫段，最終解決了這個(gè)問題，修改代碼如下：
/// /* Deserialization of execution data from binary streams. /*/ public class ExecutionDataReader{ ... // Rubik報(bào)告無需合并SessionInfo private void readSessionInfo() throws IOException{ // if (sessionInfoVisitor == null) { // throw new IOException("No session info visitor."); // } // final String id = in.readUTF(); // final long start = in.readLong(); // final long dump = in.readLong(); // sessionInfoVisitor.visitSessionInfo(new SessionInfo(id, start, dump)); } // 合并采樣數(shù)據(jù) private void readExecutionData() throws IOException{ if (executionDataVisitor == null) { throw new IOException("No execution data visitor."); } final long id = in.readLong(); final String name = in.readUTF(); final boolean[] probes = in.readBooleanArray(); executionDataVisitor.visitClassExecution(new ExecutionData(id, name, probes)); }

后續(xù)規(guī)劃

增量覆蓋率為測試結(jié)果量化提供了能力支撐矢赁，一定程度上解決了測試結(jié)果的信任問題，也為測試團(tuán)隊(duì)質(zhì)量分提供了基礎(chǔ)能力贬丛，幫助信也研發(fā)中心在Devops體系化建設(shè)上又推進(jìn)了一步撩银。接下來效能研發(fā)團(tuán)隊(duì)還將在精準(zhǔn)測試方向上進(jìn)行更多嘗試，包括自動(dòng)回歸范圍分析豺憔，代碼調(diào)用鏈路等额获，歡迎大家繼續(xù)關(guān)注。