前言
測試團(tuán)隊(duì)在執(zhí)行自動化或者黑盒測試時筛严，希望同時獲取代碼的覆蓋率牺堰，測研團(tuán)隊(duì)由此開發(fā)了第一代自動化覆蓋率平臺雏胃。隨著業(yè)務(wù)迭代掂林，存量代碼越來越多，使用過程中遇到了很多新的問題鼓蜒，例如：
- 無法統(tǒng)計(jì)增量代碼覆蓋率痹换，以便量化測試完整度
- 不支持合并覆蓋率報(bào)告，多人多環(huán)境協(xié)作測試時無法獲得完整統(tǒng)計(jì)數(shù)據(jù)
- 報(bào)告手動生成都弹，以及生成報(bào)告的必要信息也需要人肉收集娇豫，系統(tǒng)間自動化程度低，用戶使用效率低
針對上述的問題畅厢，測試研發(fā)團(tuán)隊(duì)開發(fā)了覆蓋率平臺2.0版本冯痢，實(shí)現(xiàn)了增量代碼覆蓋率，包括定時采樣框杜，自動合并報(bào)告等功能浦楣，以賦能團(tuán)隊(duì)精準(zhǔn)測試能力。
方案設(shè)計(jì)
增量代碼覆蓋率基于Jacoco實(shí)現(xiàn)咪辱，Jacoco是基于JVM虛擬機(jī)的使用最廣的第三方代碼覆蓋率開源工具振劳。我們的設(shè)計(jì)主要針對JacocoCore模塊，Analyze模塊進(jìn)行功能擴(kuò)展油狂，在數(shù)據(jù)分析中加入增量行計(jì)數(shù)邏輯澎迎，以實(shí)現(xiàn)增量覆蓋率統(tǒng)計(jì)庐杨。出于體系建設(shè)考慮，我們集成增量覆蓋率功能到DevOps發(fā)布流程夹供，完善了質(zhì)量量化和風(fēng)險(xiǎn)約束能力，設(shè)計(jì)方案如下：
增量覆蓋率實(shí)現(xiàn)方案
Rubik自動化平臺會根據(jù)發(fā)布系統(tǒng)推送的發(fā)布事件自動觸發(fā)定時采樣仁堪，數(shù)據(jù)合并哮洽，另外項(xiàng)目管理系統(tǒng)按一定規(guī)則讀取統(tǒng)計(jì)數(shù)據(jù)，并且會對覆蓋率未達(dá)標(biāo)的發(fā)布流程進(jìn)行卡點(diǎn)約束弦聂。
主要功能說明
CodeDiff數(shù)據(jù)解析
增量行數(shù)據(jù)是計(jì)算增量覆蓋率的前提鸟辅，Rubik平臺通過發(fā)布系統(tǒng)獲得被測站點(diǎn)的包版本與生產(chǎn)包版本，調(diào)用GitLabApi獲取差異代碼數(shù)據(jù)莺葫，差異代碼數(shù)據(jù)為純字符串格式匪凉，解析轉(zhuǎn)換為差異行數(shù)據(jù)，轉(zhuǎn)換邏輯如下：
/// /* 解析GitDiff數(shù)據(jù) /* @param diff 代碼差異生數(shù)據(jù) /* @return 增量行數(shù)組 /*/ public static int[] parseIncrLines(String diff) { GitDiffHelper helper = new GitDiffHelper(diff); helper.parse(); return helper.newLines; } private void parse(){ if (diff == null || diff.length() == 0) { return; } // 跳過文件信息 nextLineIfMinusFile(); nextLineIfPlusFile(); while (!eof()) { // 解析差異行數(shù)據(jù)塊 parseBlock(); } }
采樣數(shù)據(jù)分析
Jacoco通過各個維度的計(jì)數(shù)器逐層累加實(shí)現(xiàn)捺檬，分別為：
- 指令計(jì)數(shù)器（CounterImpl）
- 行計(jì)數(shù)器（LineImpl）
- 方法計(jì)算節(jié)點(diǎn)（MethodCoverageImpl）
- 類計(jì)算節(jié)點(diǎn)(ClassCoverageImpl)
- Package計(jì)算節(jié)點(diǎn)（PackageCoverageImpl）
- Module計(jì)算節(jié)點(diǎn)（BundleCoverageImpl）
- 站點(diǎn)計(jì)算節(jié)點(diǎn)（Jacoco未提供再层，可自行實(shí)現(xiàn)）
通過從底層指令計(jì)數(shù)器開始逐層累加，最終得到站點(diǎn)級統(tǒng)計(jì)信息堡纬。為實(shí)現(xiàn)增量行統(tǒng)計(jì)聂受，我們將增量行與全量行分開，在計(jì)算節(jié)點(diǎn)父類中（CoverageNodeImpl）中增加了增量行計(jì)數(shù)器烤镐。
public class CoverageNodeImpl implements ICoverageNode{ ... /// /* 全量行計(jì)數(shù)器 // protected CounterImpl lineCounter; ///* /* 增量行計(jì)數(shù)器 /*/ protected CounterImpl diffLineCounter; ...
在原計(jì)數(shù)邏輯中加入增量行計(jì)數(shù)邏輯蛋济，如下：
public class SourceNodeImpl extends CoverageNodeImpl implements ISourceNode{ private LineImpl[] lines; // 由GitDiff計(jì)算得到的差異行數(shù)據(jù) private int[] diffLines; ... // 由行內(nèi)指令計(jì)數(shù)器累加行計(jì)數(shù)器 private void incrementLine(final ICounter instructions, final ICounter branches, final int line){ ensureCapacity(line, line); final LineImpl l = getLine(line); final int oldTotal = l.getInstructionCounter().getTotalCount(); final int oldCovered = l.getInstructionCounter().getCoveredCount(); boolean isDiffLine; if (l == LineImpl.EMPTY) { // 確定是否為增量行 isDiffLine = diffLines != null && Arrays.binarySearch(diffLines, line) >= 0; } else { isDiffLine = l.isDiffLine(); } lines[line - offset] = l.increment(instructions, branches, isDiffLine); // Increment line counter: if (instructions.getTotalCount() > 0) { if (instructions.getCoveredCount() == 0) { if (oldTotal == 0) { lineCounter = lineCounter.increment(CounterImpl.COUNTER_1_0); // 增量行處理邏輯：處理已覆蓋行 if (isDiffLine) { diffLineCounter = diffLineCounter.increment(CounterImpl.COUNTER_1_0); } } } else { if (oldTotal == 0) { lineCounter = lineCounter.increment(CounterImpl.COUNTER_0_1); // 增量行處理邏輯：處理未覆蓋行 if (isDiffLine) { diffLineCounter = diffLineCounter.increment(CounterImpl.COUNTER_0_1); } } else { if (oldCovered == 0) { lineCounter = lineCounter.increment(-1, +1); // 增量行處理邏輯：處理部分覆蓋行 if (isDiffLine) { diffLineCounter = diffLineCounter.increment(-1, +1); } } } } } }
另外行計(jì)數(shù)器中Jacoco通過四維數(shù)組單例，用固定數(shù)量的對象表示8^4（4096）種計(jì)數(shù)情況炮叶，實(shí)現(xiàn)了計(jì)數(shù)緩存碗旅，以提高內(nèi)存使用率，這里增加了增量行標(biāo)志位以區(qū)別全量行計(jì)數(shù)器镜悉，但是Jacoco自身的緩存計(jì)數(shù)器(Fix類)無法適配增量的情況祟辟，所以這里也同樣增加了增量行緩存計(jì)數(shù)器，即DiffFix類积瞒，這里會帶來固定的4096個DiffFix對象的額外開銷川尖，但是對整體性能影響幾乎可以忽略。
public abstract class LineImpl implements ILine{ ... private final boolean isDiffLine; private static final LineImpl[][][][] SINGLETONS = new LineImpl[SINGLETON_INS_LIMIT + 1][][][]; private static final LineImpl[][][][] DIFF_SINGLETONS = new LineImpl[SINGLETON_INS_LIMIT + 1][][][]; static { // 全量行計(jì)數(shù)緩存 for (int i = 0; i <= SINGLETON_INS_LIMIT; i++) { SINGLETONS[i] = new LineImpl[SINGLETON_INS_LIMIT + 1][][]; for (int j = 0; j <= SINGLETON_INS_LIMIT; j++) { SINGLETONS[i][j] = new LineImpl[SINGLETON_BRA_LIMIT + 1][]; for (int k = 0; k <= SINGLETON_BRA_LIMIT; k++) { SINGLETONS[i][j][k] = new LineImpl[SINGLETON_BRA_LIMIT + 1]; for (int l = 0; l <= SINGLETON_BRA_LIMIT; l++) { SINGLETONS[i][j][k][l] = new Fix(i, j, k, l); } } } } // 增量行計(jì)數(shù)緩存 for (int i = 0; i <= SINGLETON_INS_LIMIT; i++) { DIFF_SINGLETONS[i] = new LineImpl[SINGLETON_INS_LIMIT + 1][][]; for (int j = 0; j <= SINGLETON_INS_LIMIT; j++) { DIFF_SINGLETONS[i][j] = new LineImpl[SINGLETON_BRA_LIMIT + 1][]; for (int k = 0; k <= SINGLETON_BRA_LIMIT; k++) { DIFF_SINGLETONS[i][j][k] = new LineImpl[SINGLETON_BRA_LIMIT + 1]; for (int l = 0; l <= SINGLETON_BRA_LIMIT; l++) { DIFF_SINGLETONS[i][j][k][l] = new DiffFix(i, j, k, l); } } } } }
覆蓋率報(bào)告
出于對可讀性的要求茫孔，我們沒有采用Jacoco原生的Html報(bào)告叮喳，而是獨(dú)立開發(fā)了相對更為簡潔的增量/全量報(bào)告，如下：
全環(huán)境覆蓋率報(bào)告如下：
數(shù)據(jù)合并
測試過程往往經(jīng)過多次發(fā)布缰贝，可能因?yàn)榉峙釡y馍悟，也可能因?yàn)樾迯?fù)缺陷，每次JVM啟動后需要將之前的采樣數(shù)據(jù)合并到下一次采樣數(shù)據(jù)中繼續(xù)累加剩晴，Rubik平臺接收發(fā)布事件并按以下規(guī)則自動合并：
- 站點(diǎn)發(fā)布新版本前進(jìn)行最后一次采樣
- 站點(diǎn)發(fā)布新版本中锣咒，健康檢查通過后立即進(jìn)行一次采樣侵状，并且同時開啟定時采樣
- 任意一次采樣都將進(jìn)行向前自動合并數(shù)據(jù)，向前查找規(guī)則為：同一站點(diǎn)毅整，同一環(huán)境趣兄，同一代碼分支的最近一次采樣數(shù)據(jù)
雖然可以在PAones項(xiàng)目管理平臺的發(fā)布工單中查看站點(diǎn)覆蓋率報(bào)告，但想實(shí)時查看站點(diǎn)的增量覆蓋情況悼嫉，用戶可登錄Rubik平臺艇潭，指定自己的測試環(huán)境，就可以方便的看到被測環(huán)境內(nèi)所有站點(diǎn)的增量覆蓋率（按每小時定時采樣戏蔑，也可手動觸發(fā)實(shí)時采樣）蹋凝，從而相對精準(zhǔn)的控制測試進(jìn)度，減少漏測問題总棵。效果如下圖鳍寂。
項(xiàng)目實(shí)施中遇到的問題
數(shù)據(jù)合并問題
現(xiàn)象
覆蓋率平臺平均每天需要對400+個站點(diǎn)提供分析服務(wù)，另外算上每小時定時采樣情龄，一天完成超過8000次采樣分析以及報(bào)告生成迄汛，在上線運(yùn)行一段時間后發(fā)現(xiàn)，偶爾會出現(xiàn)服務(wù)響應(yīng)慢或卡頓刃唤，甚至不可用現(xiàn)象隔心。
分析
針對異常時內(nèi)存分析發(fā)現(xiàn)，主要堆積的對象是SessionInfoStore尚胞。
SessionInfoStore是Jacoco用來進(jìn)行代碼分析展示的底層類硬霍，包含所有的執(zhí)行類信息，在自動合并過程中Jacoco默認(rèn)對SessionInfo進(jìn)行了累加而非合并笼裳，導(dǎo)致每進(jìn)行一次合并采樣文件數(shù)據(jù)量都會增加30%到50%唯卖，隨著不斷對采樣數(shù)據(jù)合并，加載文件所消耗內(nèi)存急劇增加躬柬，直到并發(fā)加載幾個文件就導(dǎo)致內(nèi)存耗盡拜轨，頻繁觸發(fā)GC，通過復(fù)盤發(fā)現(xiàn)允青，一份采樣文件由最初的10K到問題出現(xiàn)時可以擴(kuò)大到800M到1.5G橄碾。
優(yōu)化方案
通過調(diào)查發(fā)現(xiàn)SessionInfo只在原生Html報(bào)告中需要使用，去掉后不影響自研報(bào)告展示颠锉，也不會破壞Jacoco分析數(shù)據(jù)流程法牲，于是優(yōu)(cu)雅(bao)的將合并數(shù)據(jù)中的對應(yīng)邏輯直接去除，最終解決了這個問題琼掠，修改代碼如下：
/// /* Deserialization of execution data from binary streams. /*/ public class ExecutionDataReader{ ... // Rubik報(bào)告無需合并SessionInfo private void readSessionInfo() throws IOException{ // if (sessionInfoVisitor == null) { // throw new IOException("No session info visitor."); // } // final String id = in.readUTF(); // final long start = in.readLong(); // final long dump = in.readLong(); // sessionInfoVisitor.visitSessionInfo(new SessionInfo(id, start, dump)); } // 合并采樣數(shù)據(jù) private void readExecutionData() throws IOException{ if (executionDataVisitor == null) { throw new IOException("No execution data visitor."); } final long id = in.readLong(); final String name = in.readUTF(); final boolean[] probes = in.readBooleanArray(); executionDataVisitor.visitClassExecution(new ExecutionData(id, name, probes)); }
后續(xù)規(guī)劃
增量覆蓋率為測試結(jié)果量化提供了能力支撐拒垃，一定程度上解決了測試結(jié)果的信任問題，也為測試團(tuán)隊(duì)質(zhì)量分提供了基礎(chǔ)能力瓷蛙，幫助信也研發(fā)中心在Devops體系化建設(shè)上又推進(jìn)了一步悼瓮。接下來效能研發(fā)團(tuán)隊(duì)還將在精準(zhǔn)測試方向上進(jìn)行更多嘗試戈毒，包括自動回歸范圍分析，代碼調(diào)用鏈路等横堡，歡迎大家繼續(xù)關(guān)注埋市。
