If you cannot measure it, you cannot improve it.
在持續(xù)集成的過(guò)程中欣喧,需要高覆蓋率的自動(dòng)化測(cè)試荠商。這篇文章說(shuō)一說(shuō)如何計(jì)量覆蓋率,以及靶向提升续誉。
用到的工具:
問(wèn)題一:總共有多少代碼被覆蓋莱没?
- 執(zhí)行測(cè)試 【可能有多條語(yǔ)句】;
coverage run -m unittest discover tests
coverage run -a -m behave --lang zh-CN # 當(dāng)有多種測(cè)試框架 or 語(yǔ)句時(shí)酷鸦,用 -a 附加覆蓋率
- 報(bào)告結(jié)果 【有兩種輸出地方饰躲,輸出到shell,輸出到文件】臼隔;
coverage report # 輸出到命令行
coverage xml -o coverage-reports/coverage.xml # 以xml文件輸出
coverage html # 以html文件輸出
coverage report
會(huì)把所有測(cè)試中覆蓋到的文件輸出打印到命令行嘹裂,給出每個(gè)文件的覆蓋率,以及匯總之后的代碼行數(shù)和覆蓋率摔握。
問(wèn)題二: 如何提升總體覆蓋率寄狼?
以HTML輸出為例,可以通過(guò)點(diǎn)擊到每個(gè)文件內(nèi)部氨淌,頁(yè)面中會(huì)把未被測(cè)試覆蓋到的代碼用紅色block標(biāo)出, 而已被覆蓋的代碼會(huì)有綠色標(biāo)識(shí)泊愧。
當(dāng)我們知道哪些代碼沒(méi)有被覆蓋時(shí)?那就寫(xiě)更多的測(cè)試覆蓋它們就好了盛正。
問(wèn)題三: 新分支相對(duì)于主分支(master)删咱,有多少代碼未被覆蓋,是哪些代碼豪筝?
解決這個(gè)問(wèn)題可參見(jiàn)diff-cover痰滋,思路是:coverage
獲得每行代碼的覆蓋情況 + git diff
獲得變更的代碼行 => 變更的代碼行的覆蓋情況摘能。
由于diff-cover完全依賴coverage
和git
,所以在執(zhí)行之前敲街,請(qǐng)務(wù)必保證覆蓋率文件(coverage.xml)已經(jīng)存在了团搞。
diff-cover coverage-reports/coverage.xml # 未明確指定輸出文件,則輸出到shell
diff-cover coverage-reports/coverage.xml --html-report 123.html # 輸出到HTML文件
同coverage
多艇,既可以在命令行看到整體的覆蓋率統(tǒng)計(jì)逻恐,也可以在html文件中查看哪些代碼沒(méi)有被覆蓋,更加靶向的提升測(cè)試的覆蓋率墩蔓。
尾記
- 覆蓋率的集成
在知道了代碼的覆蓋率之后梢莽,可以把它加入到持續(xù)集成的pipeline中萧豆〖榕可以規(guī)定,每次MR的新增代碼覆蓋率不得低于90%涮雷,否則CI失敗阵面。
#!/usr/bin/env bash
source ci/config.sh
source ci/dingding.sh
COVERAGE_REPORT_FILE="coverage-reports/coverage.xml"
if [[ ! -e $COVERAGE_REPORT_FILE ]];then
echo "Coverage file does not exit, plz run test first."
exit 1
fi
new_coverage_ratio=$(pipenv run diff-cover $COVERAGE_REPORT_FILE | grep -E 'Coverage:' | sed -e 's/[^0-9]//g')
echo "$new_coverage_ratio"
total_coverage_ratio=$(grep -oE 'line-rate="(1|0\.[0-9]+)"' $COVERAGE_REPORT_FILE | head -1 | grep -oP '[0-9]{2}(?=\d*")' | head -1)
echo "$total_coverage_ratio"
if [[ (-z "$new_coverage_ratio" || $new_coverage_ratio -gt $new_coverage_threshold) && ($total_coverage_ratio -eq 1 || $total_coverage_ratio -ge $total_coverage_threshold) ]]
then
echo "測(cè)試覆蓋率很好,請(qǐng)繼續(xù)保持 ~"
exit 0
fi
echo "測(cè)試覆蓋率不合格洪鸭,請(qǐng)重新提交 ~"
exit 1
- 代碼質(zhì)量的自動(dòng)化監(jiān)控
代碼質(zhì)量样刷,既是一個(gè)空空如也的事情,也是一個(gè)命脈相關(guān)的事情览爵。測(cè)試覆蓋率只是代碼質(zhì)量中的一環(huán)置鼻,還有諸如 code smell, 代碼復(fù)雜度, 重復(fù)度等,如果懶得錙銖必較蜓竹,可以使用成熟的自動(dòng)化的檢測(cè)工具箕母,如sonar。加入CI流程俱济,設(shè)定規(guī)則嘶是,保護(hù)代碼。
- 面向質(zhì)量編程
覆蓋率只是一個(gè)顯性的指標(biāo)蛛碌,如果弄虛作假聂喇,完全可以寫(xiě)一個(gè)shi一樣的測(cè)試用例,提高覆蓋率蔚携,但對(duì)于保護(hù)代碼沒(méi)有一點(diǎn)幫助希太。
用各種各樣的工具,不是希望身為程序員的我們面向KPI酝蜒、面向指標(biāo)跛十、面向覆蓋率編程,而是希望注意代碼質(zhì)量秕硝,面向自己產(chǎn)出的每一行代碼芥映,保質(zhì)保量洲尊,保持身心愉快。