測(cè)試瘦馍,及其覆蓋率

If you cannot measure it, you cannot improve it.

在持續(xù)集成的過(guò)程中欣喧,需要高覆蓋率的自動(dòng)化測(cè)試荠商。這篇文章說(shuō)一說(shuō)如何計(jì)量覆蓋率,以及靶向提升续誉。

用到的工具:

問(wèn)題一:總共有多少代碼被覆蓋莱没?

  1. 執(zhí)行測(cè)試 【可能有多條語(yǔ)句】;
coverage run -m unittest discover tests
coverage run -a -m behave --lang zh-CN  # 當(dāng)有多種測(cè)試框架 or 語(yǔ)句時(shí)酷鸦,用 -a 附加覆蓋率
  1. 報(bào)告結(jié)果 【有兩種輸出地方饰躲,輸出到shell,輸出到文件】臼隔;
coverage report  # 輸出到命令行
coverage xml -o coverage-reports/coverage.xml  # 以xml文件輸出
coverage html  # 以html文件輸出
SHELL report

HTML report

coverage report會(huì)把所有測(cè)試中覆蓋到的文件輸出打印到命令行嘹裂,給出每個(gè)文件的覆蓋率,以及匯總之后的代碼行數(shù)和覆蓋率摔握。

問(wèn)題二: 如何提升總體覆蓋率寄狼?

以HTML輸出為例,可以通過(guò)點(diǎn)擊到每個(gè)文件內(nèi)部氨淌,頁(yè)面中會(huì)把未被測(cè)試覆蓋到的代碼用紅色block標(biāo)出, 而已被覆蓋的代碼會(huì)有綠色標(biāo)識(shí)泊愧。

當(dāng)我們知道哪些代碼沒(méi)有被覆蓋時(shí)?那就寫(xiě)更多的測(cè)試覆蓋它們就好了盛正。

HTML report

問(wèn)題三: 新分支相對(duì)于主分支(master)删咱,有多少代碼未被覆蓋,是哪些代碼豪筝?

解決這個(gè)問(wèn)題可參見(jiàn)diff-cover痰滋,思路是:coverage獲得每行代碼的覆蓋情況 + git diff獲得變更的代碼行 => 變更的代碼行的覆蓋情況摘能。

由于diff-cover完全依賴coveragegit,所以在執(zhí)行之前敲街,請(qǐng)務(wù)必保證覆蓋率文件(coverage.xml)已經(jīng)存在了团搞。

diff-cover coverage-reports/coverage.xml  # 未明確指定輸出文件,則輸出到shell
diff-cover coverage-reports/coverage.xml --html-report 123.html  # 輸出到HTML文件
SHELL report

HTML report

coverage多艇,既可以在命令行看到整體的覆蓋率統(tǒng)計(jì)逻恐,也可以在html文件中查看哪些代碼沒(méi)有被覆蓋,更加靶向的提升測(cè)試的覆蓋率墩蔓。

尾記

  1. 覆蓋率的集成

在知道了代碼的覆蓋率之后梢莽,可以把它加入到持續(xù)集成的pipeline中萧豆〖榕可以規(guī)定,每次MR的新增代碼覆蓋率不得低于90%涮雷,否則CI失敗阵面。

#!/usr/bin/env bash
source ci/config.sh
source ci/dingding.sh

COVERAGE_REPORT_FILE="coverage-reports/coverage.xml"

if [[ ! -e $COVERAGE_REPORT_FILE ]];then
  echo "Coverage file does not exit, plz run test first."
  exit 1
fi

new_coverage_ratio=$(pipenv run diff-cover $COVERAGE_REPORT_FILE | grep -E 'Coverage:' | sed -e 's/[^0-9]//g')
echo "$new_coverage_ratio"

total_coverage_ratio=$(grep -oE 'line-rate="(1|0\.[0-9]+)"' $COVERAGE_REPORT_FILE | head -1 | grep -oP '[0-9]{2}(?=\d*")' | head -1)
echo "$total_coverage_ratio"

if [[ (-z "$new_coverage_ratio" || $new_coverage_ratio -gt $new_coverage_threshold)  && ($total_coverage_ratio -eq 1 || $total_coverage_ratio -ge $total_coverage_threshold) ]]
then
  echo "測(cè)試覆蓋率很好,請(qǐng)繼續(xù)保持 ~"
  exit 0
fi

echo "測(cè)試覆蓋率不合格洪鸭,請(qǐng)重新提交 ~"
exit 1
  1. 代碼質(zhì)量的自動(dòng)化監(jiān)控

代碼質(zhì)量样刷,既是一個(gè)空空如也的事情,也是一個(gè)命脈相關(guān)的事情览爵。測(cè)試覆蓋率只是代碼質(zhì)量中的一環(huán)置鼻,還有諸如 code smell, 代碼復(fù)雜度, 重復(fù)度等,如果懶得錙銖必較蜓竹,可以使用成熟的自動(dòng)化的檢測(cè)工具箕母,如sonar。加入CI流程俱济,設(shè)定規(guī)則嘶是,保護(hù)代碼。

  1. 面向質(zhì)量編程

覆蓋率只是一個(gè)顯性的指標(biāo)蛛碌,如果弄虛作假聂喇,完全可以寫(xiě)一個(gè)shi一樣的測(cè)試用例,提高覆蓋率蔚携,但對(duì)于保護(hù)代碼沒(méi)有一點(diǎn)幫助希太。

用各種各樣的工具,不是希望身為程序員的我們面向KPI酝蜒、面向指標(biāo)跛十、面向覆蓋率編程,而是希望注意代碼質(zhì)量秕硝,面向自己產(chǎn)出的每一行代碼芥映,保質(zhì)保量洲尊,保持身心愉快。

?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
  • 序言:七十年代末奈偏,一起剝皮案震驚了整個(gè)濱河市坞嘀,隨后出現(xiàn)的幾起案子,更是在濱河造成了極大的恐慌惊来,老刑警劉巖丽涩,帶你破解...
    沈念sama閱讀 211,884評(píng)論 6 492
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件,死亡現(xiàn)場(chǎng)離奇詭異裁蚁,居然都是意外死亡矢渊,警方通過(guò)查閱死者的電腦和手機(jī),發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 90,347評(píng)論 3 385
  • 文/潘曉璐 我一進(jìn)店門枉证,熙熙樓的掌柜王于貴愁眉苦臉地迎上來(lái)矮男,“玉大人,你說(shuō)我怎么就攤上這事室谚≌奔” “怎么了?”我有些...
    開(kāi)封第一講書(shū)人閱讀 157,435評(píng)論 0 348
  • 文/不壞的土叔 我叫張陵秒赤,是天一觀的道長(zhǎng)猪瞬。 經(jīng)常有香客問(wèn)我,道長(zhǎng)入篮,這世上最難降的妖魔是什么陈瘦? 我笑而不...
    開(kāi)封第一講書(shū)人閱讀 56,509評(píng)論 1 284
  • 正文 為了忘掉前任,我火速辦了婚禮潮售,結(jié)果婚禮上痊项,老公的妹妹穿的比我還像新娘。我一直安慰自己饲做,他們只是感情好线婚,可當(dāng)我...
    茶點(diǎn)故事閱讀 65,611評(píng)論 6 386
  • 文/花漫 我一把揭開(kāi)白布。 她就那樣靜靜地躺著盆均,像睡著了一般塞弊。 火紅的嫁衣襯著肌膚如雪。 梳的紋絲不亂的頭發(fā)上泪姨,一...
    開(kāi)封第一講書(shū)人閱讀 49,837評(píng)論 1 290
  • 那天游沿,我揣著相機(jī)與錄音,去河邊找鬼肮砾。 笑死诀黍,一個(gè)胖子當(dāng)著我的面吹牛,可吹牛的內(nèi)容都是我干的仗处。 我是一名探鬼主播眯勾,決...
    沈念sama閱讀 38,987評(píng)論 3 408
  • 文/蒼蘭香墨 我猛地睜開(kāi)眼枣宫,長(zhǎng)吁一口氣:“原來(lái)是場(chǎng)噩夢(mèng)啊……” “哼!你這毒婦竟也來(lái)了吃环?” 一聲冷哼從身側(cè)響起也颤,我...
    開(kāi)封第一講書(shū)人閱讀 37,730評(píng)論 0 267
  • 序言:老撾萬(wàn)榮一對(duì)情侶失蹤,失蹤者是張志新(化名)和其女友劉穎郁轻,沒(méi)想到半個(gè)月后翅娶,有當(dāng)?shù)厝嗽跇?shù)林里發(fā)現(xiàn)了一具尸體,經(jīng)...
    沈念sama閱讀 44,194評(píng)論 1 303
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡好唯,尸身上長(zhǎng)有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 36,525評(píng)論 2 327
  • 正文 我和宋清朗相戀三年竭沫,在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了。 大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片骑篙。...
    茶點(diǎn)故事閱讀 38,664評(píng)論 1 340
  • 序言:一個(gè)原本活蹦亂跳的男人離奇死亡蜕提,死狀恐怖,靈堂內(nèi)的尸體忽然破棺而出替蛉,到底是詐尸還是另有隱情贯溅,我是刑警寧澤拄氯,帶...
    沈念sama閱讀 34,334評(píng)論 4 330
  • 正文 年R本政府宣布躲查,位于F島的核電站,受9級(jí)特大地震影響译柏,放射性物質(zhì)發(fā)生泄漏镣煮。R本人自食惡果不足惜,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 39,944評(píng)論 3 313
  • 文/蒙蒙 一鄙麦、第九天 我趴在偏房一處隱蔽的房頂上張望典唇。 院中可真熱鬧,春花似錦胯府、人聲如沸介衔。這莊子的主人今日做“春日...
    開(kāi)封第一講書(shū)人閱讀 30,764評(píng)論 0 21
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽(yáng)炎咖。三九已至,卻和暖如春寒波,著一層夾襖步出監(jiān)牢的瞬間乘盼,已是汗流浹背。 一陣腳步聲響...
    開(kāi)封第一講書(shū)人閱讀 31,997評(píng)論 1 266
  • 我被黑心中介騙來(lái)泰國(guó)打工俄烁, 沒(méi)想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留绸栅,地道東北人。 一個(gè)月前我還...
    沈念sama閱讀 46,389評(píng)論 2 360
  • 正文 我出身青樓页屠,卻偏偏與公主長(zhǎng)得像粹胯,于是被迫代替她去往敵國(guó)和親蓖柔。 傳聞我的和親對(duì)象是個(gè)殘疾皇子,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 43,554評(píng)論 2 349