管理學(xué)大師彼得 - 德魯克曾說過：無數(shù)據(jù)，不管理沐扳。（偉人的聲音值得一次又一次地被聆聽~）

image.png

老J 在 質(zhì)量度量之“三級(jí)指標(biāo)體系” 中系統(tǒng)地拆解了效率、質(zhì)量蝌借、穩(wěn)定以及資源四個(gè)方面的度量指標(biāo)责静。試圖通過不斷積累數(shù)據(jù)徽缚，能幫助我們選取合理贩汉、科學(xué)的路徑以實(shí)現(xiàn)一個(gè)又一個(gè)的工程目標(biāo)驱富。

是否還記得文末預(yù)留“彩蛋”？

“結(jié)合上線前的質(zhì)量評(píng)審機(jī)制匹舞，通過對(duì)測試前褐鸥、中、后三個(gè)階段赐稽，選取指標(biāo)組合叫榕，并通過公式測算而形成質(zhì)量風(fēng)險(xiǎn)預(yù)警效果的“紅綠燈”提示，是數(shù)據(jù)可視化應(yīng)用的一種有效嘗試姊舵∥铮”

Mr 老 J，公眾號(hào)：知行圓桌派[質(zhì)量度量之“三級(jí)指標(biāo)體系”]

此處“紅綠燈”提示相關(guān)的嘗試蠢莺，即：本文將詳細(xì)介紹的“迭代質(zhì)量預(yù)警機(jī)制”寒匙。

理論指導(dǎo)實(shí)踐，實(shí)踐完善理論躏将。

“三級(jí)指標(biāo)體系”是老J 在質(zhì)量度量方面實(shí)踐的工程理論，而“迭代質(zhì)量預(yù)警機(jī)制”是該理論的一種有效落地場景考蕾。

理論與實(shí)踐兩者往往呈現(xiàn)螺旋上升促進(jìn)的態(tài)勢祸憋。正如瑞-達(dá)里奧在其《原則》一書中提及螺旋模型。如下圖所示：

image.png

同時(shí)肖卧，“迭代質(zhì)量預(yù)警機(jī)制” 其自身也具備“可迭代性”蚯窥。可以通過 5 步法持續(xù)改進(jìn)研發(fā)工程質(zhì)量塞帐，后文將通過展開其計(jì)算邏輯詳細(xì)說明拦赠。此處先介紹“迭代質(zhì)量預(yù)警機(jī)制” 的應(yīng)用原理。如下圖所示：

image.png

1. 目標(biāo)：依據(jù)質(zhì)量指標(biāo)基線葵姥，結(jié)合 SMART 原則設(shè)置“跳一下”能達(dá)到的挑戰(zhàn)性目標(biāo)荷鼠，并清晰的量化出來。比如：缺陷引入率（需求）通過雙月從 2.0 bug/需求提升至 1.5 bug/需求榔幸；

2. 問題：通過三級(jí)指標(biāo)下鉆分析卡點(diǎn)允乐、痛點(diǎn)并做列舉排序矮嫉。比如：通過缺陷歸屬TOP榜重點(diǎn)下鉆缺陷貢獻(xiàn)“大戶”；結(jié)合缺陷分布牍疏，缺陷歸因等二級(jí)蠢笋、三級(jí)指標(biāo)優(yōu)先分析P0、P1缺陷鳞陨，以及缺陷高頻出現(xiàn)的場景昨寞；

3. 診斷：通過“5 WHY”方法，定位問題根因厦滤。比如：邊界未考慮编矾、接后端接口約定變更、錯(cuò)誤合入代碼等等馁害；

4. 方案：針對(duì)問題根因制定優(yōu)化措施窄俏，優(yōu)化措施按時(shí)間軸組合成實(shí)施方案。比如：邊界場景開發(fā) UT 覆蓋碘菜，測試用例針對(duì)覆蓋凹蜈；統(tǒng)一的API管理平臺(tái)與規(guī)則落實(shí)；每個(gè)MR 由專人CR 后合入忍啸。當(dāng)然仰坦，舉一反三形成通用方案是共識(shí)的終極目標(biāo)，考慮到可操作性计雌，迭代粒度可交付方案是現(xiàn)實(shí)折中悄晃；

5. 踐行：以迭代為實(shí)施周期踐行方案，取得改進(jìn)凿滤。此步驟妈橄，重點(diǎn)在于通過指標(biāo)大盤跟蹤過程，做出及時(shí)關(guān)注與干預(yù)翁脆，確保執(zhí)行有效性眷蚓。

在每一個(gè)目標(biāo)周期內(nèi)，通過步驟1至步驟5 的不斷循環(huán)以改善工程質(zhì)量的目的反番。接下來沙热，將詳細(xì)介紹“迭代質(zhì)量預(yù)警機(jī)制”。

“迭代質(zhì)量預(yù)警機(jī)制”是依據(jù)歷史迭代過程質(zhì)量與結(jié)果質(zhì)量數(shù)據(jù)為基礎(chǔ)罢缸，通過公式測算關(guān)鍵階段的風(fēng)險(xiǎn)等級(jí)篙贸；并以可視化的方式呈現(xiàn)以引起關(guān)注，期望制定相應(yīng)的風(fēng)險(xiǎn)降級(jí)措施規(guī)避風(fēng)險(xiǎn)發(fā)布枫疆。其中：

• 歷史迭代個(gè)數(shù)與目標(biāo)周期重合爵川，比如一個(gè)季度 5 至 6 個(gè)雙周迭代；

• 假設(shè)過程數(shù)據(jù)發(fā)展趨勢呈線性化养铸，即迭代質(zhì)量線性發(fā)展雁芙；

• 風(fēng)險(xiǎn)等級(jí)分為：高轧膘、中、低兔甘，并用紅谎碍、黃、綠染色呈現(xiàn)洞焙；

功能簡介

“迭代質(zhì)量預(yù)警機(jī)制” 將研發(fā)交付過程分為準(zhǔn)入蟆淀、過程、準(zhǔn)出以及線上四個(gè)階段澡匪，并用相應(yīng)風(fēng)險(xiǎn)等級(jí)預(yù)警準(zhǔn)入質(zhì)量熔任、過程質(zhì)量、準(zhǔn)出質(zhì)量以及線上質(zhì)量唁情。如下圖所示：

image.png

功能上有如下特征：

• 獨(dú)立性：每業(yè)務(wù)域維度疑苔，業(yè)務(wù)域各自縱向比較。確保團(tuán)隊(duì)甸鸟、迭代周期要素在功能應(yīng)用時(shí)間段內(nèi)相對(duì)穩(wěn)定惦费，如業(yè)務(wù)域團(tuán)隊(duì)采用雙周迭代模式開展研發(fā)活動(dòng)；

• 動(dòng)態(tài)性：指標(biāo)基線每迭代變化抢韭⌒狡叮基于近N個(gè)迭代測算各指標(biāo)基線，上圖顯示 N = 5刻恭。且默認(rèn)質(zhì)量指標(biāo)持續(xù)改善瞧省；

• 閉環(huán)性：引入線上質(zhì)量校準(zhǔn)準(zhǔn)入標(biāo)準(zhǔn)以及準(zhǔn)出風(fēng)險(xiǎn)規(guī)避措施有效性；（有一定反饋延遲性）

• 可迭代性：橫向關(guān)聯(lián)的階段指標(biāo)可逐步累加鳍贾；特定指標(biāo)可在縱向維度細(xì)化拆解迭代鞍匾，即：引入二級(jí)、三級(jí)指標(biāo)進(jìn)行下鉆贾漏；

• 基于統(tǒng)計(jì)原理候学，受樣本數(shù)量影響；

關(guān)聯(lián)指標(biāo)

四個(gè)階段分別選取相應(yīng)關(guān)聯(lián)的指標(biāo)纵散，下文按不同階段逐步展開并做說明。

階段1：準(zhǔn)入階段隐圾，關(guān)注準(zhǔn)入質(zhì)量伍掀。質(zhì)量度量之“三級(jí)指標(biāo)體系” 中明確：在通常情況下，設(shè)置合理的準(zhǔn)入標(biāo)準(zhǔn)（質(zhì)量門禁）有利于提前終止不達(dá)標(biāo)制品的流轉(zhuǎn)暇藏，保障流程的順暢性蜜笤，減少不必要的規(guī)模化投入盐碱。階段指標(biāo)有：

• 準(zhǔn)時(shí)提測率

• 冒煙通過率

• 冒煙缺陷率

階段2：測試執(zhí)行階段把兔，關(guān)注過程修復(fù)響應(yīng)及時(shí)性以及修復(fù)質(zhì)量沪伙。階段指標(biāo)有：

• 缺陷日清率

• 缺陷reopen次數(shù)

階段3：準(zhǔn)出階段，關(guān)注準(zhǔn)出質(zhì)量县好。缺陷引入率是最直接描述軟件內(nèi)建質(zhì)量的指標(biāo)围橡。從需求、開發(fā)（人均）缕贡、工時(shí)（開發(fā)） 3 個(gè)層面反映迭代的缺陷密度翁授。常規(guī)觀測是需求維度的缺陷引入率，而需求受顆粒度大小影響晾咪；從而進(jìn)一步引入開發(fā)人均缺陷的觀測收擦；同時(shí)，引入開發(fā)工時(shí)缺陷引入率作為其參考指標(biāo)谍倦。因此塞赂，階段指標(biāo)有：

• 缺陷引入率（需求）

• 缺陷引入率（開發(fā)）

• 缺陷引入率（工時(shí)）

階段4：生產(chǎn)運(yùn)營階段，關(guān)注線上質(zhì)量昼蛀。以達(dá)到校準(zhǔn)風(fēng)險(xiǎn)預(yù)警功能和必要的風(fēng)險(xiǎn)規(guī)避措施的作用宴猾，形成閉環(huán)反饋系統(tǒng)。階段結(jié)果指標(biāo)有：

• P0曹洽、P1生產(chǎn)故障

• 其它生產(chǎn)故障

• 冒煙點(diǎn)

• 線上問題數(shù)（bug歸因）

• 線上問題總數(shù)

風(fēng)險(xiǎn)測算邏輯

基于近 N 個(gè)迭代的關(guān)鍵指標(biāo)數(shù)據(jù)鳍置，通過公式測算其波動(dòng)大小及變化趨勢，得出紅送淆、黃税产、綠的亮燈提示，以幫助測試同學(xué)快速識(shí)別風(fēng)險(xiǎn)等級(jí)偷崩，并促成應(yīng)有的關(guān)注與風(fēng)險(xiǎn)規(guī)避措施辟拷。其中：

• 測算基于統(tǒng)計(jì)概念設(shè)計(jì)，準(zhǔn)確性隨著樣本的增多呈線性關(guān)系阐斜；

• 各研發(fā)交付階段的風(fēng)險(xiǎn)提示衫冻，取所在階段的風(fēng)險(xiǎn)最高值；

• 指標(biāo)存在“正向指標(biāo)”和“負(fù)向指標(biāo)”谒出，前者越大越好隅俘，后者則相反；

• 圖例中N = 5 笤喳，即：近三個(gè)月的時(shí)間周期为居；每個(gè)指標(biāo)計(jì)算其均值 A (AVERAGE)及標(biāo)準(zhǔn)差 S (STDEVP)以劃定歷史基線及其波動(dòng)上、下限杀狡；

• 亮燈規(guī)則：舉例正向指標(biāo)蒙畴，詳見下圖所示：

• 當(dāng)前指標(biāo)值在波動(dòng)區(qū)間（A-S，A+S）呜象，且環(huán)比增長則亮綠燈膳凝；

• 環(huán)比降低則亮黃燈碑隆；

• 如果超出 A-S 則亮紅燈；

image.png

風(fēng)險(xiǎn)提示邏輯

接上圖蹬音，進(jìn)一步說明風(fēng)險(xiǎn)提示邏輯：

• 基于相對(duì)“粗粒度指標(biāo)”的指標(biāo)（一級(jí)指標(biāo)）計(jì)算上煤，該類指標(biāo)一般可以反映實(shí)際事件的組合特征；比如：提測質(zhì)量祟绊、內(nèi)建質(zhì)量楼入。

• 各階段指標(biāo)有一定關(guān)聯(lián)，各階段風(fēng)險(xiǎn)取高風(fēng)險(xiǎn)預(yù)警（質(zhì)量標(biāo)準(zhǔn)取高值原則）牧抽；

• 預(yù)期各階段向好發(fā)展嘉熊，對(duì)指標(biāo)的要求（質(zhì)量標(biāo)準(zhǔn)）動(dòng)態(tài)變化；

說明：計(jì)算結(jié)果為理論計(jì)算反映扬舒，需要測試同學(xué)結(jié)合“內(nèi)部反饋”對(duì)指標(biāo)進(jìn)行定性描述與說明阐肤，類似醫(yī)生基于實(shí)驗(yàn)室報(bào)告，并結(jié)合實(shí)際線下case共同診斷病灶讲坎。

一線典型場景

依據(jù)前3個(gè)階段以及每個(gè)階段3種風(fēng)險(xiǎn)級(jí)別孕惜，可通過笛卡爾積產(chǎn)出 27 種理論場景。下文選取一些典型場景說明該功能如何應(yīng)用晨炕。

場景描述：弱質(zhì)量門禁（理論場景#12）

特征：冒煙通過率環(huán)比下降衫画，內(nèi)建質(zhì)量質(zhì)量明顯下降；冒煙采樣未反應(yīng)較客觀版本質(zhì)量瓮栗，需求削罩、開發(fā)缺陷引入率超出波動(dòng)上限。

image.png

場景描述：內(nèi)建質(zhì)量不佳费奸，測試兜底壓力大弥激，產(chǎn)生線上概率遺漏（理論場景#27）

特征：延期提測，提測質(zhì)量下降愿阐；缺陷修復(fù)不及時(shí)微服；缺陷引入率高；線上問題（生產(chǎn)故障）數(shù)不收斂缨历。

image.png

場景描述：個(gè)別需求質(zhì)量不佳以蕴，內(nèi)建質(zhì)量整體較好（理論場景#13）

特征：個(gè)別需求冒煙不通過，過程修復(fù)較慢辛孵，整體質(zhì)量較好舒裤。

image.png

文末總結(jié)

理論指導(dǎo)實(shí)踐，實(shí)踐完善理論觉吭。理論與實(shí)踐兩者呈現(xiàn)螺旋上升促進(jìn)的關(guān)系。

“迭代質(zhì)量預(yù)警機(jī)制”是依據(jù)歷史迭代過程質(zhì)量與結(jié)果質(zhì)量數(shù)據(jù)為基礎(chǔ)仆邓，通過公式測算關(guān)鍵階段的風(fēng)險(xiǎn)等級(jí)鲜滩；并以可視化的方式呈現(xiàn)以引起關(guān)注伴鳖，期望制定相應(yīng)的風(fēng)險(xiǎn)降級(jí)措施規(guī)避風(fēng)險(xiǎn)發(fā)布。

在每一個(gè)目標(biāo)周期內(nèi)徙硅，循環(huán)步驟1至步驟5（目標(biāo)榜聂、問題、診斷嗓蘑、方案须肆、踐行），不斷循環(huán)以改善工程質(zhì)量的目的桩皿。