本文章轉載于搜狗測試
背景
小編所在的項目迭代速度快缀拭,對于版本是否上線谆吴,是由產品根據當前版本的需求及質量情況而定煎谍。但是版本的質量如何衡量呢些侍?作為測試人員隶症,首要任務就是質量保證并反饋質量情況,如果質量標準不能合理衡量岗宣,可能會給產品蚂会、開發(fā)帶來質量上的誤解,對于用戶的體驗及產品的留存率都有影響耗式。
今天小編從功能胁住、穩(wěn)定性、性能刊咳、質量風險措嵌、內部體驗這幾方面談談如何評價一款產品的質量好壞以及產品的上線標準。
功能正確性
1芦缰、需求實現(xiàn)
本版本所有需求都已經實現(xiàn)
2企巢、測試任務
本版本所有測試任務都已經執(zhí)行完畢
3、缺陷(Bug)修復率
bug修復情況要達標让蕾,具體的浪规,特級bug(主路徑問題及嚴重崩潰問題)需要修改完畢或听,剩余各個優(yōu)先級的bug要有相應的解決率標準值。下面是搜狗手機瀏覽器上線標準示例笋婿,具體標準值確定需要由歷史版本數(shù)據評估而出誉裆。
穩(wěn)定性
穩(wěn)定評測可以從三方面進行,自動化評測缸濒、線上灰度崩潰足丢、與上一版本數(shù)據對比。
自動化評測
(1)隨機瀏覽自動化評測結果無新增的未知的Crash發(fā)生庇配;
(2)隨機瀏覽自動化評測中所有已知Crash能夠用修復的均已修復斩跌。
線上灰度崩潰
(1)線上主進程Crash全部修復;
(2)線上子進程所有已知Crash均已修復捞慌;
(3)線上子進程沒有新增的密集的崩潰耀鸦。
與上一版本數(shù)據對比
對上一版本穩(wěn)定性對比,不差于上一版本啸澡。
性能
性能方面與產品的特征有較大關系袖订,以下是搜狗手機瀏覽器的示例,測試人員可以根據自身產品特點制定自己特有的性能指標嗅虏。
1洛姑、頁面加載性能
Wifi頁面加載速度與上一版本相比,不能下降皮服。
2G3G頁面加載速度與上一版本相比吏口,不能下降。
2冰更、冷啟動時間評測
冷啟動時間與上一版相比产徊,不能增加。
向競品看齊蜀细,與競品的差距情況公示舟铜。
3、主觀性能感知
高端機不能有非车煜危卡的情況谆刨,有點卡的情況也應該控制數(shù)量
高中低端機均不能有較線上版明顯的卡頓內容
質量風險
1、? 三方對bug归斤,進行一一核對痊夭,避免發(fā)生嚴重問題未修改而上線的風險。
2脏里、? 三方進行bug核對她我,犧牲質量成本上線,需要做風險公示。
內部體驗
1番舆、 ?測試體驗結果
目標是本版本體驗結果不差于上一版本酝碳,具體評價標準:
(1)測試組內部安排體驗評測,沒有發(fā)現(xiàn)體驗上嚴重影響用戶的問題恨狈。
(2)公司內部同事沒有反饋體驗上嚴重影響用戶的問題疏哗。
2、 ?內側體驗結果
目標是本版本內側體驗結果不差于上一版本禾怠,具體評價標準:
內測組安排體驗評測返奉,沒有發(fā)現(xiàn)穩(wěn)定重現(xiàn)的嚴重影響用戶體驗的問題。