本文轉(zhuǎn)載自:騰訊WeTest專欄--《Andriod碎片化怎么破顷扩?騰訊“老”測試與您分享手游兼容性測試心得》
作為一個(gè)移動(dòng)端開發(fā)者拐邪,你一定對測試機(jī)再熟悉不過,或多或少隘截,你總接觸過十幾扎阶、幾十臺(tái)測試機(jī),但對
于在測試機(jī)上找BUG的你婶芭,或走馬觀花东臀,或苦苦尋找,是否真的了解你究竟在測些什么犀农?有哪些東西需要測惰赋?測多少臺(tái)手機(jī)才夠?甚至……花這些錢買測試機(jī)和精力來做測試是不是必要井赌?有這些個(gè)時(shí)間谤逼,是不是跟團(tuán)隊(duì)里的兄弟擼個(gè)串鞏固下友誼來的更實(shí)在?仇穗!
需求源于用戶的痛點(diǎn),我們以移動(dòng)游戲?yàn)槔萑疲纯从脩魧τ诩嫒菪詥栴}的吐槽:
? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? 圖片1用戶吐槽
? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? 圖2花屏
閃退纹坐、無法兼容、無響應(yīng)舞丛,收取罵聲一片……這些問題確乎存在耘子,尤其集中在安卓平臺(tái)果漾。
安卓應(yīng)用開發(fā)成本小,獲取用戶也相對容易谷誓。但安卓平臺(tái)有一個(gè)最大的缺點(diǎn)绒障,那就是碎片化:設(shè)備繁多,品牌眾多捍歪,版本各異户辱,分辨率不統(tǒng)一等等。無法一一考慮兼容性糙臼,保證應(yīng)用庐镐、游戲?qū)τ谒惺謾C(jī)的適配兼容,用戶的吐槽之聲就無法熄滅变逃。
? ? ? ? ? ? ? ? ? ? ? ? (Android碎片化細(xì)分維度——數(shù)據(jù)來自騰訊IEG適配測試中心)
數(shù)據(jù)上可以明顯看出必逆,android碎片化主要體現(xiàn)在機(jī)型上,細(xì)分下去還關(guān)乎系統(tǒng)版本揽乱、手機(jī)品牌(定制rom)名眉、分辨率等好幾個(gè)維度,總而言之凰棉,千奇百怪损拢,數(shù)量繁多。
因?yàn)榍袑?shí)意識到了Android的碎片化帶來的問題和造成的損失渊啰,一些移動(dòng)開發(fā)者測試開始由了專業(yè)化適配測試的概念探橱,并逐漸開始重視這個(gè)問題。
適配不夠绘证,數(shù)量來湊
為了解決機(jī)型碎片化隧膏,平時(shí)發(fā)布一個(gè)手游或迭代一個(gè)大版本前,都需要做一個(gè)比較全面的適配測試嚷那。
為了體現(xiàn)適配測試的全面性胞枕,一些土豪開發(fā)者團(tuán)隊(duì)開始一擲千金,購買測試機(jī)魏宽,
今天出了小米4腐泻?買!
昨天出了魅族note2队询?買派桩!
錘子堅(jiān)果?買蚌斩!
……
買買買是否能夠奏效铆惑?很可惜的是,答案對于土豪來說是殘酷的,即使是集齊了市面上覆蓋率TOP100也只是覆蓋了市面上30%的使用者员魏,要繼續(xù)購齊TOP300和TOP500的機(jī)型丑蛤?那買買買可有盡頭?為了購置大批測試機(jī)撕阎,采購受裹、維護(hù)也是一系列的成本,讓開發(fā)者頭疼虏束。
? ? ? ? ? ? ? ? ? ? ? ? ? (Android TOP機(jī)型的覆蓋率——數(shù)據(jù)來自騰訊IEG適配中心)
退一步說棉饶,即使購置了大量機(jī)器,隨之帶來的人力壓力開始越來越大魄眉,你買完了市面上TOP100的機(jī)器砰盐,但你的測試人員測的過來全部100臺(tái)機(jī)器嗎?
面臨種種專業(yè)性和成本問題坑律,大小移動(dòng)開發(fā)者團(tuán)隊(duì)將解決方案的尋求投向了外部市場岩梳。
市場現(xiàn)有的解決辦法
在目前市場上還真有好幾家兼容性測試服務(wù)提供商,這些服務(wù)商購置大批手機(jī)晃择,然后在云端為用戶完成游戲冀值、應(yīng)用的適配測試。
這種服務(wù)對于移動(dòng)測試者來說省心省力宫屠,但具體看看對方的產(chǎn)品方案:“三千元Top300機(jī)型兼容測試”列疗,“四千元TOP600機(jī)型兼容測試”。
機(jī)型數(shù)量奇高浪蹂,價(jià)格也奇高抵栈,那么問題就來了,花費(fèi)如此之高的價(jià)格測試這么多機(jī)型是否真的需要呢坤次?
騰訊游戲的是怎么做的
我們騰訊游戲已積淀十年有余古劲,是中國游戲當(dāng)之無愧的老大,但在面對安卓市場的碎片化問題上缰猴,也曾走過一段曲折的路程产艾。我們一開始嘗試增加測試機(jī)型,作為土豪的騰訊游戲的直接支持部門滑绒,豪擲幾百臺(tái)測試機(jī)當(dāng)然不成問題闷堡,但隨著手機(jī)越來越多,測試戰(zhàn)線越拉越長疑故,發(fā)現(xiàn)的BUG越來越多杠览,我們卻開始疑惑:
我是否真的需要測這么多的手機(jī)?
花很多錢買來的測試機(jī)是否覆蓋了核心用戶的測試機(jī)型纵势?是否覆蓋了最重要的測試機(jī)型倦零?
許多重復(fù)問題在不同手機(jī)上再三出現(xiàn)误续,花費(fèi)大量的時(shí)間測試出來這些重復(fù)的問題吨悍,浪費(fèi)的時(shí)間浪費(fèi)資源要如何規(guī)避扫茅?
在用戶測試反復(fù)迭代的過程中,許多的機(jī)型已經(jīng)相當(dāng)老舊育瓜,但仍出現(xiàn)在測試機(jī)庫中葫隙,這些機(jī)器還要測嗎?測出來的BUG還要修嗎躏仇?
測試的結(jié)果真的都是我所需要的嗎恋脚?
“最需要修復(fù)的Bug80%都集中在了20%的機(jī)器上”,80/20原則在適配兼容測試過程中也同樣適用焰手。大量的測試機(jī)器中必然充斥著眾多邊緣機(jī)型糟描,這些機(jī)型所測出的適配兼容性問題,不僅難修书妻,而且修復(fù)后產(chǎn)生的作用也并不顯著船响,開發(fā)拿到了一堆測試提交的冷僻機(jī)型上的BUG,不免有雞肋之感:修之無味躲履,棄之可惜见间。
隨著騰訊游戲業(yè)務(wù)的迅猛發(fā)展,我們要支持的游戲項(xiàng)目組越來越多工猜,我們開始出現(xiàn)了適配兼容測試人力投入嚴(yán)重米诉,眾多新項(xiàng)目都無法支持過來的情況,同時(shí)篷帅,測試出來的大量bug大量掛起不被修復(fù)史侣,這件事情讓騰訊游戲測試部門開始重新思考兼容性測試的優(yōu)化和規(guī)范。
痛定思痛魏身,我們采取了幾項(xiàng)措施:
1惊橱、我們決定花更多的時(shí)間在最主流機(jī)型的主要BUG上,對于所有騰訊游戲項(xiàng)目叠骑,均只測TOP100的機(jī)型李皇。
2、比起機(jī)型的數(shù)量宙枷,我們更重視機(jī)型的市場覆蓋率掉房,尤其是游戲機(jī)型的市場覆蓋率,因此我們緊跟市場趨勢慰丛,根據(jù)游戲用戶機(jī)型占比卓囚,每月進(jìn)行機(jī)型采購,保持機(jī)型庫中的TOP100機(jī)型全都是當(dāng)下的最熱機(jī)型诅病。
3哪亿、適配兼容性測試中包含了大量的重復(fù)操作粥烁,經(jīng)過騰訊游戲多年技術(shù)積累,普通項(xiàng)目的普通的遍歷測試蝇棉,我們用自動(dòng)化測試取代部分人工勞動(dòng)讨阻,減輕人力成本,我們的自動(dòng)探索云自動(dòng)化測試技術(shù)對于游戲場景的覆蓋率篡殷,目前屬于業(yè)內(nèi)第一钝吮。
市面上所有的騰訊手游,包括《全民突擊》板辽、《節(jié)奏大師》奇瘦、《天天酷跑》、《天天愛消除》等等劲弦,均采用了這套測試標(biāo)準(zhǔn)與方案耳标,專注TOP100手機(jī)的測試方案歷經(jīng)了市場和玩家的檢驗(yàn),是我們探索至今投入產(chǎn)出比達(dá)到最優(yōu)的兼容性測試解決方案邑跪。
關(guān)于最佳的測試方案
目前騰訊游戲的兼容性測試已對外開放次坡,而且只要成為我們的認(rèn)證用戶,這項(xiàng)服務(wù)有足量的免費(fèi)應(yīng)用額度呀袱。
簡單的來說贸毕,登錄WeTest網(wǎng)站,使用WeTest適配兼容測試(http://wetest.qq.com)夜赵,就可以以騰訊游戲的測試標(biāo)準(zhǔn)和服務(wù)來測試您的產(chǎn)品明棍。
兼容性測試方案,從測試深度寇僧,到測試廣度摊腋,從來都沒有一個(gè)最優(yōu)解,但我們也在不斷探索尋找對于廣大開發(fā)者來說性價(jià)比最優(yōu)嘁傀、最實(shí)在的解決方案兴蒸。