關(guān)于內(nèi)測(cè)相關(guān)流程，總結(jié)一下我們?cè)缙谠?jīng)做過(guò)內(nèi)測(cè)的經(jīng)驗(yàn)霎箍，做了一個(gè)簡(jiǎn)單的流程梳理祈匙，以及我們目前存在的問(wèn)題和需要做的工作也做了說(shuō)明,也歡迎各位補(bǔ)充.
早期在三個(gè)平臺(tái)中，從曾經(jīng)做過(guò)的WP平臺(tái)來(lái)說(shuō).走了很多彎路也收獲一些可行的經(jīng)驗(yàn).
內(nèi)測(cè)目的
內(nèi)測(cè)在我們內(nèi)部其實(shí)已經(jīng)做了很久.從幾個(gè)大的方面來(lái)梳理我們內(nèi)測(cè)目的如下:
A:產(chǎn)品-驗(yàn)證早期產(chǎn)品設(shè)想是否達(dá)到預(yù)期,獲取更多有效反饋完善細(xì)節(jié)&修正偏差.
B:開(kāi)發(fā)-上線前能夠覆蓋足夠多的機(jī)型和不同使用場(chǎng)景獲取更多Bug修復(fù)機(jī)會(huì).
C:運(yùn)營(yíng)-高頻率內(nèi)測(cè)能夠形成一定用戶關(guān)注&培養(yǎng)品牌忠誠(chéng)度.借勢(shì)運(yùn)營(yíng)...
More...
內(nèi)測(cè)流程
如上梳理的是我們已經(jīng)做過(guò)內(nèi)測(cè)流程,內(nèi)測(cè)整個(gè)流程涉及的細(xì)節(jié)偏多.為了保證各位能夠很好理解并準(zhǔn)確了解各個(gè)環(huán)節(jié)細(xì)節(jié)和存在的問(wèn)題鲜侥，如下我會(huì)逐個(gè)對(duì)每個(gè)環(huán)節(jié)進(jìn)行分解說(shuō)明.
1.招募內(nèi)測(cè)用戶
內(nèi)測(cè)用戶招募上我們現(xiàn)在一般通過(guò)官方論壇發(fā)帖褂始，然后通過(guò)官方微博或其他第三方社區(qū)轉(zhuǎn)發(fā)途徑然來(lái)招募. 這個(gè)流程存在如下問(wèn)題：
A:招募用戶面有限.
B:內(nèi)測(cè)用戶質(zhì)量參差不齊,主要體現(xiàn)在是否針對(duì)我們內(nèi)測(cè)有主動(dòng)的反饋意愿? 另外就是反饋問(wèn)題的質(zhì)量.
C:內(nèi)測(cè)用戶在我們內(nèi)部缺乏有效管理和長(zhǎng)期的維護(hù)，活躍度低且流失嚴(yán)重.
D:內(nèi)測(cè)資格缺乏管理描函，用戶參加內(nèi)測(cè)成本偏高,類似論壇登錄的限制崎苗，內(nèi)測(cè)資格獲取等
對(duì)招募用戶大致可分為兩個(gè)大的類別:
A:關(guān)注我們品牌&產(chǎn)品,熟悉同行業(yè)或一線app,對(duì)產(chǎn)品細(xì)節(jié)有自我訴求.?
B:普通用戶.因?yàn)榭蛻舳擞脩艋鶖?shù)偏大,平臺(tái)不同伴隨機(jī)型和支持的系統(tǒng)版本&分辨率細(xì)節(jié)上也有很大差異狐粱，普通用戶能夠在內(nèi)測(cè)覆蓋面上最接近真實(shí)發(fā)布后場(chǎng)景，能在上線前有效發(fā)現(xiàn)我們應(yīng)用自身的Bug胆数，提供有力保障.
B類用戶基本招募上已經(jīng)沒(méi)什么要求肌蜻，保證基數(shù)和持有設(shè)備多樣化即可.A類用戶則需要針對(duì)不同平臺(tái)去找相關(guān)垂直社區(qū)(A類用戶聚集地方)，類似生態(tài)媒體都能很好挖掘到. 重點(diǎn)在A類上多下點(diǎn)功夫會(huì)節(jié)省很多后續(xù)我們自己的篩選成本.
招募方式上.我們?cè)瓉?lái)流程是通過(guò)論壇&或者其他第三方社區(qū)來(lái)做必尼，而整個(gè)內(nèi)測(cè)資格收集和發(fā)放沒(méi)有一個(gè)統(tǒng)計(jì)的管理.而且是純手工的.費(fèi)時(shí)費(fèi)力.很難有效控制內(nèi)測(cè)資格.改善如下:
在官方網(wǎng)站增加一個(gè)關(guān)于內(nèi)測(cè)的入口.所有招募新用戶內(nèi)測(cè)資格都從這里統(tǒng)一由參加內(nèi)測(cè)的用戶自己申請(qǐng)錄入蒋搜，并可以在我們后臺(tái)上針對(duì)不同平臺(tái)[IOS/Android/WP]的不同應(yīng)用版本[5.0/5.1]控制內(nèi)測(cè)用戶的資格和數(shù)量. 當(dāng)用戶內(nèi)測(cè)資格在后臺(tái)通過(guò)管理員審核通過(guò)后并以Email方式通知該用戶.同時(shí)在內(nèi)測(cè)后臺(tái)發(fā)布新的內(nèi)測(cè)版本包后也可以通過(guò)email方式邀請(qǐng)未獲取內(nèi)測(cè)資格的用戶參加內(nèi)測(cè).
在開(kāi)放給用戶申請(qǐng)內(nèi)測(cè)時(shí).考慮到需要后臺(tái)審核，如果在審核時(shí)增加一個(gè)申請(qǐng)理由的描述判莉，后臺(tái)管理員可以優(yōu)先審核通過(guò)有描述且比較關(guān)心我們產(chǎn)品用戶優(yōu)先加入審核. 如果我們?cè)谀硞€(gè)版本做了一個(gè)機(jī)型或系統(tǒng)版本的適配. 則可以優(yōu)先審核通過(guò)對(duì)應(yīng)的機(jī)型和系統(tǒng)版本申請(qǐng)用戶.這樣利于我們能夠內(nèi)測(cè)用戶選擇上針對(duì)性更強(qiáng).
2.內(nèi)測(cè)用戶篩選和管理
經(jīng)過(guò)在WP平臺(tái)上長(zhǎng)期的實(shí)踐豆挽，我們發(fā)現(xiàn)雖然能夠招募過(guò)來(lái)很多有效的內(nèi)測(cè)用戶，但不同用戶之間對(duì)產(chǎn)品的訴求券盅，自我主動(dòng)反饋的意愿等存在很大的差異.為了保證管理上效率帮哈，我們針對(duì)內(nèi)測(cè)坐了一定的篩選和分離 如下:
我們把那些關(guān)注我們產(chǎn)品，具有主動(dòng)反饋意愿且熟悉行業(yè)app產(chǎn)品渗饮，反饋頻率和內(nèi)容質(zhì)量較高的用戶從早期論壇&微博&QQ群里篩選到微信群進(jìn)行重點(diǎn)維護(hù). 而對(duì)于那些持有不同設(shè)備和系統(tǒng)版本的技術(shù)較大的但汞，很那提供有效反饋的普通用戶則繼續(xù)放在QQ群里，我們定期根據(jù)論壇和QQ群反饋內(nèi)容質(zhì)量進(jìn)行篩選和甄別. 把符合條件用戶拉到核心用戶群.
QQ群并不適合跟用戶探討產(chǎn)品細(xì)節(jié)或者收集有效的反饋.偏向娛樂(lè)化和碎片化較嚴(yán)重.相對(duì)來(lái)說(shuō)控制了人數(shù)和質(zhì)量微信群上下文較比較連貫完整.只需要平時(shí)把大部分精力放核心用戶群維護(hù)上互站，適合在小范圍討論產(chǎn)品上一些問(wèn)題,就能很好收集到質(zhì)量較高的反饋.?
而這個(gè)篩選和維護(hù)的過(guò)程是長(zhǎng)期私蕾，并非能一勞永逸.而最適合做這件事的角色一般是非常熟悉整個(gè)項(xiàng)目業(yè)務(wù)和技術(shù)實(shí)現(xiàn)細(xì)節(jié)的人.所以TeamLeader 是不二的人選.
3.內(nèi)測(cè)版本包的發(fā)布
版本包的發(fā)布上，雖然各個(gè)平臺(tái)(IOS胡桃、Android踩叭、WP)各自流程差異巨大.但依然存在很多共性.這也是我們尋求統(tǒng)一控制解決方案的關(guān)鍵.
WP平臺(tái)內(nèi)測(cè)流程如下:
Ms官方對(duì)WP應(yīng)用內(nèi)測(cè)支持很好,只需要收集用戶的Live Id(類似AppleId),在官方市場(chǎng)發(fā)布內(nèi)測(cè)包，內(nèi)測(cè)包包含符合內(nèi)測(cè)資格用戶的Live Id翠胰，上傳官方市場(chǎng)后內(nèi)測(cè)版本是搜索不可見(jiàn)的.審核通過(guò)后容贝，官方給出一個(gè)下載鏈接，把下載鏈接分發(fā)給用戶后之景，當(dāng)用戶其點(diǎn)開(kāi)鏈接下載時(shí)會(huì)驗(yàn)證用戶手機(jī)綁定Live Id是否在內(nèi)測(cè)資格符合,如果不符合則無(wú)法正常下載.反之正常使用.
PS:[如果用戶是開(kāi)發(fā)者手機(jī)已經(jīng)解鎖或系統(tǒng)強(qiáng)制越獄 則可以通過(guò)分發(fā)xap安裝包]
IOS平臺(tái)內(nèi)測(cè)流程如下:
IOS平臺(tái)內(nèi)測(cè)則相對(duì)簡(jiǎn)單很多,通過(guò)采用adhoc分發(fā)或者企業(yè)證書(shū)方式,直接打包成IPA.測(cè)試用戶通過(guò)下載鏈接下載IPA文件即可在用戶手機(jī)不越獄情況安裝內(nèi)測(cè)包.相對(duì)于WP平臺(tái),IOS內(nèi)測(cè)流程存在兩個(gè)問(wèn)題:
A:一旦開(kāi)放下載鏈接斤富，無(wú)法有效控制內(nèi)測(cè)用戶的資格.
B:企業(yè)開(kāi)發(fā)者賬戶如果被Apple官方發(fā)現(xiàn)濫用情況下，有被意外被封掉的風(fēng)險(xiǎn).
Android平臺(tái)內(nèi)測(cè)流程如下:
Android平臺(tái)因?yàn)闄C(jī)型和應(yīng)用市場(chǎng)分化較多. Google Play官方市場(chǎng)提供相應(yīng)內(nèi)測(cè)機(jī)制,但實(shí)際情況是普通用戶使用率較低锻狗，且官方市場(chǎng)經(jīng)常存在連接不上的問(wèn)題.基本上Android 用戶都能通過(guò)直接給apk安裝包方式實(shí)現(xiàn)內(nèi)測(cè)包的安裝. 門(mén)檻算是三個(gè)平臺(tái)最低的.
如上三個(gè)平臺(tái)內(nèi)測(cè)機(jī)制和流程已經(jīng)非常清晰.重點(diǎn)來(lái)考慮IOS和Android平臺(tái)內(nèi)測(cè).Well兩個(gè)平臺(tái)共同點(diǎn)為我們尋求統(tǒng)一的解決方案提供了可能.
流程統(tǒng)一后梳理如下:
把IOS和Android統(tǒng)一后,首先招募內(nèi)測(cè)用戶通過(guò)官網(wǎng)內(nèi)測(cè)入口满力，錄入必要用戶信息后申請(qǐng)對(duì)應(yīng)平臺(tái)(IOS/Android)內(nèi)測(cè)資格. 后臺(tái)管理員審核內(nèi)測(cè)資格通過(guò)后.email郵件方式告知內(nèi)測(cè)用戶申請(qǐng)成功. 當(dāng)對(duì)應(yīng)平臺(tái)發(fā)布新的內(nèi)測(cè)版本包時(shí),選擇參加本次版本包內(nèi)測(cè)用戶(內(nèi)測(cè)用戶因?yàn)榭赡茉诓挥脠?chǎng)景使用，類似只給公司內(nèi)部員工使用轻纪，那則有必要加入內(nèi)測(cè)用戶分組功能).根據(jù)上傳版本包地址生成下載二維碼.并同時(shí)email方式把下載二維碼和更新日志通知給內(nèi)測(cè)用戶.那么整個(gè)簡(jiǎn)化后內(nèi)測(cè)流程全部走完.
可以看到其實(shí)IOS和Android 兩個(gè)平臺(tái)共性是都可以完全把安裝包開(kāi)放給普通用戶下載油额，安裝內(nèi)測(cè)包. 而我們?yōu)榱丝刂普麄€(gè)流程.需要保證內(nèi)測(cè)資格唯一性-只有內(nèi)測(cè)資格的用戶才能下載安裝參加內(nèi)測(cè). so 針對(duì)這種情況. 在內(nèi)測(cè)包發(fā)布成功后. 根據(jù)用戶提供設(shè)備信息IMEi，生成一個(gè)唯一的QRCode二維碼. 只有改用戶能夠用自己設(shè)備掃描下載.其他用戶即使有了這個(gè)二維碼刻帚，如果沒(méi)有內(nèi)測(cè)資格依然無(wú)法下載.[技術(shù)實(shí)現(xiàn)待驗(yàn)證]
其實(shí)目前方案是.因?yàn)镮OS沒(méi)有提供直接讀取設(shè)備IMEI的api. 也就意味這無(wú)法保證唯一性.所以針對(duì)這個(gè)問(wèn)題. 有一種折中解決方案. 用戶在注冊(cè)資格必須提供email地址.當(dāng)內(nèi)測(cè)版本發(fā)布成功后. 把下載二維碼通過(guò)email方式發(fā)給用戶,用戶掃描成功后潦嘶，提示用戶輸入注冊(cè)內(nèi)測(cè)資格email地址.如果這個(gè)email地址在內(nèi)測(cè)資格內(nèi). 則可以自動(dòng)下載ipa文件安裝.如果不在則提示沒(méi)有內(nèi)測(cè)資格. 這個(gè)方案 不需要客戶端做任何開(kāi)發(fā).只需要提供一個(gè)接口和一個(gè)內(nèi)測(cè)資格管理后臺(tái)即可.
待完成的工作:
A：官網(wǎng)內(nèi)測(cè)入口.(或者每次內(nèi)測(cè)發(fā)在官方引導(dǎo)用戶入口也可行).
B：內(nèi)測(cè)用戶資格申請(qǐng)&后臺(tái)審核&分組管理管理(有待商榷),審核后email通知.
C：內(nèi)測(cè)版本包管理(區(qū)分平臺(tái)).
D：內(nèi)測(cè)版本包二維碼生成&發(fā)后email通知.
具體需求可以根據(jù)上面流程在進(jìn)一步細(xì)化.這里不做贅述.
4.內(nèi)測(cè)反饋和數(shù)據(jù)量化
從原來(lái)內(nèi)測(cè)WP平臺(tái)經(jīng)驗(yàn)來(lái)說(shuō)內(nèi)測(cè)反饋收集和分類，花費(fèi)時(shí)間最多.我們現(xiàn)在發(fā)布內(nèi)測(cè)版本后崇众，因?yàn)榭蛻舳巳狈τ行?nèi)測(cè)反饋界面銜接和引導(dǎo),同時(shí)用戶反饋問(wèn)題的地方也是非常零散(微信&論壇&微博等)掂僵，導(dǎo)致每次版本發(fā)布后都需要手工分散到多個(gè)地方去收集航厚，然后根據(jù)反饋問(wèn)題數(shù)量和性質(zhì)進(jìn)行分類.耗費(fèi)了很多時(shí)間.
內(nèi)測(cè)反饋從內(nèi)容上來(lái)分類主要分為兩大塊: 產(chǎn)品相關(guān)&測(cè)試bug. 改善方案:
內(nèi)測(cè)反饋的兩大塊,涉及到產(chǎn)品相關(guān)細(xì)節(jié)和問(wèn)題根據(jù)以往經(jīng)驗(yàn)會(huì)非常多，用戶可以選擇在官方或者客戶端內(nèi)置反饋的頁(yè)面锰蓬，選擇反饋內(nèi)容分類阶淘，輸入反饋內(nèi)容.后臺(tái)根據(jù)反饋過(guò)來(lái)數(shù)據(jù)進(jìn)行篩選分類統(tǒng)計(jì).并能按照內(nèi)測(cè)報(bào)告的模板生成每個(gè)版本內(nèi)測(cè)報(bào)告,定時(shí)通過(guò)email發(fā)送給相關(guān)人員.把反饋收集&分類進(jìn)行自動(dòng)化.同時(shí)后臺(tái)能根據(jù)拿到的反饋內(nèi)容進(jìn)行分析，并形成數(shù)據(jù)量化結(jié)果.
產(chǎn)品可以根據(jù)內(nèi)測(cè)報(bào)告互妓，一定程度上評(píng)估開(kāi)發(fā)成果和產(chǎn)品是否符合預(yù)期.
針對(duì)測(cè)試Bug.可以采用Umeng統(tǒng)計(jì)或者其他第三方平臺(tái). 開(kāi)辟一個(gè)獨(dú)立內(nèi)測(cè)版本號(hào)，通過(guò)Umeng或者第三方統(tǒng)計(jì)平臺(tái)拿到客戶端出錯(cuò)的堆棧信息或日志來(lái)定位bug問(wèn)題.
----------------------------原型設(shè)想----------------------------
用戶可以通過(guò)客戶端或者官方站點(diǎn)網(wǎng)頁(yè)能夠分類瀏覽特定版本的反饋內(nèi)容. 如果遇到同樣問(wèn)題不需要重復(fù)的二次輸入.只需要在頁(yè)面Vote Up 點(diǎn)擊即代表改用戶也遇到同樣的問(wèn)題,為了防止反饋數(shù)據(jù)造假, 用戶針對(duì)同一個(gè)反饋的問(wèn)題只能Vote Up 一次. 并且該操作可撤銷. 在Vote up 用戶可以針對(duì)同一個(gè)問(wèn)題追加描述,.有助于開(kāi)發(fā)確認(rèn)解決問(wèn)題.
問(wèn)題可以根據(jù)內(nèi)測(cè)版本查看. 不同版本可以根據(jù)不同排序規(guī)則進(jìn)行排序.默認(rèn)是根據(jù)用戶反饋問(wèn)題Vote up 次數(shù)由高到底排序.
可以從問(wèn)題分類頁(yè)面點(diǎn)擊查看問(wèn)題詳情, 因?yàn)榧词瓜嗤瑔?wèn)題坤塞，可能復(fù)現(xiàn)步驟出現(xiàn)問(wèn)題情況都不同.所以產(chǎn)品&開(kāi)發(fā)可以在用戶問(wèn)題描述回復(fù).可以跟用戶溝通具體的細(xì)節(jié).如果該問(wèn)題已經(jīng)內(nèi)測(cè)版本修復(fù)并測(cè)試通過(guò),則可以關(guān)閉改反饋問(wèn)題.
Ps：如上原型圖和細(xì)節(jié)只是針對(duì)目前一些設(shè)想. 僅供參考.不作為最終解決方案. 待討論.
5.內(nèi)測(cè)延伸
昨天輝哥在群里提到新功能投票.這個(gè)完全可以在內(nèi)測(cè)用戶中加入. 而且內(nèi)測(cè)用戶也非常關(guān)心新加入功能和特性.
另外這些之外.可以針對(duì)每個(gè)內(nèi)測(cè)版本在web頁(yè)面設(shè)計(jì)一個(gè)反饋問(wèn)題墻,或者是Bug墻. 根據(jù)用戶反饋bug次數(shù)多少按照一定順序排放.并且bug每個(gè)單子上會(huì)屬上這個(gè)bug是哪個(gè)開(kāi)發(fā)人照成或負(fù)責(zé)解決的.然后開(kāi)發(fā)人員可以去解決完了之后可以自己去認(rèn)領(lǐng). 或者讓開(kāi)發(fā)人員自己跟用戶溝通解決. 并且每期都可以出一個(gè)排行榜什么的. 也可以作為運(yùn)營(yíng)的點(diǎn). 最關(guān)鍵是能夠形成開(kāi)發(fā)人員和內(nèi)測(cè)用戶之間互動(dòng).
內(nèi)測(cè)說(shuō)了這么多,除了工具提高效率之外.個(gè)人認(rèn)為最重要還是和用戶積極溝通冯勉，形成互動(dòng).認(rèn)同產(chǎn)品自身的價(jià)值，并持續(xù)在用戶鞭撻中身體力行追求卓越. 不然再好的工具也是枉然.?
寫(xiě)在最后
上面寫(xiě)了很多,關(guān)于內(nèi)測(cè)在WP平臺(tái)上曾經(jīng)花費(fèi)了很多精力和心血去做這件事. 也收獲了很多,其實(shí)更多無(wú)形東西是來(lái)自于用戶的. 如今是看不到摸不著的摹芙，但體會(huì)依然深切.我在想要是那些曾經(jīng)過(guò)去”狗血的經(jīng)歷“能留下點(diǎn)什么.給更多的后來(lái)人帶來(lái)一些幫助.這也是令人欣慰一件事.
真切的希望我們內(nèi)測(cè)能做的越來(lái)越好.
本篇博客謝絕任何形式轉(zhuǎn)載灼狰，違者必究.特此聲明. via by chenkai 2014年12月11日22:06:28
