最好的輸入就是輸出朝群,最近進(jìn)行了一次可用性測(cè)試的分享根灯。分享會(huì)上和大家交流径缅,了解了一些實(shí)操過程中的重要點(diǎn),大多是網(wǎng)上沒有的資料烙肺,是一些寶貴的經(jīng)驗(yàn):
1纳猪、正式測(cè)試時(shí),單個(gè)任務(wù)的時(shí)間怎么計(jì)算桃笙。一個(gè)測(cè)試者需要完成3-5個(gè)任務(wù)氏堤,一個(gè)任務(wù)一個(gè)卡片,一次發(fā)一張卡片。在測(cè)試前鼠锈,主持人會(huì)介紹說“當(dāng)我說開始的時(shí)候闪檬,你就可以開始讀任務(wù)完成任務(wù)了”之類的話。所以從拿到任務(wù)卡片就可以開始計(jì)時(shí)购笆。?
2粗悯、用戶的行為是不可預(yù)期的。如在實(shí)際測(cè)試的過程中同欠,就算用戶完成了一個(gè)任務(wù)样傍,他會(huì)繼續(xù)點(diǎn)擊查看其他的內(nèi)容,原因可能是他不確定是否完成了任務(wù)铺遂。?
3衫哥、一些資料會(huì)推薦一個(gè)用戶的時(shí)間大概是25-40分鐘,時(shí)間長(zhǎng)了可能不耐煩襟锐。但是撤逢,如果用戶是通過層層篩選選來的,是有償?shù)陌聘敲礈y(cè)試時(shí)間可能達(dá)到90分鐘/人笛质,因?yàn)橐M量不浪費(fèi)資源。?
4捞蚂、測(cè)試過程中妇押,有的用戶會(huì)表現(xiàn)出煩躁、敷衍等行為姓迅,主持人要及時(shí)的停止測(cè)試敲霍,因?yàn)闇y(cè)試數(shù)據(jù)可能不準(zhǔn)確。
?5丁存、對(duì)于“精品用戶”肩杈,如第3點(diǎn)中提到的,每個(gè)用戶需要測(cè)試90分鐘解寝,那么一般一下午只能安排3名左右的測(cè)試者扩然。
?6、做了就比不做好聋伦。專業(yè)的可用性測(cè)試需要專門的設(shè)備夫偶、資源,但是也可以根據(jù)自己的實(shí)際預(yù)算觉增、產(chǎn)品的階段進(jìn)行簡(jiǎn)單的可用性測(cè)試兵拢。
以下是分享會(huì)的內(nèi)容,分可用性測(cè)試的介紹和步驟兩部分逾礁,其中步驟又分為測(cè)試前的準(zhǔn)備说铃、正式測(cè)試、測(cè)試后數(shù)據(jù)的分析3個(gè)小部分。
一腻扇、介紹
1债热、定義
在特定場(chǎng)景中,通過觀察用戶完成特定任務(wù)時(shí)衙解,所產(chǎn)生的一系列指標(biāo)阳柔。常見的3個(gè)指標(biāo)是:有效性焰枢、效率蚓峦、用戶滿意度。
·有效性:用戶完成任務(wù)的完成度济锄,對(duì)應(yīng)用戶目標(biāo)暑椰;
·效率:用戶完成任務(wù)需要耗費(fèi)的時(shí)長(zhǎng);
·用戶滿意度:用戶對(duì)該系統(tǒng)的舒適度和認(rèn)可度荐绝,偏主觀一汽。
2、可用性測(cè)試方法有哪些低滩?
網(wǎng)上搜索“可用性測(cè)試”或“usability method”召夹,會(huì)發(fā)現(xiàn)有很多的研究方法,比如原型測(cè)試恕沫、問卷調(diào)查等幾十種监憎。這是因?yàn)榭捎眯詼y(cè)試并不是單一的方法,它是由多種方法組成的婶溯。
根據(jù)自己產(chǎn)品的性質(zhì)鲸阔、所處的不同階段、經(jīng)費(fèi)等迄委,采用不同的方法組合來做可用性測(cè)試褐筛。比如在產(chǎn)品初期,可能只有概念稿叙身、紙質(zhì)版原型渔扎,也是可以做可用性測(cè)試的;公司經(jīng)費(fèi)允許信轿,想做的更專業(yè)晃痴,可以找第三方公司做可用性測(cè)試,比如眼動(dòng)測(cè)試就需要專業(yè)的設(shè)備虏两。
此外愧旦,可用性測(cè)試并不是專門給用研人員用的。產(chǎn)品經(jīng)理可以驗(yàn)證原型定罢、交互設(shè)計(jì)師可以發(fā)現(xiàn)可用性問題笤虫、視覺設(shè)計(jì)師有類似圖標(biāo)的可用性測(cè)試和內(nèi)容的可用性測(cè)試等,所以掌握可用性測(cè)試,是一個(gè)非城眚牵基本的技能酬凳。
下圖列出的是可用性測(cè)試中常見到的一些方法:
在這種圖中,大部分的方法我們工作中都有接觸遭庶。從最底部往上看:紅色的是面向?qū)<业姆椒校热绻緝?nèi)部設(shè)計(jì)方案評(píng)審;綠色方法比如面對(duì)面測(cè)試峦睡,如我們平時(shí)找同事尋求意見等翎苫;卡片分類法常用在互聯(lián)網(wǎng)行業(yè)中,規(guī)劃和設(shè)計(jì)信息架構(gòu)榨了〖宓……所以可用性測(cè)試的很多子方法,我們都或多或少接觸過龙屉。
3呐粘、可用性測(cè)試分類
這么多的方法如何排列組合,怎么用呢转捕?
一般情況作岖,把可用性測(cè)試分為2大類:形成型可用性測(cè)試和總結(jié)型可用性測(cè)試。簡(jiǎn)單看來這兩大類的區(qū)別是:前者適用于項(xiàng)目前期五芝,后者適用于項(xiàng)目上線后期痘儡;前者簡(jiǎn)單快速,后者專業(yè)要求高与柑;前者目的是快速發(fā)現(xiàn)問題谤辜,后者更傾向于看指標(biāo)數(shù)據(jù)。
下圖是這2大類的具體區(qū)別以及常用的方法:
4价捧、為什么做可用性測(cè)試
所以可用性測(cè)試的本質(zhì)就很好理解了丑念,功能與流程含有不確定性,找到目標(biāo)用戶還原使用場(chǎng)景進(jìn)行測(cè)試驗(yàn)證结蟋,以評(píng)測(cè)設(shè)計(jì)是否行得通脯倚、哪里需要改進(jìn),為功能上線減少風(fēng)險(xiǎn)加強(qiáng)容錯(cuò)嵌屎,減少試錯(cuò)的成本推正。
5、可用性測(cè)試流程概況
如同餐廳推出一個(gè)新系列的菜品試吃一樣宝惰,可用性測(cè)試可與試菜環(huán)節(jié)相類似植榕。為了便于理解,我們以餐廳試菜做比喻尼夺。
二尊残、步驟
以試菜為類比炒瘸,接下來就講一下可用性測(cè)試的流程是怎樣的。
tips1
就像上新菜一樣寝衫,試菜往往是針對(duì)一系列新品的研究顷扩,并不是面向整個(gè)菜品的,可用性測(cè)試很少用于研究用戶對(duì)產(chǎn)品或服務(wù)的整體體驗(yàn)慰毅。
tips2
試菜流程根據(jù)餐廳實(shí)際情況隘截,可以招募一波試吃路人,也可以小范圍內(nèi)不試吃汹胃。所以所婶芭,我們給出的可用性測(cè)試步驟,是通用的而非標(biāo)準(zhǔn)统台,根據(jù)實(shí)際情況取舍雕擂。
將可用性測(cè)試的整個(gè)過程分為:測(cè)前準(zhǔn)備,測(cè)試贱勃,測(cè)后分析3大塊。每一塊的關(guān)鍵內(nèi)容如下圖:
測(cè)前準(zhǔn)備
首先要確定目標(biāo)谤逼,有了目標(biāo)才能安排計(jì)劃贵扰。試菜的目標(biāo)可能是:推出新系列產(chǎn)品,并且借機(jī)宣傳流部。那么它的計(jì)劃中就要包含邀請(qǐng)媒體報(bào)道了戚绕。
1、確定測(cè)試目標(biāo)
2枝冀、準(zhǔn)備測(cè)試計(jì)劃
計(jì)劃中包括:目標(biāo)舞丛、測(cè)試內(nèi)容、方法果漾、時(shí)間計(jì)劃球切、用戶招募方案
在規(guī)劃測(cè)試過程之前,我們需要明確測(cè)試的方式绒障,比如是遠(yuǎn)程測(cè)試還是與用戶面對(duì)面的測(cè)試吨凑。注意為了不影響最終測(cè)試結(jié)果,需要保證樣本用戶的測(cè)試方式統(tǒng)一户辱。
3鸵钝、界定目標(biāo)測(cè)試用戶
用戶招募方案,根據(jù)產(chǎn)品的不同庐镐,可能需要不同類型的方法恩商。比如管理員類用戶和普通員工,就是典型的兩種類型的用戶必逆。這2類用戶可能存在重疊怠堪,但是測(cè)試功能模塊時(shí)候韧献,要分開模塊進(jìn)行測(cè)試。
4研叫、撰寫大綱和腳本
5锤窑、招募&篩選用戶
可以通過官方發(fā)布召集令,報(bào)名表信息含有:基本信息嚷炉、產(chǎn)品使用情況渊啰、相關(guān)競(jìng)品使用情況、是否有測(cè)試經(jīng)驗(yàn)申屹、方便時(shí)間绘证。再根據(jù)報(bào)名內(nèi)容,進(jìn)行層層篩選哗讥。
根據(jù)第3點(diǎn)中嚷那,測(cè)試用戶分類,每類大概招募6-8名用戶杆煞。
一般可用性測(cè)試單個(gè)模塊有5個(gè)測(cè)試者魏宽,就可以發(fā)現(xiàn)80%左右的問題,但是要多出1-2人備選决乎。
專業(yè)類用戶4-5人队询,自由招募5-6人
6、準(zhǔn)備測(cè)試物資
分兩類构诚,一類物料(會(huì)議室蚌斩、記錄設(shè)備),一類文檔類范嘱。
常用文檔資料如下圖:
可用性測(cè)試中的定量的問卷
我們?cè)谧霎a(chǎn)品或系統(tǒng)的可用性測(cè)試后送膳,都想把結(jié)果更好地傳遞給相關(guān)方。除了定性的研究結(jié)果之外丑蛤,還有定量的可用性問卷叠聋,這些可用性問卷是標(biāo)準(zhǔn)化的,不僅可以科學(xué)地量化用戶體驗(yàn)盏阶,也方便相關(guān)方之間有效溝通晒奕。
常見的標(biāo)準(zhǔn)化可用性問卷有:整體評(píng)估問卷、任務(wù)評(píng)估問卷和網(wǎng)站感知可用性評(píng)估問卷名斟,如下所示:
整體評(píng)估問卷
用于完成一系列任務(wù)場(chǎng)景后脑慧,對(duì)產(chǎn)品或系統(tǒng)整體的感知可用性測(cè)量。目前使用較廣泛的有:QUIS(Questionnaire For User Interaction Satisfaction)砰盐、SUMI(Software Usability Measurement Inventory)闷袒、PSSUQ(Post-Study System Usability Questionnaire)、CSUQ(Computer System?questionnaire)岩梳、SUS(System Usability Scale)囊骤。
任務(wù)評(píng)估問卷
每完成一個(gè)場(chǎng)景任務(wù)晃择,讓用戶對(duì)該任務(wù)進(jìn)行感知可用性測(cè)量。目前使用較廣泛的有:ASQ(After-Scenario Questionnaire)也物、SEQ(Single Ease Question)宫屠、SMEQ(Subjective Mental Effort Questionnaire)、ER(Expectation Ratings)滑蚯、UME(Usability Magnitude Estimation)浪蹂。
網(wǎng)站感知可用性評(píng)估問卷
大部分標(biāo)準(zhǔn)化可用性問卷最初在20世紀(jì)80年代中期到后期被開發(fā),在網(wǎng)絡(luò)開始流行時(shí)告材,出現(xiàn)了更有針對(duì)性的評(píng)估網(wǎng)站感知可用性的問卷坤次,目前廣泛使用的有:WAMMI(Website Analysis and Measurement Inventory)、SUPRQ(Standardized Universal Percentile Rank Questionnaire)斥赋。
測(cè)中(正式測(cè)試)
終于開始測(cè)試了缰猴,正式的測(cè)試也分了幾個(gè)步驟。
1疤剑、測(cè)試介紹:
向用戶簡(jiǎn)單介紹測(cè)試目的和流程滑绒,盡量讓他們處于一個(gè)比較放松的狀態(tài),取得錄制視頻和使用數(shù)據(jù)的許可骚露,簽訂保密協(xié)議蹬挤;
2、測(cè)試前問卷:
測(cè)試產(chǎn)品前棘幸,填寫一個(gè)簡(jiǎn)單的問卷,除了簡(jiǎn)單的個(gè)人信息外需要了解用戶對(duì)相關(guān)產(chǎn)品使用經(jīng)驗(yàn)和習(xí)慣等倦零;
3误续、測(cè)試場(chǎng)景與任務(wù):
開始進(jìn)行測(cè)試,在用戶完成任務(wù)過程中觀察用戶的表情和肢體動(dòng)作扫茅,在完成任務(wù)后提出一些簡(jiǎn)單的口頭問題蹋嵌;
4、任務(wù)后問卷:
在完成一個(gè)任務(wù)后葫隙,用ASQ(After Scenario Questionnaire)梯度問卷調(diào)查滿意度栽烂,再進(jìn)行下一個(gè)任務(wù)的測(cè)試;
5恋脚、測(cè)試后問卷:
在所有任務(wù)完成后腺办,用戶需要填寫一個(gè)關(guān)于整體滿意度的梯度問卷,通常使用的是SUS(System Usability Scale)——系統(tǒng)可用性量表糟描。
注意事項(xiàng):
保持測(cè)試環(huán)境免受干擾
向被測(cè)試人員說明:測(cè)試內(nèi)容怀喉、目的、流程船响、時(shí)長(zhǎng)躬拢、剛剛填寫的個(gè)人資料表的處理方式躲履。讓被測(cè)試者有好的認(rèn)識(shí)同時(shí)打消顧慮
測(cè)試過程中的記錄,錄音聊闯、錄像工猜、筆記
記錄人員不要直接告訴被測(cè)試者怎么操作
測(cè)后分析
通過可用性測(cè)試,我們得到了單個(gè)用戶的記錄內(nèi)容菱蔬。測(cè)試時(shí)的記錄點(diǎn):求助節(jié)點(diǎn)篷帅、問題描述、微表情反應(yīng)汗销。所有跟數(shù)字相關(guān)的數(shù)據(jù)如時(shí)間:后期根據(jù)錄音犹褒、錄屏進(jìn)行整理。
下面來看如何得到文章一開始說的3個(gè)指標(biāo)弛针,有效性叠骑、滿意度、效率
1削茁、有效性
有效性對(duì)應(yīng)用戶是否能成功完成任務(wù)宙枷。
功能有效性計(jì)算公式:有效性=(完全完成任務(wù)用戶數(shù)x1+部分完成任務(wù)用戶數(shù)x0.5)/用戶總數(shù)
2、滿意度
滿意度是一個(gè)主觀的感受茧跋,為了量化慰丛,我們通過問卷調(diào)查的方式來獲取。滿意度又分為單個(gè)任務(wù)的滿意度和整體的滿意度瘾杭。分別用ASQ問卷和SUS問卷獲取诅病。
3、效率
效率對(duì)應(yīng)時(shí)間粥烁,用用戶完成單個(gè)任務(wù)的耗時(shí)長(zhǎng)短來衡量贤笆。四舍五入精確到秒,數(shù)值越大效率越低。
效率=平均用時(shí)/熟練用時(shí)
熟練用時(shí):對(duì)功能熟悉的人(PM讨阻、測(cè)試埋涧、設(shè)計(jì)師)按照任務(wù)提示進(jìn)行操作奇瘦,記錄完成操作所需的時(shí)間链患,多個(gè)人操作取平均值,四舍五入按秒計(jì)時(shí)纲仍。
限定時(shí)間:根據(jù)熟練用時(shí)而定,熟練用時(shí)的3~10倍,保證一個(gè)任務(wù)不超10分鐘寇僧。計(jì)時(shí)單位:四舍五入精確到分。
完成時(shí)間:
開始時(shí)間:用戶拿到任務(wù)卡開始計(jì)時(shí)细办。不要等用戶讀完任務(wù)卡計(jì)時(shí)钓觉,因?yàn)橛腥讼矚g讀一條記一條瓤狐,有人喜歡讀完所有任務(wù)再操作。
結(jié)束時(shí)間:不要在觀察到任務(wù)完成了就結(jié)束赦政,而要用戶宣布自己已完成再結(jié)束桐愉,因?yàn)橛腥嗽诓僮魍晗矚g檢查自己是否操作成功。計(jì)時(shí)單位:四舍五入精確到分俊性。
4、可用性水平
通過以上3個(gè)指標(biāo),我們可以得到功能的整體的一個(gè)可用性水平卒落。對(duì)有效性,效率,滿意度做量化處理,按照5:3:2的權(quán)重計(jì)算得分:可用性水平=有效性x0.5-效率x0.3+滿意度x0.2
注意妥曲,這里的權(quán)重不是固定5:3:2葵萎,根據(jù)實(shí)際項(xiàng)目的需求磕昼,來決定占比水平。
5、結(jié)果的利用
注意點(diǎn):
·可用性測(cè)試得出的結(jié)論可能是體驗(yàn)的優(yōu)化魁蒜、方案的決策、設(shè)計(jì)的輸入她君,不會(huì)動(dòng)產(chǎn)品大的方向,是微調(diào)而不是改版
·要做減法而不是加法缔刹。發(fā)現(xiàn)了問題要取優(yōu)先級(jí)校镐,發(fā)現(xiàn)了更多的需求也要取優(yōu)先級(jí),上線壓力要減去一些功能
·做了優(yōu)化要去驗(yàn)證,優(yōu)化是否有效
通過可用性測(cè)試,我們會(huì)得到很多的反饋贮预、問題,用Excel表整理問題清單,用高中低標(biāo)注售葡,在修改問題時(shí)有先后順序
參考文檔
1. Why You Only Need to Test with 5 Users
https://www.nngroup.com/articles/why-you-only-need-to-test-with-5-users/
2.?Usability Test, Even When You Know the Answer
https://www.nngroup.com/articles/test-when-you-know-answer/
3.?Usability Testing 101
https://www.nngroup.com/articles/usability-testing-101/
4.?SUS超全解析
http://www.lanlanwork.com/blog/m/?post=8275
5.?寫任務(wù)需避免的10大錯(cuò)誤
https://mp.weixin.qq.com/s/BrBWxBc9zl3WvhNQPfqI5Q
最后忠藤,關(guān)于可用性測(cè)試的一些知識(shí)思維導(dǎo)圖贮缅、模板等內(nèi)容介却,感興趣可以私信。有問題歡迎交流齿坷。