可用性測(cè)試是用研的入門必修課科展，也是用研最常用的方法之一西剥。這篇文章總結(jié)了我在做可用性測(cè)試時(shí)踩過(guò)的一些坑音五，以及總結(jié)出來(lái)的一些實(shí)踐經(jīng)驗(yàn)。
研究設(shè)計(jì)
- 必須清晰地定義產(chǎn)品面向的不同角色亮垫，如果不同角色的知識(shí)背景和使用場(chǎng)景相差較大模软，就不要用同一類用戶去測(cè)試所有的任務(wù)。我們做的是一款ToB產(chǎn)品饮潦，面向的是企業(yè)用戶燃异，很自然地，我們的用戶分為兩大陣營(yíng)：管理層和基層員工继蜡。做可用性測(cè)試時(shí)回俐，考慮到邀請(qǐng)管理層用戶成本高難度大，且這次測(cè)試中我們更關(guān)注的是基礎(chǔ)功能的可用性稀并，所以邀請(qǐng)的用戶基本都是基層員工仅颇。但是我們?nèi)匀粸檫@些基層用戶設(shè)置了一些屬于管理場(chǎng)景的任務(wù)，希望能夠從中挖掘到一些有價(jià)值的信息碘举。結(jié)果可想而知：軟件本身就具有一定的復(fù)雜性忘瓦，基層員工不熟悉企業(yè)管理，在做任務(wù)的過(guò)程中可能連相關(guān)概念都不太懂引颈，任務(wù)完成率非常低耕皮。我們想了解在用戶自主試用和探索之后，對(duì)產(chǎn)品的印象和態(tài)度如何蝙场，但是大多數(shù)基層員工現(xiàn)實(shí)生活中并不會(huì)有去自主試用這些產(chǎn)品的動(dòng)機(jī)明场，因此用戶表達(dá)的可能是自己假想的態(tài)度，不具有太大參考價(jià)值李丰。更好的方式是在研究設(shè)計(jì)階段就清晰地區(qū)分開(kāi)管理層和基層的不同場(chǎng)景，如果對(duì)這些功能設(shè)計(jì)都存在疑慮逼泣，就分別邀請(qǐng)管理層和基層趴泌，做兩場(chǎng)基于不同場(chǎng)景任務(wù)的可用性測(cè)試舟舒。
- 重視行為以及對(duì)行為的解釋，不要花太多時(shí)間去了解用戶態(tài)度嗜憔。可用性測(cè)試是定性研究秃励，樣本量比較小，從這樣小的樣本中得到的用戶態(tài)度并不具有推斷價(jià)值吉捶。而用戶的行為和認(rèn)知的個(gè)體差異和測(cè)量誤差相對(duì)要小得多夺鲜，因此結(jié)果要更加可靠一些。在我接到的調(diào)研需求中呐舔，就包含了“了解新用戶對(duì)產(chǎn)品的印象和態(tài)度”這一項(xiàng)币励，并且設(shè)計(jì)師也提了很多問(wèn)題給我——對(duì)于他們不太確定的問(wèn)題，他們希望知道用戶怎么想珊拼。光是詢問(wèn)這些問(wèn)題食呻，我都能跟用戶做場(chǎng)一個(gè)小時(shí)的訪談了。把它們加到可用性測(cè)試中澎现，會(huì)導(dǎo)致測(cè)試時(shí)間太長(zhǎng)仅胞，影響了真正重要的任務(wù)測(cè)試過(guò)程；并且如果只是簡(jiǎn)單詢問(wèn)這些問(wèn)題而不深入了解剑辫，得出的結(jié)論也確實(shí)沒(méi)有多大價(jià)值干旧。
用戶招募
一定要為參與測(cè)試的用戶設(shè)定一個(gè)合理的標(biāo)準(zhǔn)，不要因?yàn)橛脩綦y找妹蔽、時(shí)間緊迫而降低標(biāo)準(zhǔn)椎眯。由于招募渠道有限，報(bào)名用戶不多讹开；而我當(dāng)時(shí)既要做好腳本設(shè)計(jì)的工作盅视，又要同時(shí)篩選和預(yù)約用戶、預(yù)約會(huì)議室旦万、調(diào)試設(shè)備闹击，并盡可能快地開(kāi)始測(cè)試，時(shí)間緊迫和人手不足讓我不得不降低用戶篩選標(biāo)準(zhǔn)成艘，因?yàn)槲覜](méi)有精力去拓展其他招募渠道赏半，也沒(méi)有時(shí)間等待更多的用戶報(bào)名。這樣做的結(jié)果是招募到了一兩名確實(shí)不太適合的用戶淆两，而這是在用戶篩選的過(guò)程中本可以避免的事情断箫。建議在平常的工作中多拓展招募渠道、建立用戶庫(kù)秋冰，這樣以后再有比較緊急的測(cè)試任務(wù)時(shí)仲义，可以相對(duì)輕松地完成用戶招募工作，避免只能通過(guò)降低標(biāo)準(zhǔn)來(lái)完成招募。
腳本設(shè)計(jì)
- 任務(wù)千萬(wàn)不要太多埃撵，如果安排了一個(gè)半小時(shí)的時(shí)間赵颅，任務(wù)最好不要超過(guò)6個(gè)。任務(wù)太多會(huì)導(dǎo)致用戶非常累暂刘，也很難以較好的狀態(tài)去完成后面的測(cè)試任務(wù)饺谬。尤其是當(dāng)我們沒(méi)有條件提供一個(gè)環(huán)境較好的會(huì)議室時(shí)，用戶在密閉空間中待的時(shí)間太久谣拣，非常容易疲憊和注意力分散募寨。任務(wù)完成了稍多于一半的時(shí)候，我一般都會(huì)詢問(wèn)用戶是否要休息一下森缠。有的用戶會(huì)樂(lè)意休息一下喝口水拔鹰，但有的用戶卻希望再堅(jiān)持一下，以便盡快完成所有任務(wù)——盡管堅(jiān)持的效果往往不會(huì)太好辅鲸。
- 有些功能本身就很復(fù)雜格郁，在短時(shí)間內(nèi)讓用戶了解和學(xué)會(huì)操作，對(duì)用戶來(lái)說(shuō)難度太大独悴。功能的復(fù)雜性可能體現(xiàn)在概念體系或者業(yè)務(wù)邏輯上例书。如果是概念復(fù)雜，可以用學(xué)徒式的問(wèn)題刻炒，多問(wèn)一下“這是什么意思”决采，了解用戶難以理解的是哪些概念；業(yè)務(wù)邏輯的復(fù)雜可能會(huì)涉及到較多的前后文操作坟奥、多角色交互树瞭，短時(shí)間內(nèi)要還原出這個(gè)生態(tài)并不容易，遇到這個(gè)問(wèn)題可能意味著我們把任務(wù)設(shè)計(jì)得太大爱谁，適當(dāng)做些拆分可能會(huì)更好晒喷。
- 設(shè)計(jì)任務(wù)時(shí)到底要不要去問(wèn)對(duì)應(yīng)的產(chǎn)品經(jīng)理和設(shè)計(jì)師？前面提到了設(shè)計(jì)師向我提了很多想要從用戶那里驗(yàn)證的想法访敌，正是因?yàn)槲胰?wèn)了凉敲，才會(huì)收集到如此多讓我頭疼的問(wèn)題——很多問(wèn)題不適合放在可用性測(cè)試中問(wèn)，所以又要告訴產(chǎn)品和設(shè)計(jì)師們這些問(wèn)題解答不了寺旺。似乎怎么看都是一件很麻煩的事情爷抓。但其實(shí)，還是應(yīng)該問(wèn)阻塑，只是要換種問(wèn)法蓝撇。不應(yīng)該問(wèn)“對(duì)于這個(gè)功能，你有什么想了解的問(wèn)題”渤昌，而應(yīng)該問(wèn)“哪些功能是更重要的”“你對(duì)哪些部分的設(shè)計(jì)比較不確信”虽抄。他們對(duì)產(chǎn)品更了解耘沼，因此只要問(wèn)對(duì)了問(wèn)題极颓，對(duì)于任務(wù)設(shè)計(jì)總會(huì)有好處。
測(cè)試過(guò)程
- 測(cè)試過(guò)程使用哪些設(shè)備群嗤、錄屏錄像需要哪些工具和環(huán)境，必須有一套完整的解決方案兵琳。測(cè)試過(guò)程總會(huì)出現(xiàn)很多意外狀況狂秘，比如WiFi連不上，錄屏軟件沒(méi)反應(yīng)等躯肌，出現(xiàn)了問(wèn)題的話就會(huì)耽誤用戶的時(shí)間者春。之前的測(cè)試中就是狀況不斷，尤其是使用安卓手機(jī)的用戶清女，錄屏比較麻煩钱烟。針對(duì)這個(gè)問(wèn)題我專門整理了一下可用性測(cè)試中常用的設(shè)備，制定了一套比較適用嫡丙、成本也不太高的解決方案拴袭，感興趣的話可以看一下我的另一篇文章。
- 如何讓用戶think aloud曙博？我一般會(huì)在開(kāi)場(chǎng)白的時(shí)候說(shuō)一下拥刻，希望用戶隨時(shí)將自己的想法講出來(lái)；在第一個(gè)任務(wù)開(kāi)始之前父泳，我也會(huì)強(qiáng)調(diào)一下這件事般哼。遺憾的是，到目前為止還沒(méi)能成功讓用戶做到think aloud惠窄。這對(duì)用戶來(lái)說(shuō)是一件不太自然的事情蒸眠，因此比較難讓用戶抗拒強(qiáng)大阻力做到這點(diǎn)。我目前的一個(gè)想法是在任務(wù)開(kāi)始之前給用戶一點(diǎn)時(shí)間去練習(xí)和習(xí)慣think aloud杆融，讓用戶能有時(shí)間去適應(yīng)這種狀態(tài)楞卡。
- 要合理分配任務(wù)時(shí)間。開(kāi)場(chǎng)白的時(shí)間擒贸、每個(gè)任務(wù)的時(shí)間臀晃、測(cè)后訪談的時(shí)間都需要在腳本設(shè)計(jì)的過(guò)程就大概確定，如果在測(cè)試中發(fā)現(xiàn)某個(gè)階段占用的時(shí)間太長(zhǎng)介劫，就需要控制一下時(shí)間徽惋，避免影響后續(xù)的任務(wù)。
- 盡量減少使用的打印紙的數(shù)量座韵。測(cè)試過(guò)程難免需要一些紙質(zhì)材料险绘，但是本著低碳環(huán)保的理念踢京，打印的紙能少就少。
我在做測(cè)試的時(shí)候有一些打印紙的標(biāo)配：測(cè)試腳本會(huì)打印兩份宦棺，一份是我主持的時(shí)候需要看的（我可能在上面對(duì)腳本做些注解和調(diào)整）瓣距，一份是給幫忙做記錄的同事以及到場(chǎng)觀察的PM設(shè)計(jì)等人看的（不管他們有幾人）；任務(wù)卡片會(huì)打印一份代咸，是給用戶看的蹈丸；用戶登記和禮金簽收作為同一個(gè)表逻杖，打印一份荸百；知情同意書需要讓用戶感到足夠正式滨攻，因此每個(gè)用戶打印一份（我克制住了自己正反面都打印的沖動(dòng)）。
接下來(lái)是令我頭疼的部分女嘲，就是每個(gè)任務(wù)結(jié)束之后的評(píng)分表澡为。一般一頁(yè)紙就可以搞定景埃，但是如果每個(gè)用戶都打印一張感覺(jué)有些浪費(fèi)。我一度使用在線問(wèn)卷的方式拒啰，用我自己的手機(jī)打開(kāi)問(wèn)卷鏈接，需要評(píng)分的時(shí)候就拿給用戶谋旦，但效果不好册着，一是手機(jī)界面小看著比較費(fèi)勁甲捏，二是這需要我在幾個(gè)頁(yè)面之間來(lái)回切換，增加了我（作為主持人）在測(cè)試期間的工作負(fù)荷司顿。后來(lái)想到一個(gè)很好的方法：打印一張?jiān)u分表就好了，然后準(zhǔn)備一些條形便利貼化漆，讓用戶直接把便利貼貼在自己選擇的選項(xiàng)上钦奋，測(cè)試結(jié)束后把用戶的評(píng)分錄入到電子表格中，打印紙就可以重復(fù)利用了疙教。這個(gè)想法本來(lái)沒(méi)有什么高明之處，它主要的優(yōu)點(diǎn)是：我可以順便讓用戶在條形便利貼上寫下自己打這個(gè)分?jǐn)?shù)的理由限佩，因?yàn)榭臻g有限祟同，就可以收集到一些非常言簡(jiǎn)意賅的理由。
分析整理
- 選擇一個(gè)合適的模型對(duì)不同功能的可用性進(jìn)行綜合評(píng)估泞坦，便于對(duì)功能進(jìn)行橫向比較贰锁。比如滤蝠，可以參考ISO對(duì)可用性的定義：可用性=有效性+效率+滿意度。有效性可以用任務(wù)的完成情況來(lái)度量锣险，效率可以用任務(wù)完成時(shí)間來(lái)度量芯肤，滿意度可以用用戶評(píng)分來(lái)度量压鉴。這樣子可以形成任務(wù)的可用性水平矩陣，便于在不同任務(wù)之間進(jìn)行比較掩幢。
-
測(cè)試發(fā)現(xiàn)的可用性問(wèn)題需要有一個(gè)優(yōu)先級(jí)評(píng)定標(biāo)準(zhǔn)。簡(jiǎn)單地通過(guò)發(fā)現(xiàn)該問(wèn)題的用戶數(shù)來(lái)判定問(wèn)題優(yōu)先級(jí)是不太合理的芯丧，建議使用樽本徹也的方法缨恒。對(duì)有效性、效率骗露、滿意度三個(gè)指標(biāo)分別給定三個(gè)等級(jí)萧锉， 并賦予不同的分值柿隙，對(duì)每個(gè)可用性問(wèn)題禀崖，評(píng)估在每個(gè)指標(biāo)上處于哪種嚴(yán)重等級(jí)，按照下圖的標(biāo)準(zhǔn)波附，評(píng)定問(wèn)題的優(yōu)先級(jí)：
樽本徹也建議的問(wèn)題優(yōu)先級(jí)評(píng)定標(biāo)準(zhǔn)
如果對(duì)以上提到的問(wèn)題有更好的建議和解決辦法掸屡，歡迎指教折晦。
