“我們測(cè)試了,失敗了。”
在A/B test的世界里典型的借口是猖獗的, 但它會(huì)忽略一個(gè)事實(shí):一個(gè)概念本身是完全不同于一個(gè)概念的執(zhí)行的。想法經(jīng)常會(huì)不斷涌現(xiàn)。之前的失敗往往被貼上失敗,他們從來(lái)沒(méi)有讓它的新門(mén)纵穿。
“是的,多年前我試過(guò)這個(gè)想法, 但是沒(méi)有成功“硖罚”
這個(gè)快速否決的心態(tài)可能是有害的,如果沒(méi)有認(rèn)真核實(shí)過(guò)以前的test政恍。因?yàn)锽ooking.com進(jìn)行A?/?B測(cè)試大約十年了,有時(shí)似乎一切都已經(jīng)嘗試過(guò)。盡管我們做了很多測(cè)試,失敗了很多次,有些許成功, 但是我們可以為客戶和使用網(wǎng)站體驗(yàn)改善的地方還有很多达传。這就是為什么我經(jīng)常對(duì)這樣的話不屑一顧,“好吧,確切的說(shuō),你測(cè)試了什么想法篙耗，多久以前?”
他們以前做的的A?/?B測(cè)試接近現(xiàn)在新提出的方法嗎？如果是這樣,運(yùn)行了多長(zhǎng)時(shí)間?它是如何影響用戶行為?和他們是110%確定沒(méi)有BUG或者在執(zhí)行中沒(méi)有可用性問(wèn)題嗎宪赶？
“失敗的方法總比成功多很多宗弯。”
當(dāng)我聽(tīng)到一個(gè)可靠的概念失敗時(shí)搂妻，我有一系列的問(wèn)題要問(wèn)蒙保。這個(gè)列表來(lái)自我的經(jīng)驗(yàn),這些經(jīng)驗(yàn)都是從失敗的測(cè)試中總結(jié)出來(lái)的。
這句話相當(dāng)悲觀,這是有原因的欲主。我已經(jīng)做了足夠的A?/?B測(cè)試(從初始概念到具體的技術(shù)實(shí)現(xiàn)角度)來(lái)掌握可能會(huì)導(dǎo)致一個(gè)好主意滅亡的潛在變量邓厕。
一個(gè)看似無(wú)關(guān)緊要隨意的變化或難以界定設(shè)計(jì)缺陷帶來(lái)的消極影響足以抵消任何積極的影響。
下面是一些具體的例子
可以讓好的想法失敗
由于不理想的實(shí)現(xiàn)技術(shù)增加了頁(yè)面加載時(shí)間
你使用了一些大圖片,沉重的CSS,或者一些執(zhí)行力差的JS??你一直關(guān)注任何可能出現(xiàn)的新錯(cuò)誤嗎?保持一個(gè)密切關(guān)注所有重要網(wǎng)站統(tǒng)計(jì),因?yàn)楦挠脩簟翱床灰?jiàn)的”變化和內(nèi)容和視覺(jué)變化一樣有影響力扁瓢。
略微錯(cuò)誤的對(duì)關(guān)鍵元素顏色详恼、字體或字體大小的選擇
引人注目的最重要的信息,清晰嗎?
即使看起來(lái)微不足道的襯線字體使用在錯(cuò)誤的地方可以有負(fù)面影響。
大小或位置不當(dāng)?shù)奶匦躁P(guān)系頁(yè)面上的其他內(nèi)容
做的東西你添加或重新設(shè)計(jì)采取的注意力從頁(yè)面上的另一個(gè)關(guān)鍵要素?
你刪除別的內(nèi)容來(lái)放新的功能了嗎?
如果你添加的內(nèi)容不能影響任何用戶與頁(yè)面的交互引几，那么你做的事情就沒(méi)有意義昧互。設(shè)計(jì)師往往高度集中在他們做的新功能上, 忘記了它改變周?chē)臇|西。
錯(cuò)誤的時(shí)機(jī)
你實(shí)現(xiàn)了一個(gè)工具提示,一定時(shí)間后消失了嗎?你添加的內(nèi)容在一個(gè)特定的時(shí)間是有意義的,只有今年?
顯示特定類(lèi)型的信息太快,太遲了,或者不給人足夠的時(shí)間來(lái)熟悉你的目的內(nèi)容有時(shí)會(huì)產(chǎn)生相反的效果。
邊界情況的場(chǎng)景中的BUG
有呈現(xiàn)問(wèn)題很少使用瀏覽器或設(shè)備?它在平板電腦上和在桌面一樣有用嗎?如果網(wǎng)站是多語(yǔ)言,一切都合適的翻譯敞掘，正確的本地化嗎?
如果足夠的這些邊界情況結(jié)合在一起,他們的累積效應(yīng)是消極的叽掘。然而,這是一個(gè)全面的A?/?B測(cè)試框架的好處!您可以用工具分析失敗測(cè)試的用戶代理,瀏覽器類(lèi)型和國(guó)家。每個(gè)用戶在你的網(wǎng)站上應(yīng)該有一個(gè)很好的體驗(yàn), 解決這些問(wèn)題可以將玖雁。A?/?B測(cè)試可以幫助確保為每個(gè)人有高質(zhì)量的體驗(yàn)更扁。
做大,小和/或不必要的變化不是與生俱來(lái)就與原始概念,這可能會(huì)產(chǎn)生意想不到的后果
你改變一行文案,同時(shí)也使大/小或添加新的顏色?
如果是這樣,那么你已經(jīng)污染的概念測(cè)試。我看到過(guò)在測(cè)試顏色時(shí)茄菊，改變了字體大小,從而導(dǎo)致了可靠的和可重復(fù)的概念失敗疯潭。
嘈雜的track
你是測(cè)試一種新的流程或不同的互動(dòng)?你添加或修改的內(nèi)容沒(méi)有立即在頁(yè)面上可見(jiàn)嗎?
追蹤用戶只有當(dāng)他們實(shí)際上是暴露在視覺(jué)變化或與不同行為的元素交互。如果你track的用戶沒(méi)有看到或使用這個(gè)想法,然后他們成為數(shù)據(jù)噪聲和稀釋了結(jié)果面殖。如果你的track中有足夠的噪音，你就不能聽(tīng)到您的用戶試圖告訴你的信息哭廉。
觀眾是誰(shuí)?
誰(shuí)看到了改變?是對(duì)所有訪客所見(jiàn)嗎?他們是來(lái)自電子郵件脊僚，其中設(shè)置一個(gè)特定的期望他們會(huì)看到什么?他們來(lái)自一個(gè)付費(fèi)廣告或搜索?他們直接輸入網(wǎng)址嗎?他們是新用戶或返回的游客?他們以前購(gòu)買(mǎi)過(guò)嗎?
客戶的入口和使用網(wǎng)站的歷史影響他們?nèi)绾闻c內(nèi)容交互。越多你越能把最相關(guān)的用戶作為目標(biāo)用戶,你越有可能能夠創(chuàng)建有意義的交互,使metrics向好的方向前進(jìn)遵绰。
低流量
你的測(cè)試只包括一小群用戶辽幌，并且接觸到一個(gè)非常微小的改變?
想在一個(gè)低流量的網(wǎng)站獲得一個(gè)大的測(cè)試結(jié)果,您的更改需要更大、更大膽才行椿访。換句話說(shuō),你的想法也許是成功的,但你不能從數(shù)據(jù)上看出來(lái)乌企。變化的大小與你的流量是有關(guān)的。
一個(gè)想法的時(shí)間嗎?
你什么時(shí)候測(cè)試這個(gè)概念?錯(cuò)過(guò)了相當(dāng)好的時(shí)間過(guò),但問(wèn)題還沒(méi)有解決嗎?
今天不工作可能明天工作,今天昨天工作可能會(huì)阻礙你成玫。
我們?cè)O(shè)計(jì)的產(chǎn)品必須和我們?yōu)橹O(shè)計(jì)產(chǎn)品的用戶一樣是動(dòng)態(tài)的加酵。
人是動(dòng)態(tài)的,他們的期望改變了他們,和他們周?chē)氖澜缫煌l(fā)展。這就是為什么我們?cè)O(shè)計(jì)的產(chǎn)品是動(dòng)態(tài)哭当。
設(shè)計(jì)師往往可以領(lǐng)先,因?yàn)槲覀儠r(shí)刻緊扣時(shí)代脈搏猪腕。設(shè)計(jì)趨勢(shì)、最新的HTML和CSS的技巧和華麗的技術(shù)集成可能看起來(lái)很酷,但是大多數(shù)時(shí)候我們期望的和典型用戶感覺(jué)舒服的方式完全不一樣钦勘。
“我們?yōu)槠胀ㄈ嗽O(shè)計(jì)在當(dāng)今使用的產(chǎn)品陋葡。”
我總是試著提醒自己,今天我為普通人設(shè)計(jì)產(chǎn)品使用彻采。
去年不習(xí)慣使用滑動(dòng)手勢(shì)的人今年可能會(huì)期待看到他們腐缤。過(guò)去經(jīng)常使瀏覽器崩潰的代碼能夠在幾年之后解決這個(gè)問(wèn)題，隨著硬件變得更強(qiáng)大肛响。
這些是在我的設(shè)計(jì)中偶然發(fā)現(xiàn)的最常見(jiàn)的問(wèn)題
這就是為什么獲得對(duì)概念測(cè)試的深度理解,和把握系統(tǒng)的復(fù)雜性一樣重要,加上完美的解決方案的實(shí)現(xiàn),這些都是想法最終的成功所必需的(或失敗)岭粤。
這里有一些事情要記住當(dāng)你設(shè)置你的下一個(gè)A?/?B測(cè)試:
記得仔細(xì)瀏覽復(fù)雜的重要性干凈地測(cè)試您的概念。有許多潛在的故障點(diǎn)终惑。
積極的,消極的或中性的結(jié)果有助于未來(lái)相同概念的迭代或可以提供你洞察新的假說(shuō)绍在，并且進(jìn)行測(cè)試。
每個(gè)A?/?B測(cè)試,盡管其規(guī)模或范圍,應(yīng)該得到相同的關(guān)注偿渡。沒(méi)有合適的假設(shè)和metric的扔出想法一定會(huì)提高測(cè)試失敗和成功率臼寄。
明白一個(gè)消極的或中性的結(jié)果并不一定意味著什么都沒(méi)有得到×锟恚“這些研究結(jié)果也可能是說(shuō),“不完全正確”或“現(xiàn)在還沒(méi)有吉拳。“你測(cè)試越多,你越會(huì)發(fā)現(xiàn)“什么都沒(méi)得到“實(shí)際上的意思是“不正確”适揉。
但是等等!有更多的…
有時(shí),然而,一個(gè)概念是如此強(qiáng)大,它甚至可以在最糟糕的執(zhí)行下存活留攒。我相信你經(jīng)歷過(guò)主要網(wǎng)站的特性或功能非常有用但缺乏視覺(jué)改進(jìn)或有一些不幸的可用性問(wèn)題的例子。這常常讓我face-palming的時(shí)刻嫉嘀。
“有時(shí)候一個(gè)糟糕的執(zhí)行阻止一個(gè)好主意的成功炼邀。相反,一個(gè)偉大的想法在糟糕的執(zhí)行下也會(huì)成功〖粑辏”
所以,這是雙向拭宁。有時(shí)一個(gè)糟糕的執(zhí)行成功阻止一個(gè)偉大的想法,但有時(shí)一個(gè)偉大的想法盡管是偶然間獲得成功。
“平均”和特別以數(shù)據(jù)驅(qū)動(dòng)的設(shè)計(jì)師的卻別是,他們意識(shí)到“概念!=一個(gè)執(zhí)行
