互聯(lián)網(wǎng)產(chǎn)品和傳統(tǒng)產(chǎn)品不同的是,互聯(lián)網(wǎng)產(chǎn)品能夠產(chǎn)生大量的數(shù)據(jù)困食。通過分析工具和方法進行數(shù)據(jù)的分析能夠非常清晰直接地了解用戶習(xí)慣符匾,優(yōu)化產(chǎn)品。
姚旭認為數(shù)據(jù)分析是一種靠譜的產(chǎn)品研究方法焰坪,這東西有很多誤區(qū),也不能迷信黔漂,最終到頭來還是要人來做決策。
別忽略沉默的用戶
二戰(zhàn)時英國空軍為了降低飛機的損失,決定給飛機的機身進行裝甲加固观蜗。由于當(dāng)時條件所限,只能用裝甲加固飛機上的少數(shù)部位砖第。他們對執(zhí)行完轟炸任務(wù)返航的飛機進行了仔細地觀察放吩、分析、統(tǒng)計,發(fā)現(xiàn)大多數(shù)的彈孔唧喉,都集中在飛機的機翼上;只有少數(shù)彈孔位于駕駛艙。從數(shù)據(jù)上說驯鳖,似乎加固機翼的性價比最高阎姥。但實際情況卻恰恰相反泽腮,駕駛艙才是最應(yīng)加固的地方府瞄,因為駕駛艙被擊中的飛機幾乎都沒飛回來。
“發(fā)聲”的數(shù)據(jù)是最好獲取的四濒,但如果沒把這些沉默的數(shù)據(jù)考慮進來,那么這種數(shù)據(jù)分析是不靠譜的职辨。所以除了數(shù)據(jù)的結(jié)果盗蟆,還得嘗試解讀這些數(shù)據(jù)。而解讀數(shù)據(jù)就完全依賴人了舒裤。
更重要的是有用戶在乎
A和B兩家網(wǎng)站姆涩,都經(jīng)營類似的業(yè)務(wù),都有穩(wěn)定的用戶群惭每。它們都進行了類似的網(wǎng)站界面改版。改版之后亏栈,網(wǎng)站A沒有得到用戶的贊揚台腥,反而遭到很多用戶的臭罵;而網(wǎng)站B既沒有用戶夸它绒北,也沒有用戶罵它黎侈。如果從數(shù)據(jù)來看,應(yīng)該是網(wǎng)站B的改版相對更成功闷游,因為沒有用戶表達不滿峻汉。但事實并非如此。網(wǎng)站A雖然遭到很多用戶痛罵脐往,但說明還有很多用戶在乎它休吠;對于網(wǎng)站B,用戶對它已經(jīng)不關(guān)心它了业簿。
網(wǎng)站A指的是Facebook瘤礁,網(wǎng)站B是微軟旗下的LiveSpace。
數(shù)據(jù)不是決策的唯一標準
通常認為梅尤,數(shù)據(jù)分析指導(dǎo)工作是一種高性價比的做法柜思,不容易犯錯,對于代表資方的管理層來說巷燥,比起依賴于人的決策赡盘,依賴于數(shù)據(jù)的決策似乎更穩(wěn)健。這種決策在從0.5向0.8的產(chǎn)品改進上缰揪,可能是有效的陨享。因為一個已有的產(chǎn)品,數(shù)據(jù)就擺在那,如果100個用戶中有50個訪問超時霉咨,解決了這個問題蛙紫,就提升了50%的效果。
但對于從0到0.1的新產(chǎn)品上途戒,由于數(shù)據(jù)很難獲取坑傅,需要花大力氣在獲取模擬數(shù)據(jù)上。往往是用一周時間去想明白一個做兩個小時的產(chǎn)品該不該做的問題喷斋。而且模擬的結(jié)果還和最終實際相差很遠唁毒。
建議先做出來A/Btest或是原型系統(tǒng),再去驗證星爪,在一些場合下比先拿數(shù)據(jù)要有效的多浆西。
數(shù)據(jù)帶有主觀性
為了減少內(nèi)耗,我們往往依賴于數(shù)據(jù)來做決斷顽腾。我一直認為數(shù)據(jù)本身是帶有主觀性的近零,完全客觀的數(shù)據(jù)是沒有的。數(shù)據(jù)的獲取方法抄肖,數(shù)據(jù)的解讀方法久信,數(shù)據(jù)的統(tǒng)計方法,都是人的決策漓摩。一份數(shù)據(jù)得出兩個相反的結(jié)論來也不是沒有可能裙士,因為即使主觀上沒有偏向性,也受限于方法和視野管毙。
決策上最終起作用的還是人腿椎,不是數(shù)據(jù),雖然人有那么多的不確定性夭咬,還可能出現(xiàn)爭論啃炸、扯皮,不敢承擔(dān)責(zé)任卓舵。
但重視數(shù)據(jù)應(yīng)該成為一種信仰
且歌且行對于數(shù)據(jù)的觀點是:數(shù)據(jù)是一種信仰肮帐。
毀掉分析數(shù)據(jù)態(tài)度有三個常見原因。
第一边器,大環(huán)境不尊重數(shù)據(jù)训枢,尤其是老板的態(tài)度。如果數(shù)據(jù)分析師只要隨便給一個報告就行忘巧,數(shù)字多一點或少一點恒界,大家也是一笑而過,并不會追根到底砚嘴,那么很難讓數(shù)據(jù)分析師以嚴謹?shù)膽B(tài)度對待數(shù)據(jù)十酣。
例如涩拙,國內(nèi)這幾家數(shù)據(jù)分析機構(gòu),基本都在著急擴張自己耸采,爭著占領(lǐng)行業(yè)兴泥,對于其推出的數(shù)據(jù)有多精準卻不那么在意,所以艾瑞的數(shù)據(jù)最近才會經(jīng)常被人說“不靠譜”虾宇。
數(shù)據(jù)分析搓彻,今天做得不準,明天再改是沒有用的嘱朽。比如艾瑞旭贬,如果數(shù)據(jù)不穩(wěn)固卻搶著做很多行業(yè),這是不靠譜的做法搪泳,指不定哪天就砸了自己的牌子稀轨。
有人提過Facebook的數(shù)據(jù)分析師為什么那么能耐,因為他們不覺得數(shù)據(jù)分析是一個苦事岸军,十幾個人在一個房子里把數(shù)據(jù)分析當(dāng)做一件很開心的事情來做奋刽,分析數(shù)據(jù)對于他們來說是在追求科學(xué)。
第二艰赞,好的數(shù)據(jù)分析師需要一點天分佣谐,同時也需要高人點撥,但是電子商務(wù)這個圈子猖毫,真正懂?dāng)?shù)據(jù)分析的人不會超過10個,所以一般人很難取得真經(jīng)须喂。這和信仰一樣吁断,沒有師傅領(lǐng)進門,難度也會大很多坞生。
我回顧了自己從微軟到易趣仔役,再從敦煌到支付寶,在數(shù)據(jù)分析上有一次長足的進步是己,得益于從兩位老師的身上得到了許多啟發(fā)又兵。
一位是亞馬遜的首席科學(xué)家韋思康。曾經(jīng)我告訴韋思康卒废,KPI報告顯示敦煌網(wǎng)需要4秒鐘沛厨,他立馬讓我叫來做技術(shù)的同事(他要聽到一線同學(xué)的反映),問這個4秒鐘怎么測算出來摔认,是美國人打開用4秒鐘逆皮,還是英國人打開用4秒鐘,用的是什么Browser(瀏覽器)等参袱。這個4秒鐘和商業(yè)價值(例如交易量)有關(guān)系嗎电谣?
這讓當(dāng)時的我很觸動秽梅,連這么一個很基礎(chǔ)的數(shù)據(jù),韋思康老師都是以求證的心態(tài)來分析的剿牺。更令我印象深刻的是企垦,只請他當(dāng)半天敦煌網(wǎng)顧問,按照他的工作經(jīng)歷來說晒来,隨便忽悠半天是很容易的事情钞诡,但是韋思康老師非常嚴謹,先是以一個普通人的身份花了半個小時在敦煌網(wǎng)買東西(堅決要真實付錢)潜索,切身體會敦煌網(wǎng)的用戶體驗臭增。然后也不先看數(shù)據(jù),而是先問很多能更了解敦煌網(wǎng)的生意形態(tài)的問題竹习。他的問題比很多投資分析師來得專業(yè)誊抛。而現(xiàn)在許多數(shù)據(jù)分析師,包括當(dāng)時的我自己整陌,只看數(shù)據(jù)就開口說問題拗窃,不深入去體會公司的商業(yè)形態(tài)。
韋思康老師告訴過我數(shù)據(jù)是一種態(tài)度泌辫,讓我明白做數(shù)據(jù)的人就是要全身心投入随夸,好像一種信仰一樣,中間有許多路要走震放;而且宾毒,數(shù)據(jù)與商業(yè)密切相關(guān),不能局限在數(shù)據(jù)的死角里殿遂。
另一位是清華大學(xué)的教授謝勁紅诈铛,有一個夏天我碰巧去旁聽他的課,拿一堆的數(shù)據(jù)給他看墨礁,他一邊看一邊給我演繹他的思維幢竹,他可以很快在一堆數(shù)據(jù)中找到它們之間的關(guān)系。后來我常常帶著團隊去清華找他聊恩静,他教我如何看網(wǎng)絡(luò)數(shù)據(jù)焕毫,用聯(lián)動的思維來看網(wǎng)絡(luò)數(shù)據(jù)∈磺可以說是他啟蒙了我用“關(guān)系”的思維看數(shù)據(jù)邑飒。一聽完就回到敦煌看很多數(shù)據(jù),發(fā)現(xiàn)了新世界级乐。
第三幸乒,數(shù)據(jù)分析師感嘆落不了地,只能談數(shù)據(jù)唇牧,而不懂商業(yè)罕扎。如果不懂商業(yè)聚唐,而單純看數(shù)據(jù),不僅很難有創(chuàng)意的思維腔召,而且是沒有意義的杆查。
而對于一般的數(shù)據(jù)分析師來說,大部分人沒有系統(tǒng)思維臀蛛,而且也只能看一部分數(shù)據(jù)亲桦,無法從大面兒上了解整個公司的運營數(shù)據(jù),這樣就令數(shù)據(jù)分析師難以形成全面的思考方式浊仆。
為什么我在敦煌的時候數(shù)據(jù)分析能力會突飛猛進客峭?那也是因為我在前兩家公司只能看到一部分數(shù)據(jù),而到了敦煌之后我愛看什么就看什么抡柿,受謝教授啟發(fā)之后我更是天馬行空地把營銷數(shù)據(jù)舔琅、市場數(shù)據(jù)、財務(wù)數(shù)據(jù)洲劣、產(chǎn)品數(shù)據(jù)备蚓、賣家和買家數(shù)據(jù)等聯(lián)動起來看,這大大改變了我對數(shù)據(jù)的運用方式囱稽。
打破常識和經(jīng)驗分析數(shù)據(jù)
丁士正有一段時間在一家為客戶在Facebook上做廣告的加拿大公司工作窍侧。
這是一家小型Startup(創(chuàng)業(yè))公司届惋,總共不到20個人。其中4個人(包括他自己)是技術(shù)人員星持,剩下的除了CEO都是Account Manager(客戶經(jīng)理)嗓袱。當(dāng)然CEO很多時候也在做Account Manager的事情宏胯。
剛到這個公司的時候渔嚷,我覺得他們的code很爛镜遣,他們的數(shù)據(jù)庫設(shè)計也很爛。后來才知道衫哥,當(dāng)初startup的時候茎刚,是找了印度公司做外包的襟锐,他們對這個外包很不滿意撤逢,所以一期項目搞定之后,就全部拿過來自己做了粮坞。但是后遺癥也留下了蚊荣。
這個公司的數(shù)據(jù)模型很清楚,只要通過低于廣告主給出的CPA(Cost Per Action)莫杈,每行動成本互例,一種按效果支付成本的收費形式)價格能賺到錢,就想辦法增加廣告覆蓋率筝闹。但是有個常識大家都明白媳叨,增加覆蓋率很可能導(dǎo)致轉(zhuǎn)化率下降腥光。但是如果接受這個假設(shè),那么就沒有什么賺錢的機會了糊秆。恰恰是因為他們相信武福,除了常識之外,還有一些事情是經(jīng)驗之外的痘番。
比如說關(guān)鍵詞捉片。有些關(guān)鍵詞對某些人有用,對另外一些人沒用汞舱。如果不做數(shù)據(jù)挖掘伍纫,生想廣告詞或者關(guān)鍵詞的組合,把自己累死也賺不到什么錢昂芜。
所以莹规,這個公司在代碼中設(shè)計了幾個基本核心算法:
- 一種止損的trigger(觸發(fā)器),自動停止任何虧錢的廣告说铃。
- 一個自動發(fā)布廣告的Cron(定時任務(wù))访惜。程序一直在掃描,一旦發(fā)現(xiàn)一些廣告能賺錢腻扇,就自由組合這些廣告元素再自動發(fā)布到廣告系統(tǒng)里面债热。這樣,就能出乎意料地發(fā)現(xiàn)一些更加賺錢的廣告形式幼苛。
- 做了很多廣告更新的算法窒篱,搞了一個自動化的A/B測試策略來針對Facebook廣告價格的浮動,來更新廣告的價格舶沿。
通過閱讀這些算法我感受很深墙杯。所謂的數(shù)據(jù)分析,不是一個產(chǎn)品經(jīng)理跑到運維括荡、數(shù)據(jù)庫管理員或者工程師那里說:我現(xiàn)在要跟蹤什么什么數(shù)據(jù)高镐,你幫我出一下吧,然后再對著跑出來的數(shù)據(jù)琢磨這些數(shù)據(jù)是否合理畸冲。在這個公司里嫉髓,只要發(fā)現(xiàn)一個數(shù)據(jù)模式對收入有影響,就會直接編碼到系統(tǒng)里邑闲,變成自動執(zhí)行的代碼算行。基于這樣的數(shù)據(jù)導(dǎo)向原則苫耸,代碼面臨無窮多次的重構(gòu)州邢,因為誰也不知道,下一個數(shù)據(jù)模式會發(fā)生在哪個層面褪子,哪幾個數(shù)據(jù)之間會發(fā)生關(guān)系量淌。
我認為國內(nèi)的不少公司骗村,還在根據(jù)daily report(日報單)分析數(shù)據(jù),還在說數(shù)據(jù)只是為了驗證產(chǎn)品經(jīng)理想法的階段呀枢。這動作是不是太慢了叙身?
對于大多數(shù)網(wǎng)站,如果你想用數(shù)據(jù)為導(dǎo)向硫狞,必須建立系統(tǒng)級的A/B測試機制信轿。對于界面層面的重構(gòu),一個產(chǎn)品經(jīng)理加一個工程師残吩,用這個系統(tǒng)一天至少能做3~4個财忽。系統(tǒng)級別的A/B測試要能夠保證快速上線,第一時間看到數(shù)據(jù)泣侮,一旦超過臨界值要直接結(jié)束測試即彪、保留數(shù)據(jù)并生成報告(直接郵件發(fā)送,而不是讓產(chǎn)品經(jīng)理想起來跑到后臺再查)活尊。
對于做社交網(wǎng)站隶校,或者有復(fù)雜用戶數(shù)據(jù)模型的公司,要在界面呈現(xiàn)和用戶數(shù)據(jù)之間建立匹配系統(tǒng)蛹锰。這樣深胳,產(chǎn)品經(jīng)理可以設(shè)計幾種呈現(xiàn)模式,丟到匹配系統(tǒng)中铜犬,過不了多久舞终,就能發(fā)現(xiàn)用戶對不同呈現(xiàn)模式的數(shù)據(jù)反應(yīng)的不同,然后系統(tǒng)性地固化這種機制癣猾。
通過cookie或者用戶登錄信息敛劝,建立針對不同用戶的內(nèi)部tag系統(tǒng),看這些tag在系統(tǒng)里有沒有明顯差異纷宇。如果有就可以固化下來夸盟,用來提高關(guān)鍵指標。
所以像捶,我現(xiàn)在對于數(shù)據(jù)分析的感覺是:要提高一個數(shù)據(jù)指標上陕,盯著它是沒有用的。必須找到影響這個數(shù)據(jù)的另幾個可操作性更強的數(shù)據(jù)指標作岖,調(diào)整它們唆垃。分析數(shù)據(jù)的可能性要充分五芝,充分分析的基礎(chǔ)是測試充分多的可能性痘儡。如果你想測試圖標的顏色從綠色變成紅色會不會更好,那為什么不測試一下藍色枢步、紫色和黃色呢沉删?如果小規(guī)模數(shù)據(jù)已經(jīng)可以說明問題渐尿,就沒有必要延長測試時間,也沒有必要擴大測試范圍矾瑰。要充分利用計算機來幫你做數(shù)據(jù)采集和分析砖茸,縮短數(shù)據(jù)分析的周期,降低數(shù)據(jù)分析的成本殴穴。有必要的時候凉夯,可以讓計算機幫你找Pattern(模式),因為計算機沒有偏見采幌。
知乎說
“數(shù)據(jù)”和“用戶反饋”就像產(chǎn)品發(fā)展過程中的左右兩個大腦劲够,一個是“理性”的,一個更偏“感性”休傍。數(shù)據(jù)能夠更加真實地反映出用戶使用產(chǎn)品的行為特征征绎,然后根據(jù)這個特征來做產(chǎn)品調(diào)整。但是盡信數(shù)據(jù)不如無數(shù)據(jù)磨取。當(dāng)你手握數(shù)據(jù)的時候人柿,你應(yīng)該考慮的是如何分析,如何運用好這些數(shù)據(jù)忙厌,理性和感性結(jié)合凫岖,才能做出好的判斷。