數(shù)據(jù)的秘密(下)- 如何分析數(shù)據(jù)

前言

上一篇文章中,我們介紹了為什么要關(guān)注數(shù)據(jù)稠腊,在本文中我將分享具體如何做案疲。

關(guān)注宏觀和細(xì)節(jié)

大多數(shù)人都能做到關(guān)注宏觀的數(shù)據(jù),拿互聯(lián)網(wǎng)產(chǎn)品來(lái)說(shuō)麻养,日活,月活诺舔,流失率鳖昌,NPS(凈推薦值)备畦,這些都是宏觀的數(shù)據(jù)。宏觀數(shù)據(jù)能夠反映出產(chǎn)品的整體狀況许昨,是值得長(zhǎng)期關(guān)注的懂盐。

但是在宏觀之外,我們還應(yīng)該關(guān)注一些細(xì)節(jié)的數(shù)據(jù)糕档。拿日活來(lái)說(shuō)莉恼,我們可以再進(jìn)一步進(jìn)行分析,比如:

日活中新用戶所占的比例

日活中 iOS 和 Android 的各自占比

日活中大家集中活躍的時(shí)間段

日活中用戶的會(huì)話(Session)次數(shù)分布速那,時(shí)長(zhǎng)分布

日活中用戶平均使用你的產(chǎn)品核心功能的次數(shù)

當(dāng)你把數(shù)據(jù)拿放大鏡看得更細(xì)的時(shí)候俐银,你可能就會(huì)發(fā)現(xiàn)一些問(wèn)題。帶著這些問(wèn)題端仰,你進(jìn)一步分析捶惜,就可以找到更多信息。

舉一個(gè)我們創(chuàng)業(yè)產(chǎn)品小猿搜題的例子荔烧,我們發(fā)現(xiàn)日活中的用戶吱七,有相當(dāng)一部分用戶只是注冊(cè)了,但是并沒(méi)有使用我們產(chǎn)品的核心功能鹤竭,于是我們擔(dān)心會(huì)不會(huì)有一些付費(fèi)推廣渠道「刷量」踊餐。

所以,我們將新增用戶中不活躍的比例按渠道來(lái)劃分臀稚。通過(guò)這樣的劃分吝岭,我們很容易找到那些效果差的渠道,從而選擇更有效的推廣渠道烁涌。

關(guān)注原始數(shù)據(jù)

原始數(shù)據(jù)是什么苍碟?就是那些不是通過(guò)別的數(shù)據(jù)計(jì)算出來(lái)的,不能被分割的數(shù)據(jù)撮执。這些數(shù)據(jù)是最最真實(shí)的微峰,而其它通過(guò)計(jì)算出來(lái)的數(shù)據(jù),因?yàn)檫M(jìn)行了二次加工抒钱,所以不一定能夠完全反映出產(chǎn)品的問(wèn)題蜓肆。

再舉一個(gè)小猿搜題的例子,我們?yōu)榱搜芯?NPS 給我們打零分的用戶谋币。把這些用戶的搜索數(shù)據(jù)仗扬、操作記錄都抽樣出來(lái),一個(gè)用戶一個(gè)用戶看蕾额,然后進(jìn)行分類整理早芭。最終我們發(fā)現(xiàn)這里面小學(xué)生用戶占比很高,從而調(diào)整了產(chǎn)品的策略诅蝶,在內(nèi)容和算法上對(duì)小學(xué)生進(jìn)行了兼顧退个。

關(guān)注原始數(shù)據(jù)除了能改進(jìn)產(chǎn)品外募壕,還能在技術(shù)上提高代碼的質(zhì)量。我們?cè)?jīng)遇到過(guò)一個(gè)很難復(fù)雜的 Bug语盈,在我們的測(cè)試機(jī)中都無(wú)法復(fù)現(xiàn)舱馅,但是我們通過(guò)分析相關(guān)用戶的操作記錄,找到了具體崩潰的操作方法刀荒。

雖然該操作方法不能在我們自己的機(jī)器上復(fù)現(xiàn) Bug代嗤,但是我們卻能找到相關(guān)的關(guān)鍵代碼。通過(guò)一些針對(duì)這些代碼的討論缠借,我們就找到了 Bug 的原因「梢悖現(xiàn)在回想起來(lái),如果沒(méi)有這些原始數(shù)據(jù)烈炭,要修復(fù)這個(gè) Bug 就要困難很多了溶锭。

關(guān)于面試

其實(shí)不光做產(chǎn)品要看「原始數(shù)據(jù)」,面試一個(gè)人也是符隙。我在面試的時(shí)候趴捅,會(huì)選一個(gè)候選人簡(jiǎn)歷上的事情,進(jìn)行深入了解霹疫。我會(huì)讓他提供詳細(xì)相關(guān)工作的數(shù)據(jù)和事例拱绑。通過(guò)這些「原始數(shù)據(jù)」,我能夠更加方便地「還原他真實(shí)的工作場(chǎng)景」丽蝎,從而對(duì)他的工作質(zhì)量作出盡量客觀的評(píng)價(jià)猎拨。

舉個(gè)例子,有一個(gè)產(chǎn)品實(shí)習(xí)生候選人在簡(jiǎn)歷上寫他運(yùn)營(yíng)了一個(gè)微信公眾號(hào)屠阻,「粉絲逾千红省,單日粉絲增量 200 以上,數(shù)篇文章閱讀量超過(guò) 3000」国觉。但是在面試中吧恃,詳細(xì)追問(wèn)這些數(shù)字,我們才發(fā)現(xiàn)他說(shuō)的「逾千」是指 1000麻诀,而「單日粉絲增量 200 以上」是指的最高的一天痕寓,其它信息也都是有夸大的成分。

還有一次蝇闭,我面試一個(gè)技術(shù)候選人呻率,這個(gè)候選人說(shuō)他有代碼潔癖,覺(jué)得前公司的代碼「很亂呻引,受不了」礼仗。但是我讓他具體舉幾個(gè)例子的時(shí)候,他卻很難說(shuō)出實(shí)際的例子。還有候選人說(shuō)他喜歡看技術(shù)書藐守,但是卻無(wú)法說(shuō)出他印象最深的一本技術(shù)書以及其中的部分觀點(diǎn)挪丢。

通過(guò)了解細(xì)節(jié),我們就可以揭開(kāi)簡(jiǎn)歷中光鮮描述的外衣卢厂,了解到事情背后的細(xì)節(jié),這對(duì)我們?cè)u(píng)價(jià)候選人至關(guān)重要惠啄。

數(shù)據(jù)可視化

數(shù)據(jù)可視化是指將原本枯燥的數(shù)據(jù)慎恒,用折線圖、餅圖撵渡、柱狀圖等方式呈現(xiàn)出來(lái)融柬,它可以使我們更容易發(fā)現(xiàn)數(shù)據(jù)的規(guī)律,也更容易發(fā)現(xiàn)數(shù)據(jù)的異常趋距。

在小猿搜題項(xiàng)目中粒氧,數(shù)據(jù)可視化多次給我們帶來(lái)巨大的幫助,包括:

了解數(shù)據(jù)的特點(diǎn):我們將小猿搜題的 QPS 按每小時(shí)為頻率畫出成一條折線圖节腐,所以我們很容易知道我們服務(wù)器高峰期的時(shí)間段以及訪問(wèn)量外盯。

發(fā)現(xiàn)服務(wù)異常:我們將服務(wù)器搜索的失敗率占比畫出成一個(gè)餅圖,有一天翼雀,這個(gè)餅圖中顯示出失敗率突然變高了饱苟。同時(shí),每日的 NPS 分?jǐn)?shù)突然也變低了很多狼渊。我們借此發(fā)現(xiàn)了新擴(kuò)容的一臺(tái)服務(wù)器故障箱熬。因?yàn)槟桥_(tái)服務(wù)器是新加的,所以運(yùn)維忘記了增加監(jiān)控狈邑,如果沒(méi)有數(shù)據(jù)可視化的幫助城须,這個(gè)故障可能會(huì)持續(xù)更長(zhǎng)時(shí)間。

監(jiān)控核心質(zhì)量:我們將小猿搜題的一些核心指標(biāo)畫成折線圖米苹,然后大家都努力讓核心指標(biāo)更優(yōu)糕伐。

發(fā)現(xiàn)惡意攻擊:一些重要指標(biāo),我們都會(huì)可視化出來(lái)驱入,這樣當(dāng)這些數(shù)據(jù)指標(biāo)變化時(shí)赤炒,我們就會(huì)進(jìn)一步分析原因,從中我們還發(fā)現(xiàn)了一些競(jìng)爭(zhēng)對(duì)手惡意的攻擊行為亏较。

數(shù)據(jù)可視化工具

我們當(dāng)然不可能所有的數(shù)據(jù)可視化都是自己手工用 Excel莺褒、Numbers 之類的工具來(lái)生成。所以雪情,我們開(kāi)發(fā)了一個(gè)數(shù)據(jù)可視化的平臺(tái)遵岩,我們把它叫做 flyboard。

flyboard 提供了各種數(shù)據(jù)可視化的方式,包括數(shù)字尘执,折線圖舍哄,餅圖,環(huán)形圖誊锭,柱狀圖等表悬。如下圖所示:

我們將所有的原始數(shù)據(jù)都?xì)w集到分布式存儲(chǔ)Hbase中,然后通過(guò)配置一些定時(shí)的計(jì)算任務(wù)丧靡,就可以以幾乎實(shí)時(shí)地方式蟆沫,看到產(chǎn)品的各項(xiàng)可視化指標(biāo)。

這些指標(biāo)温治,有宏觀的饭庞,也有一些比較細(xì)分的,如果我們對(duì)某項(xiàng)指標(biāo)的數(shù)值有疑問(wèn)熬荆,我們就會(huì)進(jìn)一步寫一些分析腳本舟山,來(lái)從 Hbase 中計(jì)算一些數(shù)據(jù)進(jìn)行檢查。

在猿題庫(kù)公司卤恳,我們的三個(gè)產(chǎn)品(猿題庫(kù)累盗、小猿搜題、猿輔導(dǎo))的辦公區(qū)域纬黎,都掛著一個(gè)巨大的顯示器幅骄,這個(gè)顯示器除了用于 Scrum 的每日站會(huì)同步進(jìn)度外,平時(shí)都用 flyboard 顯示著產(chǎn)品的各項(xiàng)核心數(shù)據(jù)本今。

悄悄告訴你一個(gè)秘密拆座,我們的 flyboard 可視化平臺(tái)是開(kāi)源的,項(xiàng)目地址是:https://github.com/yuantiku/flyboard冠息,在 Github 上你可以下載到完整的代碼挪凑,我們也附有完整的安裝使用說(shuō)明文檔。如果你還沒(méi)有使用任何數(shù)據(jù)可視化工具逛艰,歡迎嘗試一下 flyboard躏碳。

學(xué)習(xí)寫 SQL

由于有HadoopHbase散怖、Hive的存在菇绵,產(chǎn)品經(jīng)理也可以通過(guò)一些簡(jiǎn)單的 SQL 語(yǔ)句,就可以生成MapReduce任務(wù)镇眷,進(jìn)行分布式的數(shù)據(jù)分析運(yùn)算咬最。

所以數(shù)據(jù)分析最最常用的辦法就是寫 SQL。在很多公司欠动,產(chǎn)品經(jīng)理都在這方面能力比較欠缺永乌,這使得產(chǎn)品經(jīng)理在需要數(shù)據(jù)時(shí)惑申,需要向技術(shù)提需求。技術(shù)會(huì)根據(jù)自己的工作排期翅雏。這樣一來(lái)一回圈驼,一般一個(gè)簡(jiǎn)單的數(shù)據(jù)分析都需要一天時(shí)間。

這樣的低效率的方式望几,會(huì)扼殺產(chǎn)品經(jīng)理的一些數(shù)據(jù)分析需求绩脆,特別是那種需要探索式發(fā)現(xiàn)的數(shù)據(jù)分析工作。因?yàn)檫@種工作需要不停地根據(jù)數(shù)據(jù)分析的結(jié)果橄妆,調(diào)整各種策略來(lái)寫嘗試的 SQL衙伶。

所以在猿題庫(kù),我們希望產(chǎn)品經(jīng)理都能有基本的數(shù)據(jù)分析能力害碾,一些簡(jiǎn)單的 SQL 都是需要自己能夠?qū)懙摹.?dāng)然赦拘,一些特別復(fù)雜的 SQL慌随,產(chǎn)品經(jīng)理可能還是需要向技術(shù)同事咨詢。

具體如何寫 SQL躺同,市面上已經(jīng)有非常多的相關(guān)書籍了阁猜,我在這里就不再展開(kāi)介紹了。

數(shù)據(jù)查看和分析一定要方便

如果你仔細(xì)觀察就會(huì)發(fā)現(xiàn)蹋艺,很多革命性的產(chǎn)品就只是讓某件事情更方便了一點(diǎn)點(diǎn)剃袍。智能手機(jī)其實(shí)只是讓你上網(wǎng)更方便了一點(diǎn),但是這種方便使得人們從以前有「離線和在線」的狀態(tài)捎谨,變成了永久在線民效。于是,移動(dòng)互聯(lián)網(wǎng)誕生了涛救,本質(zhì)上來(lái)說(shuō)畏邢,移動(dòng)互聯(lián)網(wǎng)就是一種人們永久在線的網(wǎng)絡(luò),但是就是這么一點(diǎn)點(diǎn)的方便检吆,使得很多行業(yè)被完全顛覆舒萎。

而數(shù)據(jù)分析也是一樣,我們應(yīng)該盡量讓數(shù)據(jù)觸手可得蹭沛,這樣我們才能將數(shù)據(jù)分析的效率最大化臂寝,一定程度上的效率提升就會(huì)產(chǎn)生質(zhì)變,使得我們專注于數(shù)據(jù)做更多事情摊灭。

我們之前移動(dòng)端統(tǒng)計(jì)用 Flurry咆贬,但是 Flurry 在中國(guó)實(shí)在太慢了,即使掛上國(guó)外的 VPN 也很慢斟或!如果產(chǎn)品經(jīng)理每次登錄 Flurry 要 10 秒鐘的話素征,那么他就可能將注意力臨時(shí)轉(zhuǎn)移到別的事情上,然后就可能忘記本來(lái)要看的數(shù)據(jù)。

為了讓數(shù)據(jù)觸手可得御毅,我們放棄了對(duì) Flurry 的使用根欧,我們自己開(kāi)發(fā)了日志收集平臺(tái),然后自己寫日志計(jì)算程序端蛆,將一些核心指標(biāo)全部自己計(jì)算在 flyboard 上凤粗,我們也另外開(kāi)發(fā)了一套數(shù)據(jù)分析平臺(tái),實(shí)現(xiàn) Flurry 中的類似功能〗穸梗現(xiàn)在嫌拣,我們已經(jīng)能夠非常舒服地分析數(shù)據(jù)了。

所以呆躲,如果你的公司不能很方便的查看和分析數(shù)據(jù)异逐,那么一定要想辦法改進(jìn),這些數(shù)據(jù)就像人的神經(jīng)系統(tǒng)一樣插掂,傳遞著產(chǎn)品的健康數(shù)據(jù)灰瞻,重視這些數(shù)據(jù),才能夠做好產(chǎn)品辅甥。

總結(jié)

總結(jié)一下本文中的觀點(diǎn):

重視宏觀數(shù)據(jù)和細(xì)節(jié)

關(guān)注原始數(shù)據(jù)

數(shù)據(jù)可視化

學(xué)會(huì)用 SQL

數(shù)據(jù)查看和分析一定要方便

作者:唐巧? 自由轉(zhuǎn)載-非商用-非衍生-保持署名 |Creative Commons BY-NC-ND 3.0

http://blog.devtang.com/blog/2015/09/03/how-to-monitor-data/

最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
  • 序言:七十年代末酝润,一起剝皮案震驚了整個(gè)濱河市,隨后出現(xiàn)的幾起案子璃弄,更是在濱河造成了極大的恐慌要销,老刑警劉巖,帶你破解...
    沈念sama閱讀 216,744評(píng)論 6 502
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件夏块,死亡現(xiàn)場(chǎng)離奇詭異疏咐,居然都是意外死亡,警方通過(guò)查閱死者的電腦和手機(jī)拨扶,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 92,505評(píng)論 3 392
  • 文/潘曉璐 我一進(jìn)店門凳鬓,熙熙樓的掌柜王于貴愁眉苦臉地迎上來(lái),“玉大人患民,你說(shuō)我怎么就攤上這事缩举。” “怎么了匹颤?”我有些...
    開(kāi)封第一講書人閱讀 163,105評(píng)論 0 353
  • 文/不壞的土叔 我叫張陵仅孩,是天一觀的道長(zhǎng)。 經(jīng)常有香客問(wèn)我印蓖,道長(zhǎng)辽慕,這世上最難降的妖魔是什么? 我笑而不...
    開(kāi)封第一講書人閱讀 58,242評(píng)論 1 292
  • 正文 為了忘掉前任赦肃,我火速辦了婚禮溅蛉,結(jié)果婚禮上公浪,老公的妹妹穿的比我還像新娘。我一直安慰自己船侧,他們只是感情好欠气,可當(dāng)我...
    茶點(diǎn)故事閱讀 67,269評(píng)論 6 389
  • 文/花漫 我一把揭開(kāi)白布。 她就那樣靜靜地躺著镜撩,像睡著了一般预柒。 火紅的嫁衣襯著肌膚如雪。 梳的紋絲不亂的頭發(fā)上袁梗,一...
    開(kāi)封第一講書人閱讀 51,215評(píng)論 1 299
  • 那天宜鸯,我揣著相機(jī)與錄音,去河邊找鬼遮怜。 笑死淋袖,一個(gè)胖子當(dāng)著我的面吹牛,可吹牛的內(nèi)容都是我干的锯梁。 我是一名探鬼主播适贸,決...
    沈念sama閱讀 40,096評(píng)論 3 418
  • 文/蒼蘭香墨 我猛地睜開(kāi)眼,長(zhǎng)吁一口氣:“原來(lái)是場(chǎng)噩夢(mèng)啊……” “哼涝桅!你這毒婦竟也來(lái)了?” 一聲冷哼從身側(cè)響起烙样,我...
    開(kāi)封第一講書人閱讀 38,939評(píng)論 0 274
  • 序言:老撾萬(wàn)榮一對(duì)情侶失蹤冯遂,失蹤者是張志新(化名)和其女友劉穎,沒(méi)想到半個(gè)月后谒获,有當(dāng)?shù)厝嗽跇?shù)林里發(fā)現(xiàn)了一具尸體蛤肌,經(jīng)...
    沈念sama閱讀 45,354評(píng)論 1 311
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡,尸身上長(zhǎng)有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 37,573評(píng)論 2 333
  • 正文 我和宋清朗相戀三年批狱,在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了裸准。 大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片唆貌。...
    茶點(diǎn)故事閱讀 39,745評(píng)論 1 348
  • 序言:一個(gè)原本活蹦亂跳的男人離奇死亡想暗,死狀恐怖翅萤,靈堂內(nèi)的尸體忽然破棺而出檐嚣,到底是詐尸還是另有隱情眼滤,我是刑警寧澤谜诫,帶...
    沈念sama閱讀 35,448評(píng)論 5 344
  • 正文 年R本政府宣布锌订,位于F島的核電站陨享,受9級(jí)特大地震影響推盛,放射性物質(zhì)發(fā)生泄漏峦阁。R本人自食惡果不足惜,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 41,048評(píng)論 3 327
  • 文/蒙蒙 一耘成、第九天 我趴在偏房一處隱蔽的房頂上張望榔昔。 院中可真熱鬧驹闰,春花似錦、人聲如沸撒会。這莊子的主人今日做“春日...
    開(kāi)封第一講書人閱讀 31,683評(píng)論 0 22
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽(yáng)茧彤。三九已至骡显,卻和暖如春,著一層夾襖步出監(jiān)牢的瞬間曾掂,已是汗流浹背惫谤。 一陣腳步聲響...
    開(kāi)封第一講書人閱讀 32,838評(píng)論 1 269
  • 我被黑心中介騙來(lái)泰國(guó)打工, 沒(méi)想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留珠洗,地道東北人溜歪。 一個(gè)月前我還...
    沈念sama閱讀 47,776評(píng)論 2 369
  • 正文 我出身青樓,卻偏偏與公主長(zhǎng)得像许蓖,于是被迫代替她去往敵國(guó)和親蝴猪。 傳聞我的和親對(duì)象是個(gè)殘疾皇子,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 44,652評(píng)論 2 354

推薦閱讀更多精彩內(nèi)容