數(shù)據(jù)采集

數(shù)據(jù)埋點:用戶做了什么煌张,向服務器發(fā)送一條日志
埋點的最終目的是有能力觀察及分析數(shù)據(jù)
埋點會遇到的問題
自己理不清:要啥數(shù)據(jù)/有啥屬性
研發(fā)聽不懂:前端采集or后端采集?/跨越前后端取值峭跳?

數(shù)據(jù)采集方式:線上、全埋點/無埋點缺前、線下、競品

線上數(shù)據(jù)采集【數(shù)據(jù)需求文檔(Data Requirements Document)】

  • 明確埋點需求:歸納需求(產品自身的指標建模/業(yè)務部門的分析需求)
    明確需求之后悬襟,考慮需要哪個指標來衡量需求衅码,進而選擇適當?shù)穆顸c屬性【需求→指標→埋點】
  • 選擇適當?shù)穆顸c屬性
    依據(jù)經驗,預先按分析維度設計屬性(依賴分析經驗脊岳,頻繁添加埋點逝段,需要研發(fā)密切配合)
    根據(jù)套路,預先設計埋點屬性(WWWHW)
    Who When Where How What某個用戶在某個時間點割捅、某個地方以某種形式完成了某個具體的事情
    Who:認設備/認人
    認設備:web(cookie)/IOS(UUID/IDFV/IDFA)/Android(UUID/Android ID)
    認人:UID/微信等第三方UID/手機號/身份證
    When:哪個時間
    哪個節(jié)點的時間奶躯?事件發(fā)生-事件上報-事件接收-事件入庫
    哪個時區(qū)的時間?上報時間時帶時區(qū)/使用Unix時間戳
    Where:哪個地點
    GPS:獲得的是經緯度亿驾,往往需要通過API取得詳細的地址信息
    IP:統(tǒng)一分配給運營商嘹黔,相對比較粗略,可通過第三方查所屬地
    自主填寫:相比用戶真實位置莫瞬,更關心用戶希望在哪(租房/買房/裝修)
    How:什么形式
    用的什么設備儡蔓?/裝的哪個版本郭蕉?/操作系統(tǒng)是什么?/用的什么瀏覽器喂江?/流量還是Wifi召锈?/從哪個頁面來的?/...
    What:什么事情
    購買:買了什么(商品名稱)/什么類型(商品類型)/買了多少(數(shù)量)/花了多少錢(金額)/付款方式/...
    搜索:搜索關鍵詞/搜索類型/...
    用戶注冊:注冊渠道/注冊邀請碼/...
    用戶投訴:投訴內容/投訴對象/投訴渠道/投訴方式/...
    申請退貨:退貨金額/退貨原因/退貨方式/...
    Who/When/Where是公共屬性获询,不同的模塊最好采用一種取值方式涨岁,便于后續(xù)合并分析/維護
    事件聚類:比如說有很多個模塊可以完成支付,事件統(tǒng)一命名為支付pay吉嚣,然后埋點一個position屬性表明在哪個模塊支付的
  • 前端采集or后端采集
    除非某個行為只在前端發(fā)生梢薪,否則都建議在后端采集
    前端埋點的弊端
    某些屬性前端沒有/改動依賴產品發(fā)版/事件上報時機略尷尬
    埋點屬性的來源
    前端:調用API/取頁面上的值/行為統(tǒng)計(計時器/頁面瀏覽時間)
    后端:業(yè)務數(shù)據(jù)/查關聯(lián)表/前端送來的數(shù)據(jù)/技術數(shù)據(jù)(單次事件響應時間)
    埋點有效性的校驗(數(shù)據(jù)不具備回溯性,信息損失了就沒了)
    抓包/看數(shù)據(jù)平臺是否顯示對應事件/與DRD逐個比對瓦戚,核驗是否符合預期
  • 埋點文檔的常用字段
    事件編號/事件英文變量/事件名/事件定義
    屬性英文變量/屬性名/屬性值類型/屬性定義
    埋點屬性當前狀態(tài)/埋點行式/上線版本/上線時間/下線時間/備注常見值

全埋點/無埋點=把所有瀏覽和點擊行為都記錄下來
適用場景:分析需求簡單(只需要統(tǒng)計PV和點擊)/開發(fā)限制因素多(臨時活動/沒時間部署埋點)/業(yè)務流程簡單(只需要點擊/跳轉)
技巧:可將本來能在一頁完成的流程拆成多頁來實現(xiàn)全埋點采集
限制:非瀏覽和點擊事件無法采集到what/how類的信息
線下數(shù)據(jù)收集
人體傳感器/飯店收銀臺/超市重力傳感器
電商:物流信息/客服跟進情況
教育:到課率/線下招生收集到的客戶信息
金融:地推/短信發(fā)送的用戶(與新注冊用戶對比沮尿,驗證推廣效果)
競品數(shù)據(jù)采集
明確采集目的、爬取所需數(shù)據(jù)

最后編輯于
?著作權歸作者所有,轉載或內容合作請聯(lián)系作者
  • 序言:七十年代末较解,一起剝皮案震驚了整個濱河市畜疾,隨后出現(xiàn)的幾起案子,更是在濱河造成了極大的恐慌印衔,老刑警劉巖啡捶,帶你破解...
    沈念sama閱讀 217,509評論 6 504
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件,死亡現(xiàn)場離奇詭異奸焙,居然都是意外死亡瞎暑,警方通過查閱死者的電腦和手機,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 92,806評論 3 394
  • 文/潘曉璐 我一進店門与帆,熙熙樓的掌柜王于貴愁眉苦臉地迎上來了赌,“玉大人,你說我怎么就攤上這事玄糟∥鹚” “怎么了?”我有些...
    開封第一講書人閱讀 163,875評論 0 354
  • 文/不壞的土叔 我叫張陵阵翎,是天一觀的道長逢并。 經常有香客問我,道長郭卫,這世上最難降的妖魔是什么砍聊? 我笑而不...
    開封第一講書人閱讀 58,441評論 1 293
  • 正文 為了忘掉前任,我火速辦了婚禮贰军,結果婚禮上玻蝌,老公的妹妹穿的比我還像新娘。我一直安慰自己,他們只是感情好灶伊,可當我...
    茶點故事閱讀 67,488評論 6 392
  • 文/花漫 我一把揭開白布疆前。 她就那樣靜靜地躺著,像睡著了一般聘萨。 火紅的嫁衣襯著肌膚如雪竹椒。 梳的紋絲不亂的頭發(fā)上,一...
    開封第一講書人閱讀 51,365評論 1 302
  • 那天米辐,我揣著相機與錄音胸完,去河邊找鬼。 笑死翘贮,一個胖子當著我的面吹牛赊窥,可吹牛的內容都是我干的。 我是一名探鬼主播狸页,決...
    沈念sama閱讀 40,190評論 3 418
  • 文/蒼蘭香墨 我猛地睜開眼锨能,長吁一口氣:“原來是場噩夢啊……” “哼!你這毒婦竟也來了芍耘?” 一聲冷哼從身側響起址遇,我...
    開封第一講書人閱讀 39,062評論 0 276
  • 序言:老撾萬榮一對情侶失蹤,失蹤者是張志新(化名)和其女友劉穎斋竞,沒想到半個月后倔约,有當?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體,經...
    沈念sama閱讀 45,500評論 1 314
  • 正文 獨居荒郊野嶺守林人離奇死亡坝初,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內容為張勛視角 年9月15日...
    茶點故事閱讀 37,706評論 3 335
  • 正文 我和宋清朗相戀三年浸剩,在試婚紗的時候發(fā)現(xiàn)自己被綠了。 大學時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片鳄袍。...
    茶點故事閱讀 39,834評論 1 347
  • 序言:一個原本活蹦亂跳的男人離奇死亡绢要,死狀恐怖,靈堂內的尸體忽然破棺而出拗小,到底是詐尸還是另有隱情袖扛,我是刑警寧澤,帶...
    沈念sama閱讀 35,559評論 5 345
  • 正文 年R本政府宣布十籍,位于F島的核電站,受9級特大地震影響唇礁,放射性物質發(fā)生泄漏勾栗。R本人自食惡果不足惜,卻給世界環(huán)境...
    茶點故事閱讀 41,167評論 3 328
  • 文/蒙蒙 一盏筐、第九天 我趴在偏房一處隱蔽的房頂上張望围俘。 院中可真熱鬧,春花似錦、人聲如沸界牡。這莊子的主人今日做“春日...
    開封第一講書人閱讀 31,779評論 0 22
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽宿亡。三九已至常遂,卻和暖如春,著一層夾襖步出監(jiān)牢的瞬間挽荠,已是汗流浹背克胳。 一陣腳步聲響...
    開封第一講書人閱讀 32,912評論 1 269
  • 我被黑心中介騙來泰國打工, 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留圈匆,地道東北人漠另。 一個月前我還...
    沈念sama閱讀 47,958評論 2 370
  • 正文 我出身青樓,卻偏偏與公主長得像跃赚,于是被迫代替她去往敵國和親笆搓。 傳聞我的和親對象是個殘疾皇子,可洞房花燭夜當晚...
    茶點故事閱讀 44,779評論 2 354