數(shù)據(jù)采集與埋點(diǎn)

1) 什么是埋點(diǎn)

埋點(diǎn)技術(shù)是一種數(shù)據(jù)采集技術(shù),特指針對(duì)用戶行為或時(shí)間進(jìn)行捕獲壶硅、處理和上報(bào)的相關(guān)技術(shù)及其實(shí)施過程。

2) 埋點(diǎn)模型

埋點(diǎn)模型采用的是事件模型,事件模型描述了一個(gè)人做某件事情所需要的幾個(gè)重點(diǎn)要素:人物(who)编矾、時(shí)間(when)、地點(diǎn)(where)馁害、途徑(how)窄俏、結(jié)果(what),完成對(duì)每個(gè)事件的維度/屬性/字段的采集,對(duì)事件的發(fā)生形成一個(gè)快照.

3) 埋點(diǎn)分類

按端口主要分為: 1.Web埋點(diǎn) 2.APP埋點(diǎn) 3.接口埋點(diǎn)

  1. Web埋點(diǎn)主要是通過先在Web頁面上注入一段Javascript代碼,然后對(duì)收集的數(shù)據(jù)進(jìn)行上報(bào)的技術(shù). Web埋點(diǎn)技術(shù)經(jīng)歷了網(wǎng)頁信息、增加Cookie碘菜、增加事件三個(gè)階段裆操,在大數(shù)據(jù)運(yùn)營之后,Web埋點(diǎn)更多的關(guān)注事件炉媒,同時(shí)上報(bào)用戶信息踪区,這樣可以對(duì)用戶興趣點(diǎn)進(jìn)行挖掘。
  2. APP埋點(diǎn)是通過在代碼中注入一段特殊的代碼或者引入一個(gè)SDK,對(duì)APP中的信息進(jìn)行收集的一種技術(shù).
  3. 接口埋點(diǎn)不同于其他埋點(diǎn),它不是通過數(shù)據(jù)庫系統(tǒng)直接存儲(chǔ),而是通過日志系統(tǒng)存儲(chǔ),然后通過ETL保存到數(shù)據(jù)倉庫. (用于實(shí)時(shí)接口的監(jiān)控,快速發(fā)現(xiàn)接口的異常. 如運(yùn)維的報(bào)警系統(tǒng)很多都是接口埋點(diǎn)實(shí)現(xiàn)的)

按是否可視化分為:1. 代碼埋點(diǎn) 2.可視化埋點(diǎn)(全埋點(diǎn)/無埋點(diǎn))

  1. 代碼埋點(diǎn):代碼埋點(diǎn)是根據(jù)具體埋點(diǎn)需求進(jìn)行數(shù)據(jù)采集的方式吊骤,分為前端代碼埋點(diǎn)和后端代碼埋點(diǎn). 前端代碼埋點(diǎn)在前端里嵌入SDK代碼,對(duì)于每一個(gè)關(guān)鍵行為,我們需要調(diào)用SDK代碼,將必要的事件名,屬性字段等寫入代碼,然后發(fā)送到后臺(tái)服務(wù)器.后端代碼埋點(diǎn)則將相關(guān)事件和屬性通過后端模塊調(diào)用SDK的方式,發(fā)送到后臺(tái)服務(wù)器. 前端埋點(diǎn)主要采集用戶行為缎岗,后端埋點(diǎn)更多采集的是業(yè)務(wù)數(shù)據(jù)。
  2. 可視化埋點(diǎn)(全埋點(diǎn)/無埋點(diǎn)) : 全埋點(diǎn)類似于前端埋點(diǎn),不同的是,全埋點(diǎn)通過對(duì)前端界面配置的方式對(duì)關(guān)鍵行為進(jìn)行定義完成圈選過程, 引用SDK, 接下來就會(huì)自動(dòng)完成全面采集.
    更多細(xì)節(jié)參考:https://growingio.kf5.com/hc/kb/article/1336131/
    https://www.cnblogs.com/fakeCoder/p/9900595.htm

數(shù)據(jù)采集除了埋點(diǎn),還有一個(gè)方法是導(dǎo)入輔助工具,為了減少系統(tǒng)耦合性,我們還可采集日志,數(shù)據(jù)庫的方式生成數(shù)據(jù),然后對(duì)數(shù)據(jù)進(jìn)行轉(zhuǎn)換,通過實(shí)時(shí)或批量工具完成數(shù)據(jù)導(dǎo)入.(例如將日志格式的數(shù)據(jù)通過Logagent模塊實(shí)時(shí)傳入后臺(tái)服務(wù)器,也會(huì)采用分布式抓取的方式,定時(shí)將數(shù)據(jù)從源頭下載到數(shù)據(jù)服務(wù)器)

4) 埋點(diǎn)方式的對(duì)比

代碼埋點(diǎn)和全埋點(diǎn)比較:
image.png

前端埋點(diǎn)和后端埋點(diǎn)比較:
image.png

5) 埋點(diǎn)技術(shù)的選擇

公司剛啟動(dòng)白粉,技術(shù)人員少传泊,人員流動(dòng)大,公司初步擴(kuò)張中鸭巴,尚未進(jìn)入精細(xì)化運(yùn)營階段眷细。可以選擇無埋點(diǎn)技術(shù)鹃祖。
項(xiàng)目在天使輪階段之后的融資階段溪椎,業(yè)務(wù)復(fù)雜度高,App應(yīng)用的技術(shù)多樣。使用有埋點(diǎn)技術(shù)校读。
公司流量巨大沼侣,業(yè)務(wù)復(fù)雜度高。需要有埋點(diǎn)技術(shù)和無埋點(diǎn)技術(shù)聯(lián)合使用歉秫。對(duì)無埋點(diǎn)技術(shù)也要進(jìn)行一定的修改蛾洛,上報(bào)階段要通過后臺(tái)配置項(xiàng)進(jìn)行配置上報(bào)。

為了埋點(diǎn)數(shù)據(jù)全&準(zhǔn)的兩個(gè)準(zhǔn)則雁芙,一般可以采取兩種方式組合的方式轧膘,重點(diǎn)業(yè)務(wù)、非重點(diǎn)頁面采用代碼埋點(diǎn)兔甘,重點(diǎn)頁面非重點(diǎn)業(yè)務(wù)采用無埋點(diǎn)扶供,合理分配兩種埋點(diǎn)策略做到不丟不漏在合理的維護(hù)成本范圍內(nèi),盡可能多而全的采集裂明。

6) 埋點(diǎn)上報(bào)如何做到全面

以UI設(shè)計(jì)為底,以業(yè)務(wù)價(jià)值為依據(jù),以事件為起點(diǎn),以'要義'為目標(biāo)進(jìn)行埋點(diǎn),就可以保證目標(biāo)收集的必要和全面

  1. 依賴交互設(shè)計(jì)圖,任何有交互的元素都要考慮是否埋點(diǎn). 決定是否埋點(diǎn)的依據(jù)是這個(gè)交互是否有業(yè)務(wù)意義.有意義就埋.
  2. 以事件驅(qū)動(dòng),需要上報(bào)的信息包括事件本身,觸發(fā)事件的用戶信息(包含設(shè)備信息),以及觸發(fā)元素本身所在實(shí)體(對(duì)于客觀世界物體的抽象)的信息. 如我們?cè)陔娚唐脚_(tái)收藏一個(gè)商品,那么點(diǎn)擊收藏的這個(gè)點(diǎn)擊事件就是我們要埋的點(diǎn).
最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
  • 序言:七十年代末椿浓,一起剝皮案震驚了整個(gè)濱河市,隨后出現(xiàn)的幾起案子闽晦,更是在濱河造成了極大的恐慌扳碍,老刑警劉巖,帶你破解...
    沈念sama閱讀 211,817評(píng)論 6 492
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件仙蛉,死亡現(xiàn)場離奇詭異笋敞,居然都是意外死亡,警方通過查閱死者的電腦和手機(jī)荠瘪,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 90,329評(píng)論 3 385
  • 文/潘曉璐 我一進(jìn)店門夯巷,熙熙樓的掌柜王于貴愁眉苦臉地迎上來,“玉大人哀墓,你說我怎么就攤上這事趁餐。” “怎么了篮绰?”我有些...
    開封第一講書人閱讀 157,354評(píng)論 0 348
  • 文/不壞的土叔 我叫張陵后雷,是天一觀的道長。 經(jīng)常有香客問我吠各,道長臀突,這世上最難降的妖魔是什么? 我笑而不...
    開封第一講書人閱讀 56,498評(píng)論 1 284
  • 正文 為了忘掉前任贾漏,我火速辦了婚禮候学,結(jié)果婚禮上,老公的妹妹穿的比我還像新娘纵散。我一直安慰自己梳码,他們只是感情好隐圾,可當(dāng)我...
    茶點(diǎn)故事閱讀 65,600評(píng)論 6 386
  • 文/花漫 我一把揭開白布。 她就那樣靜靜地躺著边翁,像睡著了一般。 火紅的嫁衣襯著肌膚如雪硕盹。 梳的紋絲不亂的頭發(fā)上符匾,一...
    開封第一講書人閱讀 49,829評(píng)論 1 290
  • 那天,我揣著相機(jī)與錄音瘩例,去河邊找鬼啊胶。 笑死,一個(gè)胖子當(dāng)著我的面吹牛垛贤,可吹牛的內(nèi)容都是我干的焰坪。 我是一名探鬼主播,決...
    沈念sama閱讀 38,979評(píng)論 3 408
  • 文/蒼蘭香墨 我猛地睜開眼聘惦,長吁一口氣:“原來是場噩夢(mèng)啊……” “哼某饰!你這毒婦竟也來了?” 一聲冷哼從身側(cè)響起善绎,我...
    開封第一講書人閱讀 37,722評(píng)論 0 266
  • 序言:老撾萬榮一對(duì)情侶失蹤黔漂,失蹤者是張志新(化名)和其女友劉穎,沒想到半個(gè)月后禀酱,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體炬守,經(jīng)...
    沈念sama閱讀 44,189評(píng)論 1 303
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 36,519評(píng)論 2 327
  • 正文 我和宋清朗相戀三年剂跟,在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了减途。 大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片。...
    茶點(diǎn)故事閱讀 38,654評(píng)論 1 340
  • 序言:一個(gè)原本活蹦亂跳的男人離奇死亡曹洽,死狀恐怖鳍置,靈堂內(nèi)的尸體忽然破棺而出,到底是詐尸還是另有隱情送淆,我是刑警寧澤墓捻,帶...
    沈念sama閱讀 34,329評(píng)論 4 330
  • 正文 年R本政府宣布,位于F島的核電站坊夫,受9級(jí)特大地震影響砖第,放射性物質(zhì)發(fā)生泄漏。R本人自食惡果不足惜,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 39,940評(píng)論 3 313
  • 文/蒙蒙 一妻味、第九天 我趴在偏房一處隱蔽的房頂上張望蹂窖。 院中可真熱鬧,春花似錦羽杰、人聲如沸渡紫。這莊子的主人今日做“春日...
    開封第一講書人閱讀 30,762評(píng)論 0 21
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽惕澎。三九已至,卻和暖如春颜骤,著一層夾襖步出監(jiān)牢的瞬間唧喉,已是汗流浹背。 一陣腳步聲響...
    開封第一講書人閱讀 31,993評(píng)論 1 266
  • 我被黑心中介騙來泰國打工忍抽, 沒想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留八孝,地道東北人。 一個(gè)月前我還...
    沈念sama閱讀 46,382評(píng)論 2 360
  • 正文 我出身青樓鸠项,卻偏偏與公主長得像干跛,于是被迫代替她去往敵國和親。 傳聞我的和親對(duì)象是個(gè)殘疾皇子祟绊,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 43,543評(píng)論 2 349

推薦閱讀更多精彩內(nèi)容