數據埋點

http://www.techweb.com.cn/network/system/2016-02-22/2281763.shtml

1速客、埋點

所謂「埋點」,就是在正常的功能邏輯中添加統計邏輯溺职。拿統計微信右上角「+」的點擊次數為例,上報的數據可以采用KEY-VALUE形式浪耘,我們定義 KEY為「CLICK_ADD_BTN」乱灵,VALUE的值為點擊的次數

2阔蛉、上報

并不是每統計到一次事件或者狀態(tài)就會發(fā)起數據上報,客戶端統計到的數據會先暫時存儲在內存或者磁盤上癞埠,當用戶啟動、退出應用程序的時候聋呢,或者在其他更合適的時機,將當前周期統計到的事件批量上報到服務器通铲,這樣做的目的主要是考慮到與服務器多次建立連接的性能損耗(詳見《不得不知的TCP和UDP》) 和流量問題(相同大小的數據分多次發(fā)送比一次發(fā)送要消耗更多流量),另外客戶端在上報具體的統計事件之外器贩,還會將標識用戶的ID一并上報朋截,后續(xù)用于計算用戶相關的數據如日使用用戶和留存率等。

3.后臺記錄日志

數據上報到服務器后部服,服務器會將客戶端上報的原始數據存儲到服務器的磁盤中。一般來說廓八,非強實時性的數據上報到服務器后,并不會立即參與計算

4.計算&入庫

如果我們的產品達到微信這種日登陸數五六億剧蹂,那么每天上報的統計數據將是海量的,為了從這種海量的數據中計算出「+」的使用次數宠叼、使用用戶數等信息,就需要用到「數據倉庫工具」冒冬,比如當下流行的Hive處理工具,它基于Hadoop分布式系統基礎框架窄驹,利用計算機集群的能力進行分布式計算。

一般情況下证逻,原始數據經過數據倉庫工具處理后,對應的日志文件還會在服務器上保留一段時間(一般3~7天)囚企,以便追溯統計問題

5.展示

報表系統通過前端頁面用戶的輸入獲取查詢條件,然后通過后臺數據庫查詢獲得結果龙宏,在前端展示出來。

最后編輯于
?著作權歸作者所有,轉載或內容合作請聯系作者
  • 序言:七十年代末银酗,一起剝皮案震驚了整個濱河市,隨后出現的幾起案子黍特,更是在濱河造成了極大的恐慌,老刑警劉巖灭衷,帶你破解...
    沈念sama閱讀 221,198評論 6 514
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件,死亡現場離奇詭異,居然都是意外死亡劈愚,警方通過查閱死者的電腦和手機,發(fā)現死者居然都...
    沈念sama閱讀 94,334評論 3 398
  • 文/潘曉璐 我一進店門闻妓,熙熙樓的掌柜王于貴愁眉苦臉地迎上來,“玉大人纷闺,你說我怎么就攤上這事±绻Γ” “怎么了?”我有些...
    開封第一講書人閱讀 167,643評論 0 360
  • 文/不壞的土叔 我叫張陵浸卦,是天一觀的道長。 經常有香客問我限嫌,道長,這世上最難降的妖魔是什么怒医? 我笑而不...
    開封第一講書人閱讀 59,495評論 1 296
  • 正文 為了忘掉前任,我火速辦了婚禮稚叹,結果婚禮上,老公的妹妹穿的比我還像新娘扒袖。我一直安慰自己,他們只是感情好季率,可當我...
    茶點故事閱讀 68,502評論 6 397
  • 文/花漫 我一把揭開白布。 她就那樣靜靜地躺著飒泻,像睡著了一般。 火紅的嫁衣襯著肌膚如雪泞遗。 梳的紋絲不亂的頭發(fā)上,一...
    開封第一講書人閱讀 52,156評論 1 308
  • 那天刹孔,我揣著相機與錄音,去河邊找鬼卦睹。 笑死,一個胖子當著我的面吹牛结序,可吹牛的內容都是我干的。 我是一名探鬼主播徐鹤,決...
    沈念sama閱讀 40,743評論 3 421
  • 文/蒼蘭香墨 我猛地睜開眼邀层,長吁一口氣:“原來是場噩夢啊……” “哼返敬!你這毒婦竟也來了寥院?” 一聲冷哼從身側響起,我...
    開封第一講書人閱讀 39,659評論 0 276
  • 序言:老撾萬榮一對情侶失蹤凛澎,失蹤者是張志新(化名)和其女友劉穎,沒想到半個月后估蹄,有當地人在樹林里發(fā)現了一具尸體,經...
    沈念sama閱讀 46,200評論 1 319
  • 正文 獨居荒郊野嶺守林人離奇死亡最铁,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內容為張勛視角 年9月15日...
    茶點故事閱讀 38,282評論 3 340
  • 正文 我和宋清朗相戀三年刊棕,在試婚紗的時候發(fā)現自己被綠了炭晒。 大學時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片甥角。...
    茶點故事閱讀 40,424評論 1 352
  • 序言:一個原本活蹦亂跳的男人離奇死亡,死狀恐怖震束,靈堂內的尸體忽然破棺而出,到底是詐尸還是另有隱情垢村,我是刑警寧澤,帶...
    沈念sama閱讀 36,107評論 5 349
  • 正文 年R本政府宣布嘉栓,位于F島的核電站,受9級特大地震影響侵佃,放射性物質發(fā)生泄漏。R本人自食惡果不足惜馋辈,卻給世界環(huán)境...
    茶點故事閱讀 41,789評論 3 333
  • 文/蒙蒙 一抚芦、第九天 我趴在偏房一處隱蔽的房頂上張望。 院中可真熱鬧迈螟,春花似錦叉抡、人聲如沸。這莊子的主人今日做“春日...
    開封第一講書人閱讀 32,264評論 0 23
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽。三九已至烙常,卻和暖如春轴捎,著一層夾襖步出監(jiān)牢的瞬間,已是汗流浹背蚕脏。 一陣腳步聲響...
    開封第一講書人閱讀 33,390評論 1 271
  • 我被黑心中介騙來泰國打工侦副, 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留,地道東北人驼鞭。 一個月前我還...
    沈念sama閱讀 48,798評論 3 376
  • 正文 我出身青樓秦驯,卻偏偏與公主長得像,于是被迫代替她去往敵國和親挣棕。 傳聞我的和親對象是個殘疾皇子译隘,可洞房花燭夜當晚...
    茶點故事閱讀 45,435評論 2 359

推薦閱讀更多精彩內容

  • 國家電網公司企業(yè)標準(Q/GDW)- 面向對象的用電信息數據交換協議 - 報批稿:20170802 前言: 排版 ...
    庭說閱讀 11,002評論 6 13
  • 原作者做最大:原文鏈接 數據的重要性不言而喻,好的數據分析可以使我們的產品不偏離正確的軌道洛心,做好數據分析的第一步就...
    尼克努努閱讀 885評論 0 0
  • 數據是機器學習的前提固耘,前面 使用Python爬蟲抓取數據 篇介紹了通過爬蟲抓取網頁的方式采集數據。對于新產品词身,最重...
    AIAndData閱讀 5,655評論 0 1
  • 一個人的記憶就是座城市厅目,時間腐蝕著一切建筑,把高樓和道路全部沙化法严。如果你不往前走损敷,就會被沙子掩埋。所以我們淚...
    宮宇商閱讀 254評論 0 0
  • BIMBOY第四期培訓感悟 2017-10-15—2017-10-22 北京昌平西御園酒店 四海八方而來深啤,或喜或憂...
    半個文盲閱讀 264評論 0 0