網(wǎng)易嚴(yán)選數(shù)據(jù)中臺(tái)的經(jīng)驗(yàn)和方法論

作者:魏文慶,網(wǎng)易嚴(yán)選數(shù)據(jù)技術(shù)及產(chǎn)品部總監(jiān)

image.png

image.png

從供應(yīng)側(cè)保障數(shù)據(jù)的完整性和質(zhì)量:夸父-埋點(diǎn)管理系統(tǒng)提供了埋點(diǎn)的管理怪嫌、埋點(diǎn)流程協(xié)同和埋點(diǎn)測(cè)試邻吭,提供了埋點(diǎn)日志的scheme,保障了埋點(diǎn)數(shù)據(jù)質(zhì)量番挺。精衛(wèi)-數(shù)據(jù)填報(bào)系統(tǒng)提供數(shù)據(jù)導(dǎo)入數(shù)倉(cāng)及導(dǎo)入時(shí)的驗(yàn)證功能,提升數(shù)據(jù)的完整性屯掖。從需求側(cè)提升數(shù)據(jù)(指標(biāo))的一致性:倉(cāng)頡-指標(biāo)管理系統(tǒng)玄柏,在提供指標(biāo)統(tǒng)一管理的同時(shí),提供了指標(biāo)定義規(guī)范的約束贴铜。燧人-指標(biāo)地圖是提供給業(yè)務(wù)方查看當(dāng)前的指標(biāo)分類與指標(biāo)定義粪摘。數(shù)倉(cāng)開發(fā)的質(zhì)量與效率:北斗-數(shù)倉(cāng)設(shè)計(jì)管理系統(tǒng)將數(shù)倉(cāng)開發(fā)的經(jīng)驗(yàn)知識(shí)化、標(biāo)準(zhǔn)化绍坝、工具化徘意。數(shù)據(jù)質(zhì)量中心提供全鏈路的數(shù)據(jù)保障體系,提供任務(wù)監(jiān)控轩褐、數(shù)據(jù)監(jiān)控椎咧、應(yīng)用監(jiān)控、影響范圍評(píng)估和恢復(fù)的支撐。

統(tǒng)一查詢服務(wù)已經(jīng)接入了67個(gè)應(yīng)用勤讽、670個(gè)模型蟋座、每天有300w的調(diào)用。

場(chǎng)景建設(shè)

數(shù)據(jù)質(zhì)量體系
統(tǒng)一查詢服務(wù)是數(shù)據(jù)體系和數(shù)據(jù)應(yīng)用系統(tǒng)之間的總網(wǎng)關(guān)脚牍,需要提供模型級(jí)限流向臀、熔斷等網(wǎng)關(guān)功能。

可視化
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
  • 序言:七十年代末诸狭,一起剝皮案震驚了整個(gè)濱河市券膀,隨后出現(xiàn)的幾起案子,更是在濱河造成了極大的恐慌驯遇,老刑警劉巖三娩,帶你破解...
    沈念sama閱讀 219,589評(píng)論 6 508
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件,死亡現(xiàn)場(chǎng)離奇詭異妹懒,居然都是意外死亡雀监,警方通過查閱死者的電腦和手機(jī),發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 93,615評(píng)論 3 396
  • 文/潘曉璐 我一進(jìn)店門眨唬,熙熙樓的掌柜王于貴愁眉苦臉地迎上來会前,“玉大人,你說我怎么就攤上這事匾竿⊥咭耍” “怎么了?”我有些...
    開封第一講書人閱讀 165,933評(píng)論 0 356
  • 文/不壞的土叔 我叫張陵岭妖,是天一觀的道長(zhǎng)临庇。 經(jīng)常有香客問我,道長(zhǎng)昵慌,這世上最難降的妖魔是什么假夺? 我笑而不...
    開封第一講書人閱讀 58,976評(píng)論 1 295
  • 正文 為了忘掉前任,我火速辦了婚禮斋攀,結(jié)果婚禮上已卷,老公的妹妹穿的比我還像新娘。我一直安慰自己淳蔼,他們只是感情好侧蘸,可當(dāng)我...
    茶點(diǎn)故事閱讀 67,999評(píng)論 6 393
  • 文/花漫 我一把揭開白布。 她就那樣靜靜地躺著鹉梨,像睡著了一般讳癌。 火紅的嫁衣襯著肌膚如雪。 梳的紋絲不亂的頭發(fā)上存皂,一...
    開封第一講書人閱讀 51,775評(píng)論 1 307
  • 那天晌坤,我揣著相機(jī)與錄音,去河邊找鬼。 笑死泡仗,一個(gè)胖子當(dāng)著我的面吹牛,可吹牛的內(nèi)容都是我干的猜憎。 我是一名探鬼主播娩怎,決...
    沈念sama閱讀 40,474評(píng)論 3 420
  • 文/蒼蘭香墨 我猛地睜開眼,長(zhǎng)吁一口氣:“原來是場(chǎng)噩夢(mèng)啊……” “哼胰柑!你這毒婦竟也來了截亦?” 一聲冷哼從身側(cè)響起,我...
    開封第一講書人閱讀 39,359評(píng)論 0 276
  • 序言:老撾萬(wàn)榮一對(duì)情侶失蹤柬讨,失蹤者是張志新(化名)和其女友劉穎崩瓤,沒想到半個(gè)月后,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體踩官,經(jīng)...
    沈念sama閱讀 45,854評(píng)論 1 317
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡却桶,尸身上長(zhǎng)有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 38,007評(píng)論 3 338
  • 正文 我和宋清朗相戀三年,在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了蔗牡。 大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片颖系。...
    茶點(diǎn)故事閱讀 40,146評(píng)論 1 351
  • 序言:一個(gè)原本活蹦亂跳的男人離奇死亡,死狀恐怖辩越,靈堂內(nèi)的尸體忽然破棺而出嘁扼,到底是詐尸還是另有隱情,我是刑警寧澤黔攒,帶...
    沈念sama閱讀 35,826評(píng)論 5 346
  • 正文 年R本政府宣布趁啸,位于F島的核電站,受9級(jí)特大地震影響督惰,放射性物質(zhì)發(fā)生泄漏不傅。R本人自食惡果不足惜,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 41,484評(píng)論 3 331
  • 文/蒙蒙 一赏胚、第九天 我趴在偏房一處隱蔽的房頂上張望蛤签。 院中可真熱鬧,春花似錦栅哀、人聲如沸震肮。這莊子的主人今日做“春日...
    開封第一講書人閱讀 32,029評(píng)論 0 22
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽(yáng)戳晌。三九已至,卻和暖如春痴柔,著一層夾襖步出監(jiān)牢的瞬間沦偎,已是汗流浹背。 一陣腳步聲響...
    開封第一講書人閱讀 33,153評(píng)論 1 272
  • 我被黑心中介騙來泰國(guó)打工, 沒想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留豪嚎,地道東北人搔驼。 一個(gè)月前我還...
    沈念sama閱讀 48,420評(píng)論 3 373
  • 正文 我出身青樓,卻偏偏與公主長(zhǎng)得像侈询,于是被迫代替她去往敵國(guó)和親舌涨。 傳聞我的和親對(duì)象是個(gè)殘疾皇子,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 45,107評(píng)論 2 356

推薦閱讀更多精彩內(nèi)容

  • 本文從概念和理論上進(jìn)行整理學(xué)習(xí) 數(shù)據(jù)中臺(tái)是什么 主流概念上講 數(shù)據(jù)中臺(tái)是指通過數(shù)據(jù)技術(shù)扔字,對(duì)海量數(shù)據(jù)進(jìn)行采集囊嘉、計(jì)算、...
    李小李的路閱讀 3,343評(píng)論 0 31
  • 這里書中所說即戰(zhàn)力:即使在一個(gè)完全陌生的環(huán)境革为,也能夠冷靜地透視環(huán)境的條件扭粱,并作出正確的判斷和決策 前二章1、21世...
    小透明_png閱讀 596評(píng)論 3 5
  • 2008年震檩,高一琢蛤, 剛剛步入高中的第一堂課是自我介紹,你穿著一件土里土氣的外套坐在教室最后一排抛虏。 “大家好虐块,我叫陳...
    一只變色蟲閱讀 653評(píng)論 2 15
  • 常常會(huì)有人問到: 1=C 是什么意思昂氐臁?其實(shí)错忱,就是表示這首曲目是C調(diào)的意思儡率,那么,怎么才能記住和知道一首歌是什么調(diào)...
    吉他范兒閱讀 2,228評(píng)論 0 0