數(shù)據(jù)中臺(tái) 第3章:數(shù)據(jù)中臺(tái)建設(shè)與架構(gòu)

1 持續(xù)讓數(shù)據(jù)用起來的價(jià)值框架

數(shù)據(jù)中臺(tái)作為整個(gè)企業(yè)各個(gè)業(yè)務(wù)所需數(shù)據(jù)服務(wù)的提供商,通過自身的平臺(tái)能力和業(yè)務(wù)對(duì)數(shù)據(jù)的不斷滋養(yǎng)(業(yè)務(wù)數(shù)據(jù)化)唯绍,會(huì)形成一套高效可靠的數(shù)據(jù)資產(chǎn)體系和數(shù)據(jù)服務(wù)能力(數(shù)據(jù)資產(chǎn)化和資產(chǎn)服務(wù)化)拼岳。這樣一來,當(dāng)出現(xiàn)新的市場(chǎng)變化况芒,需要構(gòu)建新的前臺(tái)應(yīng)用時(shí)惜纸,數(shù)據(jù)中臺(tái)可以迅速提供數(shù)據(jù)服務(wù)(服務(wù)業(yè)務(wù)化),從而敏捷地響應(yīng)企業(yè)的創(chuàng)新绝骚。
業(yè)務(wù)產(chǎn)生數(shù)據(jù)耐版,數(shù)據(jù)服務(wù)業(yè)務(wù),業(yè)務(wù)在陽压汪,數(shù)據(jù)在陰粪牲,陰陽互補(bǔ),形成閉環(huán)止剖。

2 數(shù)據(jù)中臺(tái)建設(shè)方法論

數(shù)據(jù)中臺(tái)建設(shè)方法論體系腺阳,需要從組織、保障穿香、準(zhǔn)則亭引、內(nèi)容、步驟5個(gè)層面全面考慮皮获,以確保數(shù)據(jù)中臺(tái)建設(shè)和實(shí)施如期實(shí)現(xiàn)焙蚓。

2.1 1種戰(zhàn)略行動(dòng)

把用數(shù)據(jù)中臺(tái)驅(qū)動(dòng)業(yè)務(wù)發(fā)展定位為企業(yè)級(jí)戰(zhàn)略,全局謀劃魔市。
數(shù)據(jù)中臺(tái)一定要有戰(zhàn)略規(guī)劃,是”一把手工程“赵哲,只有企業(yè)的一把手才有這種推力來推動(dòng)數(shù)據(jù)中臺(tái)的建設(shè)待德。
數(shù)據(jù)中臺(tái)的目標(biāo)是實(shí)現(xiàn)企業(yè)經(jīng)營的數(shù)據(jù)化、精細(xì)化枫夺、智能化将宪,本質(zhì)是建設(shè)一套可持續(xù)讓企業(yè)數(shù)據(jù)用起來的機(jī)制。需要相應(yīng)的組織橡庞、制度较坛、流程、資源的保障扒最。

2.2 2種保障條件

  • 中臺(tái)戰(zhàn)略的實(shí)施需要有組織保障
    企業(yè)實(shí)施數(shù)據(jù)中臺(tái)戰(zhàn)略丑勤,必須首先建立起數(shù)據(jù)中臺(tái)團(tuán)隊(duì),負(fù)責(zé)中臺(tái)的建設(shè)吧趣、維護(hù)法竞、運(yùn)營以及業(yè)務(wù)的承接和中臺(tái)服務(wù)的推廣等耙厚。另外,有了數(shù)據(jù)中臺(tái)岔霸,企業(yè)的運(yùn)轉(zhuǎn)模式發(fā)生了變化薛躬,業(yè)務(wù)、后臺(tái)呆细、管理等團(tuán)隊(duì)也需要有對(duì)應(yīng)的組織人員與中臺(tái)團(tuán)隊(duì)對(duì)接型宝。
  • 中臺(tái)戰(zhàn)略的實(shí)施需要提升全企業(yè)的數(shù)據(jù)意識(shí)
    • 數(shù)據(jù)采集意識(shí)
    • 數(shù)據(jù)標(biāo)準(zhǔn)化意識(shí)
    • 數(shù)據(jù)使用意識(shí)
    • 數(shù)據(jù)安全意識(shí)

2.3 3項(xiàng)目標(biāo)準(zhǔn)則

數(shù)據(jù)中臺(tái)的3項(xiàng)目標(biāo)準(zhǔn)則:可見、可用絮爷、可運(yùn)營趴酣,不僅作為企業(yè)在數(shù)據(jù)中臺(tái)建設(shè)中的具體建設(shè)指引,也可以用來客觀評(píng)估目標(biāo)建設(shè)內(nèi)容的完整性略水。

  • 數(shù)據(jù)可見
    • 指標(biāo)管理的可視化
    • 元數(shù)據(jù)管理的可視化
    • 數(shù)據(jù)資產(chǎn)類目的可視化
    • 數(shù)據(jù)源的可視化
    • 數(shù)據(jù)集成的可視化
    • 數(shù)據(jù)ETL的可視化
    • 數(shù)據(jù)建模的可視化
    • 數(shù)據(jù)消費(fèi)者的可視化
    • 算法建模的可視化
  • 數(shù)據(jù)可用
    • 數(shù)據(jù)內(nèi)容的可用性
    • 數(shù)據(jù)服務(wù)的可用性
    • 數(shù)據(jù)任務(wù)的可用性
    • 數(shù)據(jù)的指標(biāo)化
    • 數(shù)據(jù)的標(biāo)簽化
    • 資產(chǎn)(指標(biāo)或標(biāo)簽)的易閱讀性
  • 數(shù)據(jù)可運(yùn)營
    • 質(zhì)量量化管理
    • 價(jià)值量化管理
    • 數(shù)據(jù)運(yùn)營角色

2.4 4套建設(shè)內(nèi)容

建設(shè)內(nèi)容是數(shù)據(jù)中臺(tái)建設(shè)的核心价卤,數(shù)據(jù)中臺(tái)建設(shè)內(nèi)容包含技術(shù)體系、數(shù)據(jù)體系渊涝、服務(wù)體系慎璧、運(yùn)營體系,通過4套體系的建設(shè)實(shí)現(xiàn)數(shù)據(jù)中臺(tái)讓數(shù)據(jù)持續(xù)用起來的目標(biāo)跨释。
技術(shù)體系是基礎(chǔ)支撐胸私,就像骨架一樣撐起掙個(gè)數(shù)據(jù)和中臺(tái);數(shù)據(jù)體系就像數(shù)據(jù)中臺(tái)的血肉鳖谈,數(shù)據(jù)中臺(tái)對(duì)外呈現(xiàn)的主要內(nèi)容是數(shù)據(jù)體系岁疼;服務(wù)體系是數(shù)據(jù)中臺(tái)價(jià)值所在,就像數(shù)據(jù)中臺(tái)的靈魂一樣缆娃,激活靜止的骨架捷绒、血肉,讓中臺(tái)動(dòng)起來贯要,發(fā)揮價(jià)值暖侨;運(yùn)營體系是數(shù)據(jù)中臺(tái)的守護(hù)者,通過運(yùn)營體系保證中臺(tái)的健康崇渗、持續(xù)運(yùn)轉(zhuǎn)字逗。
技術(shù)體系 --> 數(shù)據(jù)體系 --> 服務(wù)體系 --> 運(yùn)營體系
骨架(支撐) --> 血肉(呈現(xiàn)) --> 靈魂(激活) --> 守護(hù)者(保證)

  • 技術(shù)體系
    技術(shù)體系分兩個(gè)層面:大數(shù)據(jù)存儲(chǔ)計(jì)算技術(shù)和數(shù)據(jù)中臺(tái)工具技術(shù)組件,技術(shù)體系主要關(guān)注點(diǎn)是工具技術(shù)組件宅广。
  • 數(shù)據(jù)體系
    數(shù)據(jù)體系是數(shù)據(jù)中臺(tái)建設(shè)葫掉、管理、使用的核心要素跟狱,全企業(yè)的數(shù)據(jù)通過各種方式匯聚到數(shù)據(jù)中臺(tái)俭厚,在數(shù)據(jù)中臺(tái)按照一定的建模方式進(jìn)行加工,形成企業(yè)的數(shù)據(jù)資產(chǎn)體系驶臊。
  • 服務(wù)體系
    服務(wù)體系是通過數(shù)據(jù)中臺(tái)的服務(wù)組件能力套腹,把數(shù)據(jù)變成一種服務(wù)能力绪抛,比如客戶微觀畫像服務(wù)、信用評(píng)估服務(wù)电禀、風(fēng)險(xiǎn)預(yù)警服務(wù)等幢码,讓數(shù)據(jù)能夠方便地參與到業(yè)務(wù)中并為業(yè)務(wù)帶去價(jià)值。
    數(shù)據(jù)中臺(tái)和大數(shù)據(jù)平臺(tái)最主要區(qū)別是數(shù)據(jù)能更方便地以服務(wù)化的方式支撐業(yè)務(wù)尖飞。
  • 運(yùn)營體系
    運(yùn)營體系是數(shù)據(jù)中臺(tái)得以健康症副、持續(xù)運(yùn)轉(zhuǎn)的基礎(chǔ)。運(yùn)營體系包括平臺(tái)流程規(guī)范執(zhí)行監(jiān)督政基、平臺(tái)資源占用的監(jiān)管以及優(yōu)化推動(dòng)贞铣、數(shù)據(jù)質(zhì)量的監(jiān)督及改進(jìn)推動(dòng)、數(shù)據(jù)價(jià)值的評(píng)估沮明、數(shù)據(jù)服務(wù)的推廣辕坝、稽查排名等。
    運(yùn)營體系的目標(biāo)是讓平臺(tái)可以持續(xù)健康運(yùn)轉(zhuǎn)荐健,產(chǎn)生持續(xù)價(jià)值酱畅。

2.5 5個(gè)關(guān)鍵步驟

  • 理現(xiàn)狀
    • 組織現(xiàn)狀
    • 業(yè)務(wù)現(xiàn)狀
    • 數(shù)據(jù)現(xiàn)狀
    • 技術(shù)現(xiàn)狀
  • 立架構(gòu)
    • 組織架構(gòu)
    • 業(yè)務(wù)架構(gòu)
    • 技術(shù)架構(gòu)
    • 應(yīng)用架構(gòu)
    • 數(shù)據(jù)架構(gòu)
  • 建資產(chǎn)
    • 數(shù)據(jù)集成
    • 資產(chǎn)萃取
    • 數(shù)據(jù)標(biāo)準(zhǔn)
    • 數(shù)據(jù)質(zhì)量
  • 用數(shù)據(jù)
    • 數(shù)據(jù)安全
    • 場(chǎng)景服務(wù)
  • 做運(yùn)營
    • 監(jiān)控審計(jì)
    • 價(jià)值評(píng)估
    • 質(zhì)量評(píng)估
    • 資產(chǎn)排名

3 數(shù)據(jù)中臺(tái)架構(gòu)

數(shù)據(jù)中臺(tái)是位于底層存儲(chǔ)計(jì)算平臺(tái)和上層數(shù)據(jù)應(yīng)用之間的一整套體系。通過數(shù)據(jù)中臺(tái)的數(shù)據(jù)匯聚江场、數(shù)據(jù)開發(fā)模塊建立企業(yè)數(shù)據(jù)數(shù)據(jù)資產(chǎn)纺酸;通過資產(chǎn)管理與治理、數(shù)據(jù)服務(wù)把數(shù)據(jù)資產(chǎn)變?yōu)閿?shù)據(jù)服務(wù)能力址否,服務(wù)于企業(yè)業(yè)務(wù)云头;數(shù)據(jù)安全管理晒屎、數(shù)據(jù)運(yùn)營體系保障數(shù)據(jù)中臺(tái)長期健康晾蜘、持續(xù)運(yùn)轉(zhuǎn)扶欣。

  • 數(shù)據(jù)匯聚
    數(shù)據(jù)匯聚是數(shù)據(jù)中臺(tái)數(shù)據(jù)接入的入口,把各種異構(gòu)網(wǎng)絡(luò)音同、異構(gòu)數(shù)據(jù)源的數(shù)據(jù)方便地采集到數(shù)據(jù)中臺(tái)集中存儲(chǔ)词爬。
    匯聚方式:數(shù)據(jù)庫同步、埋點(diǎn)瘟斜、網(wǎng)絡(luò)爬蟲缸夹、消息隊(duì)列等痪寻;
    匯聚時(shí)效:離線批量匯聚螺句、實(shí)時(shí)采集
  • 數(shù)據(jù)開發(fā)
    數(shù)據(jù)開發(fā)是一整套數(shù)據(jù)加工以及加工過程監(jiān)管的工具,快速把數(shù)據(jù)加工成對(duì)業(yè)務(wù)有價(jià)值的形式橡类,提供給業(yè)務(wù)使用蛇尚。
  • 數(shù)據(jù)體系
    建議數(shù)據(jù)按照貼源數(shù)據(jù)、統(tǒng)一數(shù)倉顾画、標(biāo)簽數(shù)據(jù)取劫、應(yīng)用數(shù)據(jù)的標(biāo)準(zhǔn)統(tǒng)一建設(shè)匆笤。
  • 數(shù)據(jù)資產(chǎn)管理
    數(shù)據(jù)資產(chǎn)管理以企業(yè)全員更好理解的方式,把企業(yè)數(shù)據(jù)資產(chǎn)展現(xiàn)給企業(yè)全員谱邪,數(shù)據(jù)資產(chǎn)管理包括對(duì)數(shù)據(jù)資產(chǎn)目錄炮捧、元數(shù)據(jù)、數(shù)據(jù)質(zhì)量惦银、數(shù)據(jù)血緣咆课、數(shù)據(jù)生命周期等進(jìn)行管理和展示,以一種更直觀的方式展現(xiàn)企業(yè)數(shù)據(jù)資產(chǎn)扯俱,提升企業(yè)數(shù)據(jù)意識(shí)书蚪。
  • 數(shù)據(jù)服務(wù)體系
    數(shù)據(jù)服務(wù)體系把數(shù)據(jù)變成一種服務(wù)能力,通過數(shù)據(jù)服務(wù)讓數(shù)據(jù)參與到業(yè)務(wù)迅栅,激活掙個(gè)數(shù)據(jù)中臺(tái)殊校,數(shù)據(jù)服務(wù)體系是數(shù)據(jù)中臺(tái)存在的價(jià)值所在。數(shù)據(jù)中臺(tái)服務(wù)模塊沒有自帶很多服務(wù)读存,而是提供快速的服務(wù)生成能力以及服務(wù)的管控为流、鑒權(quán)、計(jì)量等功能宪萄。
  • 運(yùn)營體系和安全管理
    運(yùn)營體系和安全管理是數(shù)據(jù)中臺(tái)得以健康艺谆、持續(xù)運(yùn)轉(zhuǎn)的基礎(chǔ)
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
  • 序言:七十年代末,一起剝皮案震驚了整個(gè)濱河市拜英,隨后出現(xiàn)的幾起案子静汤,更是在濱河造成了極大的恐慌,老刑警劉巖居凶,帶你破解...
    沈念sama閱讀 210,914評(píng)論 6 490
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件虫给,死亡現(xiàn)場(chǎng)離奇詭異,居然都是意外死亡侠碧,警方通過查閱死者的電腦和手機(jī)抹估,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 89,935評(píng)論 2 383
  • 文/潘曉璐 我一進(jìn)店門,熙熙樓的掌柜王于貴愁眉苦臉地迎上來弄兜,“玉大人药蜻,你說我怎么就攤上這事√娑觯” “怎么了语泽?”我有些...
    開封第一講書人閱讀 156,531評(píng)論 0 345
  • 文/不壞的土叔 我叫張陵,是天一觀的道長视卢。 經(jīng)常有香客問我踱卵,道長,這世上最難降的妖魔是什么据过? 我笑而不...
    開封第一講書人閱讀 56,309評(píng)論 1 282
  • 正文 為了忘掉前任惋砂,我火速辦了婚禮妒挎,結(jié)果婚禮上,老公的妹妹穿的比我還像新娘西饵。我一直安慰自己酝掩,他們只是感情好,可當(dāng)我...
    茶點(diǎn)故事閱讀 65,381評(píng)論 5 384
  • 文/花漫 我一把揭開白布眷柔。 她就那樣靜靜地躺著庸队,像睡著了一般。 火紅的嫁衣襯著肌膚如雪闯割。 梳的紋絲不亂的頭發(fā)上彻消,一...
    開封第一講書人閱讀 49,730評(píng)論 1 289
  • 那天,我揣著相機(jī)與錄音宙拉,去河邊找鬼宾尚。 笑死,一個(gè)胖子當(dāng)著我的面吹牛谢澈,可吹牛的內(nèi)容都是我干的煌贴。 我是一名探鬼主播,決...
    沈念sama閱讀 38,882評(píng)論 3 404
  • 文/蒼蘭香墨 我猛地睜開眼锥忿,長吁一口氣:“原來是場(chǎng)噩夢(mèng)啊……” “哼牛郑!你這毒婦竟也來了?” 一聲冷哼從身側(cè)響起敬鬓,我...
    開封第一講書人閱讀 37,643評(píng)論 0 266
  • 序言:老撾萬榮一對(duì)情侶失蹤淹朋,失蹤者是張志新(化名)和其女友劉穎,沒想到半個(gè)月后钉答,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體础芍,經(jīng)...
    沈念sama閱讀 44,095評(píng)論 1 303
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 36,448評(píng)論 2 325
  • 正文 我和宋清朗相戀三年数尿,在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了仑性。 大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片。...
    茶點(diǎn)故事閱讀 38,566評(píng)論 1 339
  • 序言:一個(gè)原本活蹦亂跳的男人離奇死亡右蹦,死狀恐怖诊杆,靈堂內(nèi)的尸體忽然破棺而出,到底是詐尸還是另有隱情何陆,我是刑警寧澤晨汹,帶...
    沈念sama閱讀 34,253評(píng)論 4 328
  • 正文 年R本政府宣布,位于F島的核電站甲献,受9級(jí)特大地震影響宰缤,放射性物質(zhì)發(fā)生泄漏颂翼。R本人自食惡果不足惜晃洒,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 39,829評(píng)論 3 312
  • 文/蒙蒙 一慨灭、第九天 我趴在偏房一處隱蔽的房頂上張望。 院中可真熱鬧球及,春花似錦氧骤、人聲如沸。這莊子的主人今日做“春日...
    開封第一講書人閱讀 30,715評(píng)論 0 21
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽。三九已至镊尺,卻和暖如春朦佩,著一層夾襖步出監(jiān)牢的瞬間,已是汗流浹背庐氮。 一陣腳步聲響...
    開封第一講書人閱讀 31,945評(píng)論 1 264
  • 我被黑心中介騙來泰國打工语稠, 沒想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留,地道東北人弄砍。 一個(gè)月前我還...
    沈念sama閱讀 46,248評(píng)論 2 360
  • 正文 我出身青樓仙畦,卻偏偏與公主長得像,于是被迫代替她去往敵國和親音婶。 傳聞我的和親對(duì)象是個(gè)殘疾皇子慨畸,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 43,440評(píng)論 2 348