數(shù)據(jù)中臺(tái)到底是什么?

阿里提出了“大中臺(tái)瞬雹,小前臺(tái)”昧谊,其中臺(tái)事業(yè)部包括搜索事業(yè)部、共享業(yè)務(wù)平臺(tái)酗捌、數(shù)據(jù)技術(shù)及產(chǎn)品部呢诬,數(shù)據(jù)技術(shù)及產(chǎn)品部應(yīng)是數(shù)據(jù)中臺(tái)建設(shè)的核心部門(mén)。

那么胖缤,數(shù)據(jù)中臺(tái)到底是什么尚镰?具體包含哪些內(nèi)容?跟大數(shù)據(jù)平臺(tái)是什么關(guān)系哪廓?在架構(gòu)層面是怎么體現(xiàn)的狗唉?數(shù)據(jù)中臺(tái)跟產(chǎn)品又有什么關(guān)系?

阿里數(shù)據(jù)技術(shù)及產(chǎn)品部的掌門(mén)提倒了數(shù)據(jù)中臺(tái)的具體含義涡真,這里引用他說(shuō)的話(huà):

“很多人會(huì)把數(shù)據(jù)比作“石油”分俯,馬老師(馬云)也說(shuō)過(guò),阿里巴巴要成為全球電子商務(wù)的“水電煤”哆料。我們現(xiàn)在搭建的數(shù)據(jù)中臺(tái)缸剪,就是希望扮演“發(fā)電廠(chǎng)”的角色《啵”

“我們知道杏节,電力的發(fā)展可以分為幾個(gè)階段,最開(kāi)始是一些有能力的企業(yè)自己發(fā)電典阵,后來(lái)出現(xiàn)新的工業(yè)產(chǎn)能奋渔,有的企業(yè)電用不掉,有的卻不夠用壮啊,這時(shí)候國(guó)家機(jī)構(gòu)就出來(lái)了嫉鲸,會(huì)去搭建國(guó)家級(jí)的電網(wǎng),不管是核能發(fā)電他巨,還是風(fēng)力發(fā)電充坑、水力發(fā)電,最大程度地保障不同群體的用電需求染突∧硪”

“我們數(shù)據(jù)中臺(tái)也是這樣一個(gè)運(yùn)轉(zhuǎn)思路,我們落到實(shí)處是一個(gè)倒三角形份企,從下往上分為四個(gè)部分——”

“第一是數(shù)據(jù)技術(shù)也榄。沒(méi)有數(shù)據(jù)中臺(tái)的時(shí)候,不管是阿里內(nèi)部還是各商家,大家都有自己的數(shù)據(jù)中心甜紫、機(jī)房降宅、小數(shù)據(jù)庫(kù)。但當(dāng)數(shù)據(jù)積累到一定體量后囚霸,這方面的成本會(huì)非常高腰根,而且數(shù)據(jù)之間的質(zhì)量和標(biāo)準(zhǔn)不一樣,會(huì)導(dǎo)致效率不高等問(wèn)題拓型。因此额嘿,我們需要通過(guò)數(shù)據(jù)技術(shù),對(duì)海量數(shù)據(jù)進(jìn)行采集劣挫、計(jì)算册养、存儲(chǔ)、加工压固,同時(shí)統(tǒng)一標(biāo)準(zhǔn)和口徑球拦。”

“第二是數(shù)據(jù)資產(chǎn)帐我。數(shù)據(jù)中臺(tái)把阿里系的數(shù)據(jù)統(tǒng)一之后坎炼,會(huì)形成標(biāo)準(zhǔn)數(shù)據(jù),再進(jìn)行存儲(chǔ)拦键,形成大數(shù)據(jù)資產(chǎn)層点弯,進(jìn)而保證為集團(tuán)各業(yè)務(wù)和商家提供高效服務(wù)】蠊荆”

“第三和第四都是數(shù)據(jù)服務(wù),包括服務(wù)商家和服務(wù)小二狼钮。例如生意參謀和阿里指數(shù)碳柱,就是數(shù)據(jù)中臺(tái)中面向商家端提供的數(shù)據(jù)服務(wù)“疚撸”

“數(shù)據(jù)中臺(tái)服務(wù)阿里莲镣,說(shuō)白了更多是在為各位商家服務(wù)。平臺(tái)會(huì)確保大家在使用數(shù)據(jù)的過(guò)程中涎拉,口徑瑞侮、標(biāo)準(zhǔn)、時(shí)效性鼓拧、效率都有保障半火,能有更高的可靠性和穩(wěn)定性〖玖”

以上說(shuō)得好像都對(duì)钮糖,但邏輯上有些是無(wú)法自洽的,比如這里的數(shù)據(jù)技術(shù)跟阿里云的數(shù)據(jù)技術(shù)是什么關(guān)系?數(shù)據(jù)中臺(tái)要不要承擔(dān)hadoop/ETL這類(lèi)平臺(tái)和工具的研發(fā)店归?生意參謀是個(gè)端到端的產(chǎn)品阎抒,似乎不能劃為數(shù)據(jù)中臺(tái)?

當(dāng)然消痛,從職能看且叁,作為中臺(tái)部門(mén)的確需要基于產(chǎn)品直接服務(wù)一線(xiàn)客戶(hù),而不是往后退秩伞,這也是以前筆者對(duì)于數(shù)據(jù)中臺(tái)最大的困惑逞带,一直在想這個(gè)數(shù)據(jù)中臺(tái)的部門(mén)績(jī)效該如何定呢?沒(méi)有業(yè)務(wù)的滋養(yǎng)中臺(tái)如何迭代優(yōu)化呢稠歉,阿里算是解惑了掰担。

但如果把直接的產(chǎn)品當(dāng)成中臺(tái)顯然是不合理的,阿里提了數(shù)據(jù)中臺(tái)怒炸,忙壞的倒可能是那些做數(shù)據(jù)架構(gòu)和數(shù)據(jù)管理的带饱,因?yàn)榧軜?gòu)講究邏輯嚴(yán)密,本質(zhì)和邊界必須定義清楚阅羹,沒(méi)有歧義勺疼,否則做事就會(huì)很茫然,不知道該怎么入手捏鱼。

比如哪天領(lǐng)導(dǎo)問(wèn)你执庐,我們企業(yè)的數(shù)據(jù)中臺(tái)有沒(méi)有,要向阿里學(xué)習(xí)啊导梆,有了清晰的概念你就可以做映射了轨淌,否則就會(huì)顯得手足無(wú)措,這種事情其實(shí)很多看尼。

筆者的企業(yè)最近在做IT規(guī)劃递鹉,很多人就對(duì)數(shù)據(jù)中臺(tái)要帶一些產(chǎn)品職能有異議,記得以前筆者還把營(yíng)銷(xiāo)平臺(tái)當(dāng)成中臺(tái)藏斩,號(hào)稱(chēng)也是賦能所有營(yíng)銷(xiāo)人員的躏结,這就是概念不清造成的問(wèn)題。

說(shuō)來(lái)也奇怪狰域,網(wǎng)上很難找到數(shù)據(jù)中臺(tái)的更科學(xué)解釋?zhuān)苷业降拇蠖嘁膊粔蚯逦彼c大數(shù)據(jù)平臺(tái)有千絲萬(wàn)縷的關(guān)系,筆者最近正好在思考這個(gè)問(wèn)題兆览,特此分享于你屈溉,當(dāng)然仁者見(jiàn)仁,智者見(jiàn)智了抬探。

所謂數(shù)據(jù)中臺(tái)语婴,即實(shí)現(xiàn)數(shù)據(jù)的分層與水平解耦,沉淀公共的數(shù)據(jù)能力,筆者認(rèn)為可分為三層砰左,數(shù)據(jù)模型匿醒、數(shù)據(jù)服務(wù)與數(shù)據(jù)開(kāi)發(fā),通過(guò)數(shù)據(jù)建模實(shí)現(xiàn)跨域數(shù)據(jù)整合和知識(shí)沉淀缠导,通過(guò)數(shù)據(jù)服務(wù)實(shí)現(xiàn)對(duì)于數(shù)據(jù)的封裝和開(kāi)放廉羔,快速、靈活滿(mǎn)足上層應(yīng)用的要求僻造,通過(guò)數(shù)據(jù)開(kāi)發(fā)工具滿(mǎn)足個(gè)性化數(shù)據(jù)和應(yīng)用的需要憋他,見(jiàn)下圖(以某運(yùn)營(yíng)商為例):

1、數(shù)據(jù)模型

數(shù)據(jù)模型是分層次的髓削,以前叫作數(shù)據(jù)倉(cāng)庫(kù)模型竹挡,筆者這里概括為三層,基礎(chǔ)模型一般是關(guān)系建模立膛,主要實(shí)現(xiàn)數(shù)據(jù)的標(biāo)準(zhǔn)化揪罕,我們叫作“書(shū)同文、車(chē)同軌”宝泵,融合模型一般是維度建模好啰,主要實(shí)現(xiàn)跨越數(shù)據(jù)的整合,整合的形式可以是匯總儿奶、關(guān)聯(lián)框往,也包括解析,挖掘模型其實(shí)是偏應(yīng)用的闯捎,但如果用的人多了椰弊,你也可以把挖掘模型作為企業(yè)的知識(shí)沉淀到中臺(tái),比如離網(wǎng)挽留的模型具有很大的共性瓤鼻,就應(yīng)該有人把它規(guī)整到中臺(tái)模型男应,以便開(kāi)放給其它人使用,中臺(tái)的中是相對(duì)的娱仔,沒(méi)有絕對(duì)的標(biāo)準(zhǔn)。

2游桩、數(shù)據(jù)服務(wù)

將數(shù)據(jù)模型按照應(yīng)用要求做了服務(wù)封裝牲迫,就構(gòu)成了數(shù)據(jù)服務(wù),這個(gè)跟業(yè)務(wù)中臺(tái)中的服務(wù)概念是完全相同的借卧,只是數(shù)據(jù)封裝比一般的功能封裝要難一點(diǎn)盹憎,畢竟OLTP功能的變化有限,而數(shù)據(jù)分析受市場(chǎng)因素的影響很大铐刘,變化更快陪每,導(dǎo)致服務(wù)封裝的難度變大。

隨著企業(yè)大數(shù)據(jù)運(yùn)營(yíng)的深入,各類(lèi)大數(shù)據(jù)應(yīng)用層出不窮檩禾,對(duì)于數(shù)據(jù)服務(wù)的需求非常迫切挂签,大數(shù)據(jù)如果不服務(wù)化,就無(wú)法規(guī)呐尾化饵婆,比如浙江移動(dòng)封裝了客戶(hù)洞察、位置洞察戏售、營(yíng)銷(xiāo)管理侨核、終端洞察、金融征信等各種服務(wù)共計(jì)幾百個(gè)灌灾,每月調(diào)用量超過(guò)億次搓译,靈活的滿(mǎn)足了內(nèi)外大數(shù)據(jù)服務(wù)的要求。

3锋喜、數(shù)據(jù)開(kāi)發(fā)

但有數(shù)據(jù)模型和數(shù)據(jù)服務(wù)還是遠(yuǎn)遠(yuǎn)不夠的些己,因?yàn)樵俸玫默F(xiàn)成數(shù)據(jù)和服務(wù)也往往無(wú)法滿(mǎn)足前端個(gè)性化的要求,這時(shí)候就得授人以魚(yú)不如授人以漁了跑芳,數(shù)據(jù)中臺(tái)的最后一層就是數(shù)據(jù)開(kāi)發(fā)轴总,其按照開(kāi)發(fā)難度也分為三個(gè)層次,最簡(jiǎn)單的是提供標(biāo)簽庫(kù)(DMP)博个,用戶(hù)可以基于標(biāo)簽的組裝快速形成營(yíng)銷(xiāo)客戶(hù)群怀樟,一般面向業(yè)務(wù)人員,其次是提供數(shù)據(jù)開(kāi)發(fā)平臺(tái)盆佣,用戶(hù)可以基于該平臺(tái)訪(fǎng)問(wèn)到所有的數(shù)據(jù)并進(jìn)行可視化開(kāi)發(fā)往堡,一般面向SQL開(kāi)發(fā)人員,最后就是提供應(yīng)用環(huán)境和組件共耍,讓技術(shù)人員可以自主打造個(gè)性化數(shù)據(jù)產(chǎn)品虑灰,以上層層遞進(jìn),滿(mǎn)足不同層次人員的要求痹兜。

對(duì)于標(biāo)簽庫(kù)(DMP)到底是屬于SaaS還是PaaS是有爭(zhēng)議的穆咐,但標(biāo)簽庫(kù)這類(lèi)平臺(tái)顯然較生意參謀類(lèi)產(chǎn)品更中臺(tái)一點(diǎn),因?yàn)槠渫ㄓ眯愿鼜?qiáng)字旭,專(zhuān)有業(yè)務(wù)的特性不是非常明顯对湃,筆者還是認(rèn)為可以歸為中臺(tái)。

應(yīng)該來(lái)講遗淳,數(shù)據(jù)開(kāi)發(fā)中的組件拍柒,比如頁(yè)面組件、可視化組件什么的屈暗,歸屬到業(yè)務(wù)中臺(tái)似乎更合理拆讯,但其實(shí)也要看企業(yè)的實(shí)際情況脂男,哪里用的多就可以歸屬到哪里,沒(méi)有絕對(duì)的標(biāo)準(zhǔn)了种呐。

以上劃分方式在邏輯上還是說(shuō)得通的宰翅,但還有很多沒(méi)有考慮進(jìn)來(lái),比如算法服務(wù)陕贮、機(jī)器學(xué)習(xí)引擎堕油、hadoop、MPP等等肮之,筆者覺(jué)得算法服務(wù)應(yīng)該屬于數(shù)據(jù)服務(wù)的一種類(lèi)型掉缺,但h a d o o p、MPP戈擒、機(jī)器學(xué)習(xí)引擎更底層一點(diǎn)眶明,應(yīng)屬于私有云或公有云的范疇了,比如筆者看到阿里云就提供了MaxCompute這類(lèi)機(jī)器學(xué)習(xí)服務(wù)筐高。

關(guān)于數(shù)據(jù)中臺(tái)的分層看似簡(jiǎn)單搜囱,但筆者卻糾結(jié)了好久,很多邊界是模糊的柑土,最近看的一本書(shū)提到蜀肘,新的概念如果跟既有知識(shí)體系不相符,一定要努力搞清楚稽屏,不能人云亦云扮宠,只要能表達(dá)出自己的觀點(diǎn),即使還是錯(cuò)了狐榔,也有了被人家糾正的機(jī)會(huì)坛增,對(duì)于事物理解的不深入,大多是不求甚解導(dǎo)致的概念不清的結(jié)果薄腻。

最近新零售很熱收捣,各路大仙都出來(lái)詮釋新零售的概念,大家可以想想新零售到底是什么庵楷?

?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
  • 序言:七十年代末罢艾,一起剝皮案震驚了整個(gè)濱河市,隨后出現(xiàn)的幾起案子尽纽,更是在濱河造成了極大的恐慌咐蚯,老刑警劉巖,帶你破解...
    沈念sama閱讀 206,126評(píng)論 6 481
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件蜓斧,死亡現(xiàn)場(chǎng)離奇詭異,居然都是意外死亡睁冬,警方通過(guò)查閱死者的電腦和手機(jī)挎春,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 88,254評(píng)論 2 382
  • 文/潘曉璐 我一進(jìn)店門(mén)看疙,熙熙樓的掌柜王于貴愁眉苦臉地迎上來(lái),“玉大人直奋,你說(shuō)我怎么就攤上這事能庆。” “怎么了脚线?”我有些...
    開(kāi)封第一講書(shū)人閱讀 152,445評(píng)論 0 341
  • 文/不壞的土叔 我叫張陵搁胆,是天一觀的道長(zhǎng)。 經(jīng)常有香客問(wèn)我邮绿,道長(zhǎng)渠旁,這世上最難降的妖魔是什么? 我笑而不...
    開(kāi)封第一講書(shū)人閱讀 55,185評(píng)論 1 278
  • 正文 為了忘掉前任船逮,我火速辦了婚禮顾腊,結(jié)果婚禮上,老公的妹妹穿的比我還像新娘挖胃。我一直安慰自己杂靶,他們只是感情好,可當(dāng)我...
    茶點(diǎn)故事閱讀 64,178評(píng)論 5 371
  • 文/花漫 我一把揭開(kāi)白布酱鸭。 她就那樣靜靜地躺著吗垮,像睡著了一般。 火紅的嫁衣襯著肌膚如雪凹髓。 梳的紋絲不亂的頭發(fā)上烁登,一...
    開(kāi)封第一講書(shū)人閱讀 48,970評(píng)論 1 284
  • 那天,我揣著相機(jī)與錄音扁誓,去河邊找鬼防泵。 笑死,一個(gè)胖子當(dāng)著我的面吹牛蝗敢,可吹牛的內(nèi)容都是我干的捷泞。 我是一名探鬼主播,決...
    沈念sama閱讀 38,276評(píng)論 3 399
  • 文/蒼蘭香墨 我猛地睜開(kāi)眼寿谴,長(zhǎng)吁一口氣:“原來(lái)是場(chǎng)噩夢(mèng)啊……” “哼锁右!你這毒婦竟也來(lái)了?” 一聲冷哼從身側(cè)響起讶泰,我...
    開(kāi)封第一講書(shū)人閱讀 36,927評(píng)論 0 259
  • 序言:老撾萬(wàn)榮一對(duì)情侶失蹤咏瑟,失蹤者是張志新(化名)和其女友劉穎,沒(méi)想到半個(gè)月后痪署,有當(dāng)?shù)厝嗽跇?shù)林里發(fā)現(xiàn)了一具尸體码泞,經(jīng)...
    沈念sama閱讀 43,400評(píng)論 1 300
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡,尸身上長(zhǎng)有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 35,883評(píng)論 2 323
  • 正文 我和宋清朗相戀三年狼犯,在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了余寥。 大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片领铐。...
    茶點(diǎn)故事閱讀 37,997評(píng)論 1 333
  • 序言:一個(gè)原本活蹦亂跳的男人離奇死亡,死狀恐怖宋舷,靈堂內(nèi)的尸體忽然破棺而出绪撵,到底是詐尸還是另有隱情,我是刑警寧澤祝蝠,帶...
    沈念sama閱讀 33,646評(píng)論 4 322
  • 正文 年R本政府宣布音诈,位于F島的核電站,受9級(jí)特大地震影響绎狭,放射性物質(zhì)發(fā)生泄漏细溅。R本人自食惡果不足惜,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 39,213評(píng)論 3 307
  • 文/蒙蒙 一坟岔、第九天 我趴在偏房一處隱蔽的房頂上張望谒兄。 院中可真熱鬧,春花似錦社付、人聲如沸承疲。這莊子的主人今日做“春日...
    開(kāi)封第一講書(shū)人閱讀 30,204評(píng)論 0 19
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽(yáng)燕鸽。三九已至,卻和暖如春啼辣,著一層夾襖步出監(jiān)牢的瞬間啊研,已是汗流浹背。 一陣腳步聲響...
    開(kāi)封第一講書(shū)人閱讀 31,423評(píng)論 1 260
  • 我被黑心中介騙來(lái)泰國(guó)打工鸥拧, 沒(méi)想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留党远,地道東北人。 一個(gè)月前我還...
    沈念sama閱讀 45,423評(píng)論 2 352
  • 正文 我出身青樓富弦,卻偏偏與公主長(zhǎng)得像沟娱,于是被迫代替她去往敵國(guó)和親。 傳聞我的和親對(duì)象是個(gè)殘疾皇子腕柜,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 42,722評(píng)論 2 345

推薦閱讀更多精彩內(nèi)容