阿里提出了“大中臺(tái)瞬雹,小前臺(tái)”昧谊,其中臺(tái)事業(yè)部包括搜索事業(yè)部、共享業(yè)務(wù)平臺(tái)酗捌、數(shù)據(jù)技術(shù)及產(chǎn)品部呢诬,數(shù)據(jù)技術(shù)及產(chǎn)品部應(yīng)是數(shù)據(jù)中臺(tái)建設(shè)的核心部門(mén)。
那么胖缤,數(shù)據(jù)中臺(tái)到底是什么尚镰?具體包含哪些內(nèi)容?跟大數(shù)據(jù)平臺(tái)是什么關(guān)系哪廓?在架構(gòu)層面是怎么體現(xiàn)的狗唉?數(shù)據(jù)中臺(tái)跟產(chǎn)品又有什么關(guān)系?
阿里數(shù)據(jù)技術(shù)及產(chǎn)品部的掌門(mén)提倒了數(shù)據(jù)中臺(tái)的具體含義涡真,這里引用他說(shuō)的話(huà):
“很多人會(huì)把數(shù)據(jù)比作“石油”分俯,馬老師(馬云)也說(shuō)過(guò),阿里巴巴要成為全球電子商務(wù)的“水電煤”哆料。我們現(xiàn)在搭建的數(shù)據(jù)中臺(tái)缸剪,就是希望扮演“發(fā)電廠(chǎng)”的角色《啵”
“我們知道杏节,電力的發(fā)展可以分為幾個(gè)階段,最開(kāi)始是一些有能力的企業(yè)自己發(fā)電典阵,后來(lái)出現(xiàn)新的工業(yè)產(chǎn)能奋渔,有的企業(yè)電用不掉,有的卻不夠用壮啊,這時(shí)候國(guó)家機(jī)構(gòu)就出來(lái)了嫉鲸,會(huì)去搭建國(guó)家級(jí)的電網(wǎng),不管是核能發(fā)電他巨,還是風(fēng)力發(fā)電充坑、水力發(fā)電,最大程度地保障不同群體的用電需求染突∧硪”
“我們數(shù)據(jù)中臺(tái)也是這樣一個(gè)運(yùn)轉(zhuǎn)思路,我們落到實(shí)處是一個(gè)倒三角形份企,從下往上分為四個(gè)部分——”
“第一是數(shù)據(jù)技術(shù)也榄。沒(méi)有數(shù)據(jù)中臺(tái)的時(shí)候,不管是阿里內(nèi)部還是各商家,大家都有自己的數(shù)據(jù)中心甜紫、機(jī)房降宅、小數(shù)據(jù)庫(kù)。但當(dāng)數(shù)據(jù)積累到一定體量后囚霸,這方面的成本會(huì)非常高腰根,而且數(shù)據(jù)之間的質(zhì)量和標(biāo)準(zhǔn)不一樣,會(huì)導(dǎo)致效率不高等問(wèn)題拓型。因此额嘿,我們需要通過(guò)數(shù)據(jù)技術(shù),對(duì)海量數(shù)據(jù)進(jìn)行采集劣挫、計(jì)算册养、存儲(chǔ)、加工压固,同時(shí)統(tǒng)一標(biāo)準(zhǔn)和口徑球拦。”
“第二是數(shù)據(jù)資產(chǎn)帐我。數(shù)據(jù)中臺(tái)把阿里系的數(shù)據(jù)統(tǒng)一之后坎炼,會(huì)形成標(biāo)準(zhǔn)數(shù)據(jù),再進(jìn)行存儲(chǔ)拦键,形成大數(shù)據(jù)資產(chǎn)層点弯,進(jìn)而保證為集團(tuán)各業(yè)務(wù)和商家提供高效服務(wù)】蠊荆”
“第三和第四都是數(shù)據(jù)服務(wù),包括服務(wù)商家和服務(wù)小二狼钮。例如生意參謀和阿里指數(shù)碳柱,就是數(shù)據(jù)中臺(tái)中面向商家端提供的數(shù)據(jù)服務(wù)“疚撸”
“數(shù)據(jù)中臺(tái)服務(wù)阿里莲镣,說(shuō)白了更多是在為各位商家服務(wù)。平臺(tái)會(huì)確保大家在使用數(shù)據(jù)的過(guò)程中涎拉,口徑瑞侮、標(biāo)準(zhǔn)、時(shí)效性鼓拧、效率都有保障半火,能有更高的可靠性和穩(wěn)定性〖玖”
以上說(shuō)得好像都對(duì)钮糖,但邏輯上有些是無(wú)法自洽的,比如這里的數(shù)據(jù)技術(shù)跟阿里云的數(shù)據(jù)技術(shù)是什么關(guān)系?數(shù)據(jù)中臺(tái)要不要承擔(dān)hadoop/ETL這類(lèi)平臺(tái)和工具的研發(fā)店归?生意參謀是個(gè)端到端的產(chǎn)品阎抒,似乎不能劃為數(shù)據(jù)中臺(tái)?
當(dāng)然消痛,從職能看且叁,作為中臺(tái)部門(mén)的確需要基于產(chǎn)品直接服務(wù)一線(xiàn)客戶(hù),而不是往后退秩伞,這也是以前筆者對(duì)于數(shù)據(jù)中臺(tái)最大的困惑逞带,一直在想這個(gè)數(shù)據(jù)中臺(tái)的部門(mén)績(jī)效該如何定呢?沒(méi)有業(yè)務(wù)的滋養(yǎng)中臺(tái)如何迭代優(yōu)化呢稠歉,阿里算是解惑了掰担。
但如果把直接的產(chǎn)品當(dāng)成中臺(tái)顯然是不合理的,阿里提了數(shù)據(jù)中臺(tái)怒炸,忙壞的倒可能是那些做數(shù)據(jù)架構(gòu)和數(shù)據(jù)管理的带饱,因?yàn)榧軜?gòu)講究邏輯嚴(yán)密,本質(zhì)和邊界必須定義清楚阅羹,沒(méi)有歧義勺疼,否則做事就會(huì)很茫然,不知道該怎么入手捏鱼。
比如哪天領(lǐng)導(dǎo)問(wèn)你执庐,我們企業(yè)的數(shù)據(jù)中臺(tái)有沒(méi)有,要向阿里學(xué)習(xí)啊导梆,有了清晰的概念你就可以做映射了轨淌,否則就會(huì)顯得手足無(wú)措,這種事情其實(shí)很多看尼。
筆者的企業(yè)最近在做IT規(guī)劃递鹉,很多人就對(duì)數(shù)據(jù)中臺(tái)要帶一些產(chǎn)品職能有異議,記得以前筆者還把營(yíng)銷(xiāo)平臺(tái)當(dāng)成中臺(tái)藏斩,號(hào)稱(chēng)也是賦能所有營(yíng)銷(xiāo)人員的躏结,這就是概念不清造成的問(wèn)題。
說(shuō)來(lái)也奇怪狰域,網(wǎng)上很難找到數(shù)據(jù)中臺(tái)的更科學(xué)解釋?zhuān)苷业降拇蠖嘁膊粔蚯逦彼c大數(shù)據(jù)平臺(tái)有千絲萬(wàn)縷的關(guān)系,筆者最近正好在思考這個(gè)問(wèn)題兆览,特此分享于你屈溉,當(dāng)然仁者見(jiàn)仁,智者見(jiàn)智了抬探。
所謂數(shù)據(jù)中臺(tái)语婴,即實(shí)現(xiàn)數(shù)據(jù)的分層與水平解耦,沉淀公共的數(shù)據(jù)能力,筆者認(rèn)為可分為三層砰左,數(shù)據(jù)模型匿醒、數(shù)據(jù)服務(wù)與數(shù)據(jù)開(kāi)發(fā),通過(guò)數(shù)據(jù)建模實(shí)現(xiàn)跨域數(shù)據(jù)整合和知識(shí)沉淀缠导,通過(guò)數(shù)據(jù)服務(wù)實(shí)現(xiàn)對(duì)于數(shù)據(jù)的封裝和開(kāi)放廉羔,快速、靈活滿(mǎn)足上層應(yīng)用的要求僻造,通過(guò)數(shù)據(jù)開(kāi)發(fā)工具滿(mǎn)足個(gè)性化數(shù)據(jù)和應(yīng)用的需要憋他,見(jiàn)下圖(以某運(yùn)營(yíng)商為例):
1、數(shù)據(jù)模型
數(shù)據(jù)模型是分層次的髓削,以前叫作數(shù)據(jù)倉(cāng)庫(kù)模型竹挡,筆者這里概括為三層,基礎(chǔ)模型一般是關(guān)系建模立膛,主要實(shí)現(xiàn)數(shù)據(jù)的標(biāo)準(zhǔn)化揪罕,我們叫作“書(shū)同文、車(chē)同軌”宝泵,融合模型一般是維度建模好啰,主要實(shí)現(xiàn)跨越數(shù)據(jù)的整合,整合的形式可以是匯總儿奶、關(guān)聯(lián)框往,也包括解析,挖掘模型其實(shí)是偏應(yīng)用的闯捎,但如果用的人多了椰弊,你也可以把挖掘模型作為企業(yè)的知識(shí)沉淀到中臺(tái),比如離網(wǎng)挽留的模型具有很大的共性瓤鼻,就應(yīng)該有人把它規(guī)整到中臺(tái)模型男应,以便開(kāi)放給其它人使用,中臺(tái)的中是相對(duì)的娱仔,沒(méi)有絕對(duì)的標(biāo)準(zhǔn)。
2游桩、數(shù)據(jù)服務(wù)
將數(shù)據(jù)模型按照應(yīng)用要求做了服務(wù)封裝牲迫,就構(gòu)成了數(shù)據(jù)服務(wù),這個(gè)跟業(yè)務(wù)中臺(tái)中的服務(wù)概念是完全相同的借卧,只是數(shù)據(jù)封裝比一般的功能封裝要難一點(diǎn)盹憎,畢竟OLTP功能的變化有限,而數(shù)據(jù)分析受市場(chǎng)因素的影響很大铐刘,變化更快陪每,導(dǎo)致服務(wù)封裝的難度變大。
隨著企業(yè)大數(shù)據(jù)運(yùn)營(yíng)的深入,各類(lèi)大數(shù)據(jù)應(yīng)用層出不窮檩禾,對(duì)于數(shù)據(jù)服務(wù)的需求非常迫切挂签,大數(shù)據(jù)如果不服務(wù)化,就無(wú)法規(guī)呐尾化饵婆,比如浙江移動(dòng)封裝了客戶(hù)洞察、位置洞察戏售、營(yíng)銷(xiāo)管理侨核、終端洞察、金融征信等各種服務(wù)共計(jì)幾百個(gè)灌灾,每月調(diào)用量超過(guò)億次搓译,靈活的滿(mǎn)足了內(nèi)外大數(shù)據(jù)服務(wù)的要求。
3锋喜、數(shù)據(jù)開(kāi)發(fā)
但有數(shù)據(jù)模型和數(shù)據(jù)服務(wù)還是遠(yuǎn)遠(yuǎn)不夠的些己,因?yàn)樵俸玫默F(xiàn)成數(shù)據(jù)和服務(wù)也往往無(wú)法滿(mǎn)足前端個(gè)性化的要求,這時(shí)候就得授人以魚(yú)不如授人以漁了跑芳,數(shù)據(jù)中臺(tái)的最后一層就是數(shù)據(jù)開(kāi)發(fā)轴总,其按照開(kāi)發(fā)難度也分為三個(gè)層次,最簡(jiǎn)單的是提供標(biāo)簽庫(kù)(DMP)博个,用戶(hù)可以基于標(biāo)簽的組裝快速形成營(yíng)銷(xiāo)客戶(hù)群怀樟,一般面向業(yè)務(wù)人員,其次是提供數(shù)據(jù)開(kāi)發(fā)平臺(tái)盆佣,用戶(hù)可以基于該平臺(tái)訪(fǎng)問(wèn)到所有的數(shù)據(jù)并進(jìn)行可視化開(kāi)發(fā)往堡,一般面向SQL開(kāi)發(fā)人員,最后就是提供應(yīng)用環(huán)境和組件共耍,讓技術(shù)人員可以自主打造個(gè)性化數(shù)據(jù)產(chǎn)品虑灰,以上層層遞進(jìn),滿(mǎn)足不同層次人員的要求痹兜。
對(duì)于標(biāo)簽庫(kù)(DMP)到底是屬于SaaS還是PaaS是有爭(zhēng)議的穆咐,但標(biāo)簽庫(kù)這類(lèi)平臺(tái)顯然較生意參謀類(lèi)產(chǎn)品更中臺(tái)一點(diǎn),因?yàn)槠渫ㄓ眯愿鼜?qiáng)字旭,專(zhuān)有業(yè)務(wù)的特性不是非常明顯对湃,筆者還是認(rèn)為可以歸為中臺(tái)。
應(yīng)該來(lái)講遗淳,數(shù)據(jù)開(kāi)發(fā)中的組件拍柒,比如頁(yè)面組件、可視化組件什么的屈暗,歸屬到業(yè)務(wù)中臺(tái)似乎更合理拆讯,但其實(shí)也要看企業(yè)的實(shí)際情況脂男,哪里用的多就可以歸屬到哪里,沒(méi)有絕對(duì)的標(biāo)準(zhǔn)了种呐。
以上劃分方式在邏輯上還是說(shuō)得通的宰翅,但還有很多沒(méi)有考慮進(jìn)來(lái),比如算法服務(wù)陕贮、機(jī)器學(xué)習(xí)引擎堕油、hadoop、MPP等等肮之,筆者覺(jué)得算法服務(wù)應(yīng)該屬于數(shù)據(jù)服務(wù)的一種類(lèi)型掉缺,但h a d o o p、MPP戈擒、機(jī)器學(xué)習(xí)引擎更底層一點(diǎn)眶明,應(yīng)屬于私有云或公有云的范疇了,比如筆者看到阿里云就提供了MaxCompute這類(lèi)機(jī)器學(xué)習(xí)服務(wù)筐高。
關(guān)于數(shù)據(jù)中臺(tái)的分層看似簡(jiǎn)單搜囱,但筆者卻糾結(jié)了好久,很多邊界是模糊的柑土,最近看的一本書(shū)提到蜀肘,新的概念如果跟既有知識(shí)體系不相符,一定要努力搞清楚稽屏,不能人云亦云扮宠,只要能表達(dá)出自己的觀點(diǎn),即使還是錯(cuò)了狐榔,也有了被人家糾正的機(jī)會(huì)坛增,對(duì)于事物理解的不深入,大多是不求甚解導(dǎo)致的概念不清的結(jié)果薄腻。
最近新零售很熱收捣,各路大仙都出來(lái)詮釋新零售的概念,大家可以想想新零售到底是什么庵楷?