今天把數(shù)據(jù)中臺(tái)來龍去脈講一下。當(dāng)我們要去了解數(shù)據(jù)中臺(tái)的時(shí)候弛秋，還是要把傳統(tǒng)的單體架構(gòu)器躏，傳統(tǒng)的BI系統(tǒng)，傳統(tǒng)DMD主數(shù)據(jù)系統(tǒng)首先了解清楚蟹略。這是我們了解數(shù)據(jù)中臺(tái)最基本的知識(shí)屹培。只有了解了傳統(tǒng)的架構(gòu)爸邢，我們才能夠更清楚數(shù)據(jù)中臺(tái)是怎么樣一步一步衍生出來的魄鸦。

所以首先我們看看傳統(tǒng)單體架構(gòu)下面前酿，都采用的是煙囪式的建設(shè)。我們會(huì)去建設(shè)CMS合同管理系統(tǒng)茅茂，會(huì)去建設(shè)SCM采購管理系統(tǒng)捏萍，會(huì)去建設(shè)ERP系統(tǒng)。但是當(dāng)這些系統(tǒng)建設(shè)完成后空闲，形成一個(gè)個(gè)信息孤島令杈，在這個(gè)時(shí)候我們的想法是去走企業(yè)的BI商業(yè)智能，做企業(yè)輔助決策碴倾，我們回去建設(shè)傳統(tǒng)BI系統(tǒng)逗噩。在建設(shè)BI系統(tǒng)的時(shí)候，我們自然會(huì)想到我們需要把各個(gè)業(yè)務(wù)系統(tǒng)的數(shù)據(jù)通過類似ETL工具抽取到我們的整個(gè)BI系統(tǒng)里面跌榔。所以傳統(tǒng)的BI系統(tǒng)當(dāng)ETL作為數(shù)據(jù)抽取夠來以后异雁，在上層就會(huì)有一個(gè)ODS庫。有了ODS庫僧须，我們?cè)俳Y(jié)合上層數(shù)據(jù)建模和維度建模纲刀，我們會(huì)形成數(shù)據(jù)集市，或者叫DW數(shù)據(jù)倉庫担平。這個(gè)就是傳統(tǒng)BI的核心內(nèi)容示绊。當(dāng)我們建設(shè)完整的ODS庫和DW庫之后，就很方便去做更上層的就是最終領(lǐng)導(dǎo)看到的各種報(bào)表的分析暂论，各種報(bào)表的上鉆下鉆和維度切片面褐，或者是方便領(lǐng)導(dǎo)關(guān)注的駕駛決策艙。

在傳統(tǒng)的架構(gòu)里面取胎，我們發(fā)現(xiàn)一個(gè)關(guān)鍵問題展哭，類似我們的供應(yīng)商、物料等基礎(chǔ)數(shù)據(jù)扼菠，這些基礎(chǔ)數(shù)據(jù)可能在多個(gè)業(yè)務(wù)系統(tǒng)中都存在摄杂。比如說虛擬的物料在合同管理系統(tǒng)里面管理，但涉及實(shí)際生產(chǎn)的物料在采購系統(tǒng)里面管理循榆，物料涉及的采購屬性在采購系統(tǒng)里面管理，但是涉及到庫存和財(cái)務(wù)記賬類數(shù)據(jù)又再ERP系統(tǒng)里面墨坚。這個(gè)時(shí)候我們會(huì)看到秧饮，即使對(duì)于同樣一個(gè)物料基礎(chǔ)數(shù)據(jù)映挂，沒有形成一個(gè)完整統(tǒng)一的實(shí)體。而且物料基礎(chǔ)數(shù)據(jù)分散在多個(gè)系統(tǒng)里面盗尸，很可能多個(gè)系統(tǒng)都在同時(shí)對(duì)這個(gè)系統(tǒng)維護(hù)柑船，導(dǎo)致數(shù)據(jù)不一致∑酶鳎基于這個(gè)原因鞍时，我們?cè)趥鹘y(tǒng)單體架構(gòu)下面，一般會(huì)去建立MDM的主數(shù)據(jù)管理系統(tǒng)扣蜻，把原來在各個(gè)業(yè)務(wù)系統(tǒng)管理的基礎(chǔ)數(shù)據(jù)統(tǒng)一集中到主數(shù)據(jù)系統(tǒng)里面進(jìn)行管理逆巍。在主數(shù)據(jù)統(tǒng)一管理基礎(chǔ)數(shù)據(jù)后，如果其他業(yè)務(wù)需要這些數(shù)據(jù)莽使，我們?cè)偻ㄟ^分發(fā)的接口分發(fā)給各個(gè)業(yè)務(wù)系統(tǒng)使用锐极。

當(dāng)增加了MDM主數(shù)據(jù)管理系統(tǒng)后，傳統(tǒng)BI系統(tǒng)也會(huì)出現(xiàn)大的變化芳肌。BI系統(tǒng)在各個(gè)業(yè)務(wù)系統(tǒng)抽取數(shù)據(jù)的時(shí)候灵再，原來本身就包含了既要抽取類似供應(yīng)商、物料這類基礎(chǔ)數(shù)據(jù)亿笤，又要抽取訂單翎迁、合同這類動(dòng)態(tài)數(shù)據(jù)。在建設(shè)完成主數(shù)據(jù)系統(tǒng)后净薛，我們可以發(fā)現(xiàn)BI系統(tǒng)數(shù)據(jù)抽取分為兩個(gè)部分鸳兽。如果僅僅是基礎(chǔ)數(shù)據(jù)抽取，就不再從業(yè)務(wù)系統(tǒng)抽取罕拂，而是直接從MDM系統(tǒng)抽取數(shù)據(jù)進(jìn)行使用揍异。對(duì)于動(dòng)態(tài)數(shù)據(jù)，再從業(yè)務(wù)系統(tǒng)抽取進(jìn)入ODS庫爆班。這就是傳統(tǒng)單體架構(gòu)衷掷，傳統(tǒng)BI系統(tǒng)為什么會(huì)形成主數(shù)據(jù)管理系統(tǒng)，所以我們還是傳統(tǒng)的架構(gòu)柿菩。

一個(gè)數(shù)據(jù)中臺(tái)廠商說要把你基礎(chǔ)數(shù)據(jù)進(jìn)行管理戚嗅，建立一個(gè)類似基礎(chǔ)數(shù)據(jù)管理系統(tǒng)。那這個(gè)事情實(shí)際上跟數(shù)據(jù)中臺(tái)沒有任何關(guān)系枢舶。如果是一個(gè)傳統(tǒng)單體架構(gòu)懦胞，一個(gè)數(shù)據(jù)中臺(tái)廠商說要把數(shù)據(jù)全部抽取出來進(jìn)行集中整合，然后做一些統(tǒng)計(jì)報(bào)表凉泄，這些工作也跟數(shù)據(jù)中臺(tái)沒有關(guān)系躏尉，這頂多是BI系統(tǒng)。

那么數(shù)據(jù)中臺(tái)的變化究竟是在哪些點(diǎn)后众，為什么會(huì)形成從傳統(tǒng)BI朝傳統(tǒng)數(shù)據(jù)中臺(tái)的演變胀糜，我們一定要明白這個(gè)道理颅拦。這個(gè)演變不是說自己在演變，其中核心的重點(diǎn)在于我們?cè)瓉韱误w架構(gòu)本身在朝著微服務(wù)架構(gòu)轉(zhuǎn)變教藻。也就是說整個(gè)傳統(tǒng)單體架構(gòu)變成了微服務(wù)架構(gòu)距帅，同時(shí)企業(yè)構(gòu)建了企業(yè)業(yè)務(wù)中臺(tái)，同時(shí)也做了平臺(tái)+應(yīng)用的新的架構(gòu)模式括堤。在這個(gè)時(shí)候我們可以看到碌秸，原來的就沒有傳統(tǒng)合同系統(tǒng)，采購系統(tǒng)悄窃。更多我叫訂單中心讥电、用戶中心、物料中心广匙、供應(yīng)商中心允趟，變成一個(gè)個(gè)細(xì)粒度微服務(wù)。在變成微服務(wù)中心以后鸦致，原來構(gòu)建MDM系統(tǒng)進(jìn)行物料潮剪、供應(yīng)商管理就沒有任何必要了。因?yàn)椴鸱殖蓸I(yè)務(wù)中臺(tái)一個(gè)個(gè)服務(wù)中心本身就是一個(gè)個(gè)獨(dú)立的微服務(wù)中心分唾，沒必要把這些數(shù)據(jù)集中到類似一個(gè)主數(shù)據(jù)系統(tǒng)中去管理抗碰。這些中心本身就可以朝上開放業(yè)務(wù)和數(shù)據(jù)服務(wù)能力。

第二點(diǎn)當(dāng)拆成微服務(wù)以后我們注意到一個(gè)很關(guān)鍵的東西绽乔。比如原來上層應(yīng)用需要一個(gè)關(guān)鍵的能力弧蝇，希望看到整個(gè)采購執(zhí)行情況，就必須訪問供應(yīng)商數(shù)據(jù)折砸、物料數(shù)據(jù)看疗、訂單數(shù)據(jù)、采購執(zhí)行數(shù)據(jù)睦授，這些數(shù)據(jù)原來都是在采購系統(tǒng)一個(gè)大數(shù)據(jù)庫中两芳。所以，往往采用一個(gè)大的關(guān)聯(lián)SQL就獲取了想要的數(shù)據(jù)去枷。但是在進(jìn)行單體朝微服務(wù)的拆解后怖辆，我們會(huì)發(fā)現(xiàn)即使要提供一個(gè)采購執(zhí)行數(shù)據(jù)服務(wù)能力，往往涉及到多個(gè)微服務(wù)提供出來的數(shù)據(jù)服務(wù)能力的整合才能最終完成這件事情删顶。所以做這件事情反而單體拆解后不方便了竖螃。那么不方便后，我們?cè)撊绾蝸碜鲞@件事情呢逗余？

我們要去構(gòu)建一個(gè)數(shù)據(jù)中臺(tái)來做特咆，在底層我們?nèi)匀簧婕暗紼TL或者Hadoop這些大數(shù)據(jù)技術(shù)平臺(tái)。我們需要去把各個(gè)微服數(shù)據(jù)通過ETL或者通過數(shù)據(jù)采集的方式先同步到整個(gè)數(shù)據(jù)中臺(tái)中去猎荠。在數(shù)據(jù)中臺(tái)我們不用特別強(qiáng)調(diào)是ODS庫還是DW庫坚弱，在數(shù)據(jù)中臺(tái)中蜀备，我們可以命名為數(shù)據(jù)資產(chǎn)庫关摇。在數(shù)據(jù)資產(chǎn)庫里面下方荒叶，仍然是數(shù)據(jù)貼源層，在數(shù)據(jù)貼源層上方我們進(jìn)行數(shù)據(jù)建模输虱。包括數(shù)據(jù)寬表些楣，包括數(shù)據(jù)倉庫維度模型，這些我們可以認(rèn)為是在構(gòu)建我們的數(shù)據(jù)資產(chǎn)庫宪睹。當(dāng)聽到這個(gè)地方的時(shí)候愁茁，我們會(huì)發(fā)現(xiàn)這個(gè)數(shù)據(jù)中臺(tái)跟傳統(tǒng)的BI系統(tǒng)不仍然是一回事嗎？

實(shí)際關(guān)鍵的一個(gè)差異在哪里呢亭病？我們講任何中臺(tái)鹅很，不管業(yè)務(wù)中臺(tái)還是數(shù)據(jù)中臺(tái)，一定是講的可共享的業(yè)務(wù)能力罪帖、數(shù)據(jù)能力的下沉促煮。把這個(gè)能力下沉后，我不能夠是在自己的封閉體系里面整袁。傳統(tǒng)BI我們發(fā)現(xiàn)數(shù)據(jù)抽取到ODS倉庫后菠齿，僅僅能提供個(gè)上層數(shù)據(jù)報(bào)表分析使用。但是到了數(shù)據(jù)中臺(tái)以后坐昙，通過數(shù)據(jù)資產(chǎn)庫形成數(shù)據(jù)資產(chǎn)以后绳匀，就會(huì)有一個(gè)很重要的層叫數(shù)據(jù)服務(wù)層。我們所形成的數(shù)據(jù)資產(chǎn)能力炸客，不僅僅是提供給前端BI報(bào)表使用疾棵，這種仍然是我們常說的OLAP應(yīng)用。我們更多是希望將數(shù)據(jù)資產(chǎn)通過數(shù)據(jù)服務(wù)層對(duì)外進(jìn)行能力開放痹仙，把開放的能力給到前端應(yīng)用是尔。這個(gè)時(shí)候我們會(huì)發(fā)現(xiàn)當(dāng)傳統(tǒng)BI衍生到數(shù)據(jù)中臺(tái)以后，帶來的最大的變化是數(shù)據(jù)中臺(tái)不在是一個(gè)孤立封閉的體系蝶溶。數(shù)據(jù)中臺(tái)在構(gòu)建數(shù)據(jù)資產(chǎn)這些核心要素以后嗜历，必須通過數(shù)據(jù)服務(wù)層把這個(gè)能力進(jìn)一步通過API接口方式開放給業(yè)務(wù)應(yīng)用使用。這個(gè)也是經(jīng)常在講業(yè)務(wù)中臺(tái)抖所、數(shù)據(jù)中臺(tái)的時(shí)候梨州，講到數(shù)據(jù)實(shí)時(shí)反哺業(yè)務(wù)。數(shù)據(jù)不僅僅是用戶決策分析田轧，同時(shí)要支撐業(yè)務(wù)的運(yùn)作暴匠。這個(gè)數(shù)據(jù)實(shí)時(shí)性價(jià)值進(jìn)一步展示出來了。這才是構(gòu)建數(shù)據(jù)中臺(tái)最大的價(jià)值傻粘。同時(shí)我們也可以看到在傳統(tǒng)單體架構(gòu)每窖、BI系統(tǒng)朝數(shù)據(jù)中臺(tái)變化的時(shí)候帮掉，MDM主數(shù)據(jù)系統(tǒng)已經(jīng)沒有存在的價(jià)值。如果傳統(tǒng)架構(gòu)做了微服務(wù)架構(gòu)的改造窒典，更不需要構(gòu)建主數(shù)據(jù)平臺(tái)蟆炊。主數(shù)據(jù)平臺(tái)已經(jīng)變成業(yè)務(wù)中臺(tái)各個(gè)微服務(wù)中心的能力。

經(jīng)過傳統(tǒng)單體到微服務(wù)結(jié)構(gòu)瀑志，從傳統(tǒng)單體到業(yè)務(wù)中臺(tái)涩搓、數(shù)據(jù)中臺(tái)演變過程，我們可以更加清楚理解數(shù)據(jù)中臺(tái)究竟是如何一步步產(chǎn)生的劈猪。最后再總結(jié)一下核心數(shù)據(jù)中臺(tái)我們可以看到昧甘。它往往一般會(huì)涉及底層大數(shù)據(jù)技術(shù)平臺(tái)，比如通過主流hadoop技術(shù)構(gòu)建战得，當(dāng)如如果企業(yè)全部是結(jié)構(gòu)化數(shù)據(jù)充边，也可采用clisk house的MPP數(shù)據(jù)來完成底層數(shù)據(jù)技術(shù)平臺(tái)的搭建。有了技術(shù)平臺(tái)以后常侦，上面是核心數(shù)據(jù)資產(chǎn)層浇冰，在數(shù)據(jù)資產(chǎn)層可以看到相應(yīng)貼源數(shù)據(jù)，通過維度加工刮吧，加工以后數(shù)據(jù)湖饱，我們實(shí)際數(shù)據(jù)分析模型，維度模型很可能都是體現(xiàn)在我們的數(shù)據(jù)資產(chǎn)里面杀捻。在數(shù)據(jù)資產(chǎn)上層一個(gè)關(guān)鍵內(nèi)容是去構(gòu)建數(shù)據(jù)服務(wù)和數(shù)據(jù)能力開放層井厌。再到上面就會(huì)有兩個(gè)出口，一個(gè)出口仍然滿足上層BI報(bào)表分析應(yīng)用致讥，另外一個(gè)出口是快速反哺業(yè)務(wù)應(yīng)用仅仆，支撐業(yè)務(wù)應(yīng)用。這才是數(shù)據(jù)中臺(tái)的本質(zhì)的內(nèi)容垢袱。