最近可能大家聽到“數(shù)據(jù)中臺”這個(gè)詞越來越頻繁了蛙吏，但是到底什么是數(shù)據(jù)中臺呢？讀了一篇史凱的文章鞋吉，有了一點(diǎn)了解鸦做，分享一下。
史凱谓着，ThoughtWorks 數(shù)據(jù)和智能總監(jiān)泼诱，精益數(shù)據(jù)創(chuàng)新體系的提出者，2019 年被評選為 DataIQ100 的數(shù)據(jù)賦能者赊锚，有近 20 年年的企業(yè)信息化治筒、數(shù)字化轉(zhuǎn)型架構(gòu)和實(shí)施經(jīng)驗(yàn)，為眾多大型客戶提供數(shù)字化轉(zhuǎn)型戰(zhàn)略略規(guī)劃和咨詢實(shí)施服務(wù)舷蒲。
一耸袜、什么是數(shù)據(jù)中臺
首先它不是一個(gè)平臺，也不是一個(gè)系統(tǒng)牲平，如果有廠商說他們有個(gè)數(shù)據(jù)中臺賣給你堤框，對不起，它是個(gè)騙子纵柿。
要回答數(shù)據(jù)中臺是什么蜈抓，首先要探討一下中臺到底是什么。雖然沒有明確的定義藐窄，但是作為理工直男资昧，我們可以先把中臺看作是一種中間層。既然是一種中間層荆忍，那么中臺確實(shí)是一種十足技術(shù)用語，我們可以完全從技術(shù)角度來探討了。
在數(shù)據(jù)開發(fā)中刹枉，核心數(shù)據(jù)模型的變化是相對緩慢的叽唱，同時(shí)，對數(shù)據(jù)進(jìn)行維護(hù)的工作量也非常大微宝；但業(yè)務(wù)創(chuàng)新的速度棺亭、對數(shù)據(jù)提出的需求的變化，是非丑恚快速的镶摘。
數(shù)據(jù)中臺的出現(xiàn)，就是為了彌補(bǔ)數(shù)據(jù)開發(fā)和應(yīng)用開發(fā)之間岳守，由于開發(fā)速度不匹配凄敢，出現(xiàn)的響應(yīng)力跟不上的問題。
數(shù)據(jù)中臺解決的問題可以總結(jié)為如下三點(diǎn)：
1湿痢、效率問題：為什么應(yīng)用開發(fā)增加一個(gè)報(bào)表涝缝，就要十幾天時(shí)間？為什么不能實(shí)時(shí)獲得用戶推薦清單譬重？當(dāng)業(yè)務(wù)人員對數(shù)據(jù)產(chǎn)生一點(diǎn)疑問的時(shí)候拒逮，需要花費(fèi)很長的時(shí)間，結(jié)果發(fā)現(xiàn)是數(shù)據(jù)源的數(shù)據(jù)變了臀规，最終影響上線時(shí)間滩援。
2、協(xié)作問題：當(dāng)業(yè)務(wù)應(yīng)用開發(fā)的時(shí)候塔嬉，雖然和別的項(xiàng)目需求大致差不多狠怨，但因?yàn)槭莿e的項(xiàng)目組維護(hù)的，所以數(shù)據(jù)還是要自己再開發(fā)一遍邑遏。
3佣赖、能力問題：數(shù)據(jù)的處理和維護(hù)是一個(gè)相對獨(dú)立的技術(shù)，需要相當(dāng)專業(yè)的人來完成记盒，但是很多時(shí)候憎蛤，我們有一大把的應(yīng)用開發(fā)人員，而數(shù)據(jù)開發(fā)人員很少纪吮。
這三類問題都會(huì)導(dǎo)致應(yīng)用開發(fā)團(tuán)隊(duì)變慢俩檬。這就是中臺的關(guān)鍵——讓前臺開發(fā)團(tuán)隊(duì)的開發(fā)速度不受后臺數(shù)據(jù)開發(fā)的影響。
史凱總結(jié)說碾盟，“數(shù)據(jù)中臺是聚合和治理跨域數(shù)據(jù)棚辽，將數(shù)據(jù)抽象封裝成服務(wù)，提供給前臺以業(yè)務(wù)價(jià)值的邏輯概念”冰肴。
DData API 是數(shù)據(jù)中臺的核心屈藐，它是連接前臺和后臺的橋梁榔组，通過 API 的方式提供數(shù)據(jù)服務(wù)，而不是直接把數(shù)據(jù)庫給前臺联逻、讓前臺開發(fā)自行使用數(shù)據(jù)搓扯。至于產(chǎn)生 DataAPI 的過程，怎么樣讓 DataAPI 產(chǎn)生得更快包归，怎么樣讓 DATA API 更加清晰锨推，怎么樣讓 DATA API 的數(shù)據(jù)質(zhì)量更好，這些是要圍繞數(shù)據(jù)中臺去構(gòu)建的能力公壤。
二换可、數(shù)據(jù)中臺與數(shù)據(jù)倉庫、數(shù)據(jù)平臺的區(qū)別
括地說厦幅，三者的關(guān)鍵區(qū)別有以下幾方面：
1沾鳄、數(shù)據(jù)中臺是企業(yè)級的邏輯概念，體現(xiàn)企業(yè) D2V（Data to Value）的能力慨削，為業(yè)務(wù)提供服務(wù)的主要方式是數(shù)據(jù) API洞渔；數(shù)據(jù)中臺距離業(yè)務(wù)更近，為業(yè)務(wù)提供速度更快的服務(wù)缚态；
2磁椒、數(shù)據(jù)倉庫是一個(gè)相對具體的功能概念，是存儲和管理一個(gè)或多個(gè)主題數(shù)據(jù)的集合玫芦，為業(yè)務(wù)提供服務(wù)的方式主要是分析報(bào)表浆熔；數(shù)據(jù)倉庫是為了支持管理決策分析，而數(shù)據(jù)中臺則是將數(shù)據(jù)服務(wù)化之后提供給業(yè)務(wù)系統(tǒng)桥帆，不僅限于分析型場景医增，也適用于交易型場景；
3老虫、數(shù)據(jù)平臺是在大數(shù)據(jù)基礎(chǔ)上出現(xiàn)的融合了結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)的數(shù)據(jù)基礎(chǔ)平臺叶骨，為業(yè)務(wù)提供服務(wù)的方式主要是直接提供數(shù)據(jù)集；數(shù)據(jù)中臺可以建立在數(shù)據(jù)倉庫和數(shù)據(jù)平臺之上祈匙，是加速企業(yè)從數(shù)據(jù)到業(yè)務(wù)價(jià)值的過程的中間層忽刽。
數(shù)據(jù)倉庫具有歷史性，其中存儲的數(shù)據(jù)大多是結(jié)構(gòu)化數(shù)據(jù)夺欲，這些數(shù)據(jù)并非企業(yè)全量數(shù)據(jù)祭芦，而是根據(jù)需求針對性抽取的播掷，因此數(shù)據(jù)倉庫對于業(yè)務(wù)的價(jià)值是各種各樣的報(bào)表谷徙，但這些報(bào)表又無法實(shí)時(shí)產(chǎn)生舀寓。數(shù)據(jù)倉庫報(bào)表雖然能夠提供部分業(yè)務(wù)價(jià)值，但不能直接影響業(yè)務(wù)市埋。
數(shù)據(jù)平臺的出現(xiàn)是為了解決數(shù)據(jù)倉庫不能處理非結(jié)構(gòu)化數(shù)據(jù)和報(bào)表開發(fā)周期長的問題黎泣，所以先撇開業(yè)務(wù)需求恕刘、把企業(yè)所有的數(shù)據(jù)都抽取出來放到一起，成為一個(gè)大的數(shù)據(jù)集聘裁，其中有結(jié)構(gòu)化數(shù)據(jù)雪营、非結(jié)構(gòu)化數(shù)據(jù)等弓千。當(dāng)業(yè)務(wù)方有需求的時(shí)候衡便，再把他們需要的若干個(gè)小數(shù)據(jù)集單獨(dú)提取出來，以數(shù)據(jù)集的形式提供給數(shù)據(jù)應(yīng)用洋访。
而數(shù)據(jù)中臺是在數(shù)據(jù)倉庫和數(shù)據(jù)平臺的基礎(chǔ)上镣陕，將數(shù)據(jù)生產(chǎn)為為一個(gè)個(gè)數(shù)據(jù) API 服務(wù)，以更高效的方式提供給業(yè)務(wù)姻政。
三呆抑、數(shù)據(jù)中臺應(yīng)該具備的能力：
大數(shù)據(jù)和人工智能大火之后這幾年，很多人一直在提一個(gè)說法汁展，那就是“數(shù)據(jù)是新的石油”鹊碍。但是數(shù)據(jù)不等于數(shù)據(jù)資產(chǎn)，如果沒有從業(yè)務(wù)的角度對數(shù)據(jù)進(jìn)行規(guī)劃食绿，再多的數(shù)據(jù)也無法產(chǎn)生價(jià)值侈咕。
1、前提——數(shù)據(jù)目錄：
一個(gè)企業(yè)的數(shù)據(jù)要能夠充分發(fā)揮價(jià)值器紧，很重要的一個(gè)前提條件就是這個(gè)企業(yè)的數(shù)據(jù)結(jié)構(gòu)和數(shù)據(jù)資產(chǎn)目錄是對整個(gè)企業(yè)開放的耀销。所有人都能夠通過這個(gè)資產(chǎn)目錄了解公司有哪些類別的數(shù)據(jù)、包含什么屬性铲汪、源數(shù)據(jù)由誰管理熊尉，這樣就可以快速搞清楚這些數(shù)據(jù)是不是自己需要的。但數(shù)據(jù)本身可以不開放掌腰，因?yàn)閿?shù)據(jù)是有隱私信息和安全級別的狰住。”
大企業(yè)內(nèi)部業(yè)務(wù)眾多齿梁，不同業(yè)務(wù)可能存在很多重復(fù)數(shù)據(jù)催植。所謂的數(shù)據(jù)資產(chǎn)目錄就是把數(shù)據(jù)的模型去重、歸一士飒、梳理查邢，變成一個(gè)樹狀結(jié)構(gòu)，這個(gè)樹狀結(jié)構(gòu)不直接對應(yīng)數(shù)據(jù)庫中的字段酵幕。數(shù)據(jù)資產(chǎn)目錄做的事情就是從業(yè)務(wù)層面出發(fā)制定數(shù)據(jù)標(biāo)準(zhǔn)扰藕，將企業(yè)業(yè)務(wù)相關(guān)的數(shù)據(jù)資產(chǎn)模型抽取出來，這跟后面用什么數(shù)據(jù)庫去存儲芳撒、用什么結(jié)構(gòu)去存儲邓深、存成結(jié)構(gòu)化還是非結(jié)構(gòu)化都沒有關(guān)系未桥。它相當(dāng)于把企業(yè)的業(yè)務(wù)從數(shù)據(jù)層面做了一個(gè)梳理，用數(shù)據(jù)的語言把企業(yè)的業(yè)務(wù)模型還原出來芥备。數(shù)據(jù)資產(chǎn)目錄做好之后冬耿，后面才是用什么技術(shù)手段、從哪里提取數(shù)據(jù)來映射到這個(gè)數(shù)據(jù)資產(chǎn)目錄萌壳。
2亦镶、核心——是數(shù)據(jù)中臺要為企業(yè)提供強(qiáng)大的數(shù)據(jù)資產(chǎn)的獲取和存儲的能力。
除了開放袱瓮，數(shù)據(jù)資產(chǎn)目錄還應(yīng)該具有標(biāo)簽描述缤骨、可檢索，這樣才能最大程度地方便真正使用數(shù)據(jù)的人尺借，以最快的速度找到他們需要的東西绊起。
3、數(shù)據(jù)的共享和協(xié)作
企業(yè)的數(shù)據(jù)中臺一定是跨域的燎斩，需要讓所有的人都知道數(shù)據(jù)資產(chǎn)目錄在哪里虱歪。不能因?yàn)閿?shù)據(jù)安全，就不讓大家知道企業(yè)有什么數(shù)據(jù)栅表。沒有共享和開放笋鄙，數(shù)據(jù)沒有辦法流動(dòng)起來，沒有流動(dòng)的話數(shù)據(jù)的價(jià)值產(chǎn)生的速度就會(huì)非常慢谨读。所以在數(shù)據(jù)安全的基礎(chǔ)上局装，企業(yè)的數(shù)據(jù)資產(chǎn)目錄要對利益相關(guān)者、價(jià)值創(chuàng)造者開放劳殖，要讓業(yè)務(wù)人員能夠做到“Self-Service”铐尚。
4、業(yè)務(wù)價(jià)值的探索和分析
數(shù)據(jù)中臺不僅要建立到源數(shù)據(jù)的通路哆姻，還需要提供分析數(shù)據(jù)的工具和能力宣增，幫助業(yè)務(wù)人員去探索和發(fā)現(xiàn)數(shù)據(jù)的業(yè)務(wù)價(jià)值。一個(gè)好的數(shù)據(jù)中臺解決方案中需要針對不同業(yè)務(wù)崗位的用戶提供個(gè)性化的數(shù)據(jù)探索和分析的工具矛缨，并且在此基礎(chǔ)上一鍵生成數(shù)據(jù) API爹脾，以多樣化的方式提供給前臺系統(tǒng)。
5箕昭、數(shù)據(jù)服務(wù)的構(gòu)建和治理
數(shù)據(jù)中臺需要保證數(shù)據(jù)服務(wù)的性能和穩(wěn)定性灵妨，以及數(shù)據(jù)質(zhì)量和準(zhǔn)確性，還需要具備強(qiáng)大的服務(wù)治理能力落竹。數(shù)據(jù)中臺是一個(gè)生態(tài)平臺泌霍，在數(shù)據(jù)中臺上面會(huì)不斷生長各種數(shù)據(jù)服務(wù)，所以從一開始就構(gòu)建好數(shù)據(jù)服務(wù)的治理結(jié)構(gòu)是非常重要的述召，數(shù)據(jù)服務(wù)需要可以被記錄朱转、可被跟蹤蟹地、可被審計(jì)、可被監(jiān)控藤为。
6怪与、數(shù)據(jù)服務(wù)的度量和運(yùn)營
如果數(shù)據(jù)中臺最終只是做到把數(shù)據(jù)給到業(yè)務(wù)人員，那它就只是一個(gè)搬運(yùn)工的角色缅疟。數(shù)據(jù)中臺還需要具備度量和運(yùn)營數(shù)據(jù)服務(wù)的能力分别，能夠?qū)χ信_上提供的數(shù)據(jù)服務(wù)及相關(guān)行為持續(xù)跟蹤和記錄，包括哪些數(shù)據(jù)服務(wù)被哪個(gè)部門用了多少次等窿吩，通過這些去度量每一個(gè)數(shù)據(jù)服務(wù)的業(yè)務(wù)價(jià)值茎杂。
四错览、如何搭建數(shù)據(jù)中臺
1纫雁、數(shù)據(jù)中臺建設(shè)面臨的挑戰(zhàn)包括：
梳理業(yè)務(wù)場景：搞清楚數(shù)據(jù)中臺如何對業(yè)務(wù)產(chǎn)生價(jià)值。
建設(shè)數(shù)據(jù)中臺的優(yōu)先級策略：需求可能大而全倾哺，但我們不能直接建大而全的數(shù)據(jù)中臺轧邪，應(yīng)該根據(jù)業(yè)務(wù)重要性來排需求的優(yōu)先級。
數(shù)據(jù)治理問題：和業(yè)務(wù)獨(dú)立開的數(shù)據(jù)治理少有成功的羞海，大的數(shù)據(jù)標(biāo)準(zhǔn)要有（數(shù)據(jù)資產(chǎn)目錄）忌愚，通過數(shù)據(jù)資產(chǎn)目錄將共有的緯度、共性的業(yè)務(wù)模型提煉出來却邓，在此基礎(chǔ)之上數(shù)據(jù)治理需要跟業(yè)務(wù)場景緊密結(jié)合硕糊。
2、數(shù)據(jù)中臺的建設(shè)需要兩個(gè)戰(zhàn)略耐心
數(shù)據(jù)中臺是為了加快從數(shù)據(jù)到業(yè)務(wù)價(jià)值的產(chǎn)生速度腊徙，但是它的生產(chǎn)過程依然是需要時(shí)間简十、有很多復(fù)雜的工作要做的，所以對于數(shù)據(jù)中臺的投資方和數(shù)據(jù)中臺的建設(shè)方來講撬腾，都需要對應(yīng)的戰(zhàn)略耐心螟蝙。
對于投資方來講，要充分認(rèn)識到數(shù)據(jù)中臺類項(xiàng)目的價(jià)值和局限性民傻。在現(xiàn)在的組織結(jié)構(gòu)和技術(shù)成熟度下胰默，數(shù)據(jù)中臺依舊是一個(gè)技術(shù)平臺，對于業(yè)務(wù)價(jià)值的產(chǎn)生是一個(gè)加速的過程漓踢。但是業(yè)務(wù)對于數(shù)據(jù)的需求不會(huì)因?yàn)橛辛藬?shù)據(jù)中臺就減少牵署，數(shù)據(jù)中臺也不是哆啦 A 夢，不能隨心所欲地變出各種業(yè)務(wù)想要的服務(wù)喧半。這依然是一個(gè)需要統(tǒng)籌規(guī)劃奴迅、敏捷迭代、演進(jìn)建設(shè)的系統(tǒng)性工程薯酝，所以需要要管理好期望半沽，有一定的戰(zhàn)略耐心爽柒。
對于建設(shè)方來講，要充分認(rèn)識到數(shù)據(jù)中臺建設(shè)的復(fù)雜度者填，不要操之過急浩村，不要期待畢其功于一役。史凱的建議是要從小中臺做起占哟，圍繞具體有價(jià)值的業(yè)務(wù)場景去建設(shè)心墅，盡量不脫離場景去搞周期長、大而全的純工具平臺建設(shè)榨乎。
3怎燥、數(shù)據(jù)中臺應(yīng)該從小數(shù)據(jù)、小場景做起蜜暑。
數(shù)據(jù)中臺是面向場景而非面向技術(shù)的铐姚，這種與客戶的業(yè)務(wù)、企業(yè)的結(jié)構(gòu)和信息化發(fā)展階段有著緊密的相關(guān)性的業(yè)務(wù)基礎(chǔ)架構(gòu)肛捍，是很難買一個(gè)大而全的產(chǎn)品來一勞永逸解決的隐绵。
，數(shù)據(jù)中臺是面向場景而非面向技術(shù)的拙毫，這種與客戶的業(yè)務(wù)依许、企業(yè)的結(jié)構(gòu)和信息化發(fā)展階段有著緊密的相關(guān)性的業(yè)務(wù)基礎(chǔ)架構(gòu)，是很難買一個(gè)大而全的產(chǎn)品來一勞永逸解決的缀蹄。
可以通過下面這個(gè)圖來解釋構(gòu)建中臺的原則：
一開始的時(shí)候需要頂層設(shè)計(jì)峭跳，面向業(yè)務(wù)愿景制定中臺的整體規(guī)劃，全面的梳理數(shù)據(jù)創(chuàng)新全景藍(lán)圖缺前，這就是上圖左邊的黑色框架部分蛀醉，通過業(yè)務(wù)愿景驅(qū)動(dòng)出所有的業(yè)務(wù)場景探索，從而推導(dǎo)出數(shù)據(jù)中臺的全景架構(gòu)诡延、技術(shù)支撐滞欠。
但是在實(shí)施的時(shí)候，要從具體的業(yè)務(wù)場景出發(fā)肆良。從高價(jià)值數(shù)據(jù)集場景做起筛璧，然后順著這個(gè)場景豎切，找到數(shù)據(jù)全景圖中的一個(gè)或多個(gè)數(shù)據(jù)集合惹恃，從小數(shù)據(jù)場景落地夭谤，這樣才能快速驗(yàn)證價(jià)值。大處思考巫糙，全局拉通朗儒，避免后續(xù)的數(shù)據(jù)孤島，但是從小數(shù)據(jù)集切入，從可實(shí)現(xiàn)性高的場景啟動(dòng)醉锄。然后一個(gè)個(gè)的場景做起來乏悄，業(yè)務(wù)價(jià)值和中臺能力也就同步建立起來了。
總的來講就是恳不，“設(shè)計(jì)階段橫著走檩小，落地階段豎著切⊙萄”
