導(dǎo)讀
“不做會(huì)死劲室,做了送命”,大概沒有什么信息化建設(shè)像中臺(tái)一樣结窘,擁有這如網(wǎng)紅般的爭(zhēng)議吧很洋。大約從2019年上半年開始,“數(shù)據(jù)中臺(tái)”這個(gè)詞隧枫,相信大家或多或少都聽到過喉磁,儼然已經(jīng)成為了大數(shù)據(jù)領(lǐng)域的新任“網(wǎng)紅”。那么數(shù)據(jù)中臺(tái)究竟是“新瓶裝舊酒”悠垛,還是真正可以助力企業(yè)的“大殺器”线定?本文主要從數(shù)據(jù)中臺(tái)的前世今生,到典型企業(yè)的數(shù)據(jù)中臺(tái)架構(gòu)确买,再到企業(yè)究竟需要什么樣子的數(shù)據(jù)中臺(tái)斤讥,多個(gè)視角對(duì)數(shù)據(jù)中臺(tái)進(jìn)行解讀。
數(shù)據(jù)中臺(tái)從何而來
在談?wù)摂?shù)據(jù)中臺(tái)之前湾趾,不妨先看一下大數(shù)據(jù)的發(fā)展歷史
有跡可循的大數(shù)據(jù)思想萌芽芭商,可追溯至1974年,當(dāng)時(shí)有學(xué)者在論文中首次提出了“大數(shù)據(jù)集”的概念搀缠,但一直到1991年铛楣,Bill Inmon出版了《建立數(shù)據(jù)倉庫》一書,才真正算是在大數(shù)據(jù)領(lǐng)域有了被廣泛接受的“數(shù)據(jù)倉庫”定義艺普。隨后簸州,在20世紀(jì)初,數(shù)據(jù)處理量達(dá)到TB級(jí)的情況下歧譬,數(shù)據(jù)處理岸浑、展現(xiàn)應(yīng)用于業(yè)務(wù)帶來的提升,學(xué)界的廣泛認(rèn)同和商界的快速產(chǎn)品化瑰步,證明了數(shù)據(jù)倉庫的歷史意義與價(jià)值矢洲。
2003年,可以被認(rèn)定是大數(shù)據(jù)的第一個(gè)重要里程碑缩焦,在這一年读虏,Google公開了一系列其內(nèi)部實(shí)踐的“海量數(shù)據(jù)”處理技術(shù),也就是我們常說的Google三駕馬車——基于冗余存儲(chǔ)機(jī)制的分布式文件系統(tǒng)GFS袁滥、用于搜索索引計(jì)算的并行處理框架MapReduce盖桥、高效數(shù)據(jù)存儲(chǔ)模型BigTable,隨后便促進(jìn)產(chǎn)生了大家更為熟知的分布式系統(tǒng)基礎(chǔ)架構(gòu)——Hadoop题翻。
后面的歷史便不多說了葱轩,本文的目的畢竟不是為了科普大數(shù)據(jù),從大數(shù)據(jù)發(fā)展的編年史藐握,也許能看出一些端倪靴拱,為什么數(shù)據(jù)中臺(tái)會(huì)在短短數(shù)年內(nèi)從默默無聞到炙手可熱。從2011年開始猾普,大數(shù)據(jù)的發(fā)展仿佛進(jìn)入了高速公路袜炕,無論是國際知名組織,還是國家層面初家,都將大數(shù)據(jù)上升到戰(zhàn)略級(jí)地位偎窘。伴隨地位的提升,大數(shù)據(jù)領(lǐng)域的研究在廣度和深度上都不斷得到拓展溜在,從早期以硬件陌知、網(wǎng)絡(luò)為主的單一領(lǐng)域分類,擴(kuò)展到平臺(tái)化及場(chǎng)景化的數(shù)據(jù)倉庫掖肋、元數(shù)據(jù)管理仆葡、主數(shù)據(jù)管理、數(shù)據(jù)質(zhì)量志笼、數(shù)據(jù)安全沿盅、數(shù)據(jù)科學(xué)等多元的領(lǐng)域分類。與此同時(shí)纫溃,數(shù)據(jù)倉庫的概念正在被外延——衍生出“大數(shù)據(jù)平臺(tái)”腰涧、“商業(yè)智能”以及“數(shù)據(jù)湖”的“邏輯數(shù)據(jù)倉庫”概念,數(shù)據(jù)處理量從TB級(jí)躍升至PB級(jí)紊浩,開源的Hadoop生態(tài)正式開始商業(yè)化窖铡,數(shù)據(jù)中臺(tái)在這個(gè)時(shí)期脫穎而出,也似乎并不突兀坊谁。
不過费彼,無論是數(shù)據(jù)倉庫還是大數(shù)據(jù)平臺(tái),商業(yè)智能還是數(shù)據(jù)湖呜袁,其發(fā)展似乎一直伴隨著一面看不見的墻敌买,那便是關(guān)于大數(shù)據(jù)價(jià)值的探索。首先我們先看看在當(dāng)時(shí)國內(nèi)外大數(shù)據(jù)領(lǐng)域的主要玩家都在干什么阶界。
Amazon虹钮、Google、Microsoft膘融、Oralce均在自身強(qiáng)勢(shì)業(yè)務(wù)之上芙粱,開啟商業(yè)化的云計(jì)算和大數(shù)據(jù)服務(wù);Informatica聚焦大數(shù)據(jù)領(lǐng)域氧映,推進(jìn)其SAAS化的大數(shù)據(jù)產(chǎn)品及平臺(tái)春畔;大數(shù)據(jù)新貴Palantir,則在其助力美國政府抓捕本拉登而一戰(zhàn)成名的大數(shù)據(jù)風(fēng)控及其第三方數(shù)據(jù)服務(wù)上,不斷拓展數(shù)據(jù)應(yīng)用的邊界律姨;回到國內(nèi)振峻,阿里云、騰訊云择份、電信天翼云扣孟、華為云等均在云計(jì)算及大數(shù)據(jù)領(lǐng)域投入了大量人力和物力。在這個(gè)大數(shù)據(jù)發(fā)展的黃金期荣赶,幾乎所有的高科技企業(yè)都在思考一個(gè)問題:
海量數(shù)據(jù)作為大多數(shù)企業(yè)發(fā)展不可避免的一個(gè)趨勢(shì)之后凤价,企業(yè)該怎么去應(yīng)用這部分?jǐn)?shù)據(jù)資產(chǎn),會(huì)對(duì)其商業(yè)產(chǎn)生什么影響拔创,如何使數(shù)據(jù)對(duì)企業(yè)產(chǎn)生正面的推動(dòng)而不是成為企業(yè)的負(fù)擔(dān)利诺。
作為國內(nèi)的主要大數(shù)據(jù)玩家宵晚,阿里在2015年時(shí)提出了“大中臺(tái)育苟、小前臺(tái)”的戰(zhàn)略,奠定了其內(nèi)部發(fā)展數(shù)據(jù)中臺(tái)的基礎(chǔ)草姻。其實(shí)這件事情毋需過多挑戰(zhàn)躏吊,國內(nèi)有很多廠商懷疑數(shù)據(jù)中臺(tái)的價(jià)值或者認(rèn)為其是“新瓶裝舊酒”氛改,但作為阿里數(shù)據(jù)中臺(tái)內(nèi)部建設(shè)和對(duì)外商業(yè)化的親歷者,筆者確實(shí)見識(shí)了阿里內(nèi)部數(shù)據(jù)中臺(tái)對(duì)其生態(tài)帶來的巨大推動(dòng)作用比伏,也見到過其在對(duì)外做數(shù)據(jù)中臺(tái)商業(yè)化輸出時(shí)遇到的水土不服胜卤,為什么會(huì)產(chǎn)生這種現(xiàn)象,透過現(xiàn)象看本質(zhì)赁项,接下來我們就從多個(gè)角度來看葛躏。
數(shù)據(jù)中臺(tái)的多視角解讀
從去年甚至更早開始,很多企業(yè)悠菜,包括互聯(lián)網(wǎng)企業(yè)和傳統(tǒng)企業(yè)舰攒,開始紛紛的提數(shù)字化轉(zhuǎn)型并建設(shè)自己的中臺(tái)模式,那就帶來這樣一個(gè)問題悔醋,就是數(shù)據(jù)中臺(tái)該如何定義摩窃,或者說該怎么理解它,包括我也跟數(shù)十家企業(yè)的溝通交流過程中芬骄,聽到過他們很多這樣的困惑猾愿,比如說數(shù)據(jù)中臺(tái)它是不是一個(gè)數(shù)倉,或者數(shù)據(jù)湖账阻,它究竟是一個(gè)技術(shù)體系蒂秘,還是一個(gè)具象的產(chǎn)品或應(yīng)用,有很多不同的理解淘太。
我們可以先了解一下阿里對(duì)數(shù)據(jù)中臺(tái)的定義姻僧。
數(shù)據(jù)中臺(tái)是一套數(shù)據(jù)資產(chǎn)化和價(jià)值化體系规丽。它致力于構(gòu)建既“準(zhǔn)”且“快”的“全”“統(tǒng)”“通”的“智能”大數(shù)據(jù)體系;它在數(shù)據(jù)賦能業(yè)務(wù)中形成業(yè)務(wù)模式撇贺,在推進(jìn)數(shù)字化轉(zhuǎn)型中實(shí)現(xiàn)價(jià)值赌莺。
不難看出,阿里的數(shù)據(jù)中臺(tái)主要核心將其定位為數(shù)據(jù)資產(chǎn)化和數(shù)據(jù)價(jià)值化显熏,那么阿里究竟是怎么做的呢雄嚣?
上圖是阿里數(shù)據(jù)中臺(tái)發(fā)展至今的一張全景圖,大家應(yīng)該在云棲大會(huì)等多個(gè)場(chǎng)合有看到過這張圖喘蟆。阿里數(shù)據(jù)中臺(tái)的整體核心其實(shí)是位于中間的三層數(shù)據(jù)中心:垂直數(shù)據(jù)中心、公共數(shù)據(jù)中心和萃取數(shù)據(jù)中心鼓鲁。
- 垂直數(shù)據(jù)中心:阿里通過將包括淘寶蕴轨、天貓、聚劃算骇吭、阿里媽媽廣告橙弱、優(yōu)酷土豆、高德等來自不同BU的數(shù)據(jù)進(jìn)行采集燥狰,在清洗和結(jié)構(gòu)化處理后形成垂直數(shù)據(jù)中心
- 公共數(shù)據(jù)中心:在垂直數(shù)據(jù)中心已采集數(shù)據(jù)作為原料的基礎(chǔ)之上棘脐,采用維度建模的方式,以業(yè)務(wù)過程作為粒度切分龙致,處理成不因業(yè)務(wù)特別是組織架構(gòu)變動(dòng)而輕易推翻的數(shù)據(jù)中間層蛀缝,由DWD明細(xì)層和DWS匯總層共同構(gòu)成
- 萃取數(shù)據(jù)中心:更進(jìn)一步以客觀業(yè)務(wù)實(shí)體(如人、貨目代、場(chǎng)屈梁、企業(yè)等)為對(duì)象,圍繞其建立起以統(tǒng)計(jì)指標(biāo)榛了、標(biāo)簽在讶、關(guān)系等數(shù)據(jù)為主的數(shù)據(jù)體系,作為直接面向業(yè)務(wù)的萃取數(shù)據(jù)中心
僅從這三層數(shù)據(jù)中心構(gòu)成的數(shù)據(jù)資產(chǎn)體系來看霜大,阿里的架構(gòu)似乎并無太多先進(jìn)之處构哺,除萃取數(shù)據(jù)中心外,垂直數(shù)據(jù)中心和公共數(shù)據(jù)中心都能在數(shù)倉建模中找到其對(duì)應(yīng)的架構(gòu)战坤,即便是萃取數(shù)據(jù)中心曙强,在一些企業(yè)的商業(yè)智能或者大數(shù)據(jù)平臺(tái)層面也能找到相應(yīng)的雛形。所以湖笨,阿里數(shù)據(jù)中臺(tái)的核心競(jìng)爭(zhēng)力究竟是什么呢旗扑?
答案就是——“方法論”
阿里在建設(shè)自身數(shù)據(jù)中臺(tái)的同時(shí),花大精力對(duì)其數(shù)據(jù)架構(gòu)慈省、技術(shù)臀防、流程眠菇、組織等實(shí)踐形成了一套完整的方法論,并作為其不斷迭代的指導(dǎo)性理論——OneData袱衷,其中包括OneModel(用于指導(dǎo)數(shù)據(jù)采集捎废、數(shù)據(jù)建模、數(shù)據(jù)開發(fā)的規(guī)范性方法論)致燥、OneID(用于指導(dǎo)打破部門墻的數(shù)據(jù)連通登疗,在業(yè)務(wù)對(duì)象層面形成直接面向業(yè)務(wù)的數(shù)據(jù)體系規(guī)范性方法論)和OneService(用于指導(dǎo)如何提供數(shù)據(jù)服務(wù),包括質(zhì)量安全嫌蚤、資產(chǎn)管理辐益、數(shù)據(jù)交換、組織協(xié)作等流程的規(guī)范性方法論)
有了這套方法論脱吱,對(duì)于阿里來講智政,無論對(duì)其自身數(shù)據(jù)中臺(tái)建設(shè),還是對(duì)外輸出解決方案箱蝠,都提供了非常大的助力续捂。
除了阿里,我們?cè)倏纯雌渌髽I(yè)是怎么做的宦搬。
無論是華為牙瓢、OPPO為代表的高科技制造行業(yè),還是網(wǎng)易间校、滴滴為代表的互聯(lián)網(wǎng)行業(yè)矾克,都紛紛在自建或者提出了數(shù)據(jù)中臺(tái)的解決方案,但是我們又發(fā)現(xiàn)撇簿,每一家企業(yè)似乎對(duì)數(shù)據(jù)中臺(tái)都有自己不同的理解聂渊,這點(diǎn)從四家企業(yè)的數(shù)據(jù)中臺(tái)架構(gòu)圖就可以看出。
看到這里四瘫,是不是大家對(duì)數(shù)據(jù)中臺(tái)的定義又更模糊了呢汉嗽。接下來,我們站在企業(yè)用戶的角度找蜜,從三個(gè)維度分析企業(yè)理解的或者說想要的數(shù)據(jù)中臺(tái)到底是什么樣子的饼暑。
- 從管理視角看——為什么是數(shù)據(jù)中臺(tái)而不是數(shù)據(jù)XX
- 從技術(shù)視角看——數(shù)據(jù)中臺(tái)與數(shù)倉、數(shù)據(jù)湖到底有沒有本質(zhì)區(qū)別
- 從業(yè)務(wù)視角看——企業(yè)需要什么樣子的數(shù)據(jù)中臺(tái)
從管理視角看——為什么是數(shù)據(jù)中臺(tái)而不是數(shù)據(jù)XX
站在企業(yè)用戶角度洗做,尤其是中小企業(yè)老板弓叛,有一個(gè)非常關(guān)鍵的問題:“我到底需不需要數(shù)據(jù)中臺(tái)?”
當(dāng)商務(wù)同學(xué)費(fèi)盡心思約到了客戶老板诚纸,售前架構(gòu)師熬了幾個(gè)通宵準(zhǔn)備了長篇大論的介紹材料撰筷,產(chǎn)品技術(shù)準(zhǔn)備數(shù)據(jù)和環(huán)境,搭建了完善的演示平臺(tái)畦徘,一切似乎都萬事俱備毕籽,但最后老板聽的昏昏欲睡抬闯,講完后拍拍手客套幾句,最后仍然不了了之关筒。
相信很多toB的同學(xué)都遇到過吧溶握,為什么會(huì)出現(xiàn)這種現(xiàn)象,因?yàn)榻^大多數(shù)的企業(yè)老板(尤其是傳統(tǒng)企業(yè))一般不會(huì)關(guān)心你講的是信息化還是云化蒸播,是大數(shù)據(jù)還是AI睡榆。但是正視威脅,業(yè)務(wù)競(jìng)爭(zhēng)力的提升袍榆,以及通過機(jī)器長期吸納業(yè)務(wù)專家的經(jīng)驗(yàn)來優(yōu)化人才結(jié)構(gòu)胀屿,最終形成一個(gè)有競(jìng)爭(zhēng)力的組織,這類戰(zhàn)略和組織的問題蜡塌,老板一定關(guān)心碉纳。
很多老板都在喊數(shù)字化轉(zhuǎn)型,那么怎么轉(zhuǎn)馏艾,轉(zhuǎn)成什么樣?恐怕大多數(shù)的老板都回答不上來奴愉。
數(shù)字化企業(yè)是以客戶中心為基礎(chǔ)琅摩,以科技為引領(lǐng),在統(tǒng)一愿景下建立了實(shí)時(shí)戰(zhàn)略機(jī)制和敏捷生態(tài)的生機(jī)型組織锭硼。
這段引用自ThoughtWorks對(duì)于數(shù)字化企業(yè)的定義房资,私以為非常準(zhǔn)確,在當(dāng)今互聯(lián)網(wǎng)時(shí)代檀头,客戶是商業(yè)戰(zhàn)場(chǎng)的中心轰异,而為了快速響應(yīng)客戶需求,必須依靠平臺(tái)化的力量才可以事半功倍暑始。尤其是隨著互聯(lián)網(wǎng)巨頭以平臺(tái)的方式對(duì)各行各業(yè)帶來的巨大影響搭独,越來越多的企業(yè)主有了這樣的危機(jī)意識(shí):“自家企業(yè)要么平臺(tái)化,要么成為平臺(tái)的一部分”廊镜。
那么如何使自己的企業(yè)能夠適應(yīng)平臺(tái)化牙肝,在企業(yè)的數(shù)字化轉(zhuǎn)型中,客戶正在變得越來越重要嗤朴,不斷快速響應(yīng)配椭、探索、挖掘客戶的需求雹姊,才是企業(yè)得以生存和持續(xù)發(fā)展的關(guān)鍵因素股缸。當(dāng)企業(yè)與客戶的觸點(diǎn)越來越多,可以利用的數(shù)據(jù)越來越豐富吱雏,傳統(tǒng)數(shù)倉或數(shù)據(jù)平臺(tái)無法整合和打通擁有如此復(fù)雜業(yè)務(wù)邏輯的數(shù)據(jù)敦姻;企業(yè)傳統(tǒng)的前臺(tái)+后臺(tái)的架構(gòu)也已經(jīng)無法做到對(duì)業(yè)務(wù)的快速響應(yīng)瘾境;原有信息化系統(tǒng)與業(yè)務(wù)KPI脫節(jié)的現(xiàn)象也早已不能滿足數(shù)字化企業(yè)的管理需要。
數(shù)據(jù)中臺(tái)替劈,在這個(gè)角度寄雀,正好與企業(yè)的需要不謀而合。
數(shù)據(jù)中臺(tái)是為前臺(tái)業(yè)務(wù)而生陨献,它提供了一種數(shù)據(jù)與業(yè)務(wù)之間協(xié)作發(fā)生化學(xué)反應(yīng)的最佳模式盒犹。數(shù)據(jù)中臺(tái)形成可共享復(fù)用的數(shù)據(jù)資產(chǎn),并且擁有與業(yè)務(wù)更近的關(guān)系(一般情況下的數(shù)據(jù)中臺(tái)是要扛業(yè)務(wù)KPI的)眨业,讓企業(yè)首次有了數(shù)據(jù)驅(qū)動(dòng)業(yè)務(wù)的能力急膀,以及隨之帶來的對(duì)組織和人才結(jié)構(gòu)的優(yōu)化,這些才是數(shù)據(jù)中臺(tái)真正的競(jìng)爭(zhēng)力龄捡。
數(shù)據(jù)中臺(tái)是買不來的卓嫂,雖然說離不開各種自研或采購的工具平臺(tái),但是聘殖,唯有管理者認(rèn)識(shí)到晨雳,只有建立一個(gè)數(shù)字化、敏捷化奸腺,擁有快速業(yè)務(wù)響應(yīng)能力的組織餐禁,才有資格進(jìn)入這場(chǎng)戰(zhàn)爭(zhēng);做到尊重客戶突照,不惜調(diào)整自己顛覆自己來響應(yīng)客戶的企業(yè)帮非,才能在這場(chǎng)以客戶為中心的商業(yè)戰(zhàn)爭(zhēng)中得以生存和發(fā)展;而擁有一個(gè)強(qiáng)大的讹蘑,足以隨時(shí)快速和精準(zhǔn)提供源源不斷彈藥的數(shù)據(jù)中臺(tái)末盔,才有可能贏得這場(chǎng)戰(zhàn)爭(zhēng)。
如果一個(gè)企業(yè)主沒有認(rèn)識(shí)到這一點(diǎn)座慰,無論各大云計(jì)算或大數(shù)據(jù)廠商提供的產(chǎn)品多么智能陨舱,解決方案多么強(qiáng)大,都無法打通老板的心角骤。
所以與其說是某某廠商提供了“數(shù)據(jù)中臺(tái)”隅忿,倒不如說是企業(yè)用戶自己命名了“數(shù)據(jù)中臺(tái)”。
從技術(shù)視角看——數(shù)據(jù)中臺(tái)與數(shù)倉邦尊、數(shù)據(jù)湖到底有沒有本質(zhì)區(qū)別
特性 | 傳統(tǒng)數(shù)倉 | 數(shù)據(jù)湖 | 數(shù)據(jù)中臺(tái) |
---|---|---|---|
數(shù)據(jù) | 結(jié)構(gòu)化數(shù)據(jù)為主 | 結(jié)構(gòu)化數(shù)據(jù)背桐、半結(jié)構(gòu)化數(shù)據(jù)、非結(jié)構(gòu)化數(shù)據(jù) | 結(jié)構(gòu)化數(shù)據(jù)蝉揍、半結(jié)構(gòu)化數(shù)據(jù) |
Schema | 設(shè)計(jì)在數(shù)據(jù)倉庫實(shí)施之前(Schema-on-write) | 寫入在分析時(shí)(Schema-on-read) | 設(shè)計(jì)以邏輯模型進(jìn)行链峭,在數(shù)據(jù)使用前寫入和處理數(shù)據(jù)(混合方式) |
性價(jià)比 | 較高存儲(chǔ)成本 | 較低存儲(chǔ)成本 | 較低存儲(chǔ)成本 |
數(shù)據(jù)質(zhì)量 | 可以作為重要事實(shí)依據(jù)的高度監(jiān)管數(shù)據(jù) | 任何可以或無法進(jìn)行監(jiān)管的數(shù)據(jù)(如原始數(shù)據(jù)) | 以業(yè)務(wù)為導(dǎo)向,任何可控制又沾、可計(jì)量弊仪、可變現(xiàn)的數(shù)據(jù)(數(shù)據(jù)資產(chǎn)) |
數(shù)據(jù)加工處理 | 以SQL熙卡、UDF為主,按需加工励饵,主要處理離線數(shù)據(jù) | 以SQL驳癌、UDF為主,按需加工役听,離線和實(shí)時(shí)數(shù)據(jù)均有 | 以數(shù)據(jù)模型為主颓鲜,通過產(chǎn)品工具自動(dòng)化處理 |
數(shù)據(jù)訪問方式 | 通過標(biāo)準(zhǔn)化SQL或BI工具 | 標(biāo)準(zhǔn)化SQL、BI工具或大數(shù)據(jù)分析工具 | 標(biāo)準(zhǔn)化SQL典予、BI工具甜滨、大數(shù)據(jù)分析工具或者任何支持API對(duì)接方式的程序或系統(tǒng) |
數(shù)據(jù)資產(chǎn)管理 | 無 | 無 | 有 |
數(shù)據(jù)產(chǎn)品開發(fā) | 無 | 無 | 有 |
使用者 | 數(shù)據(jù)分析師 | 數(shù)據(jù)分析師、數(shù)據(jù)開發(fā)人員和數(shù)據(jù)科學(xué)家等專業(yè)人員 | 業(yè)務(wù)人員(業(yè)務(wù)一線員工和業(yè)務(wù)leader)瘤袖、專業(yè)人員(數(shù)據(jù)分析師衣摩、數(shù)據(jù)開發(fā)人員和數(shù)據(jù)科學(xué)家) |
從技術(shù)視角看,數(shù)倉捂敌、數(shù)據(jù)湖和數(shù)據(jù)中臺(tái)的區(qū)別主要在于其數(shù)據(jù)加工處理艾扮、數(shù)據(jù)提供服務(wù)以及面向?qū)ο蠓矫娴母淖儭O旅嫖覀兎謩e來看一下其之間的一些差異和對(duì)比占婉。
先看數(shù)倉和數(shù)據(jù)中臺(tái)栏渺,20多年前,數(shù)據(jù)倉庫出現(xiàn)锐涯,當(dāng)時(shí)主要是應(yīng)用于大型商業(yè)企業(yè),幫助其高管做分析和決策填物,其展現(xiàn)形式更多是以報(bào)表方式實(shí)現(xiàn)纹腌。傳統(tǒng)的數(shù)倉還是以TD,Oracle滞磺,IBM/DB2等傳統(tǒng)數(shù)據(jù)庫為主, 由于受限于數(shù)據(jù)的處理能力升薯,很少有EDW的數(shù)據(jù)容量超過1TB。
傳統(tǒng)數(shù)倉的基本特性可以概括為是一個(gè)面向主題的击困、集成的涎劈、具有高度監(jiān)管性的一體化的用于支持管理人員決策的數(shù)據(jù)集合。
而數(shù)據(jù)中臺(tái)首先在體系架構(gòu)上與數(shù)倉就有很大的不同阅茶,數(shù)據(jù)中臺(tái)是由多系統(tǒng)組成的蛛枚,其計(jì)算和存儲(chǔ)平臺(tái)是建立在分布式系統(tǒng)之上,以滿足不同業(yè)務(wù)需求和高并發(fā)高擴(kuò)展性需求脸哀。除了計(jì)算和存儲(chǔ)平臺(tái)外蹦浦,一般數(shù)據(jù)中臺(tái)還應(yīng)包含數(shù)據(jù)集成、數(shù)據(jù)開發(fā)撞蜂、數(shù)據(jù)建模盲镶、數(shù)據(jù)資產(chǎn)管理侥袜、數(shù)據(jù)治理以及數(shù)據(jù)服務(wù)等多個(gè)組件,通過多個(gè)維度組件形成一整套方案溉贿。
再看數(shù)據(jù)湖和數(shù)據(jù)中臺(tái)枫吧,數(shù)據(jù)湖的概念興起也是近幾年才出現(xiàn),最早是在 2011 年由 Dan Woods 提出
數(shù)據(jù)湖是一個(gè)集中化存儲(chǔ)海量的宇色、多個(gè)來源九杂,多種類型數(shù)據(jù),并可以對(duì)數(shù)據(jù)進(jìn)行快速加工代兵,分析的平臺(tái)尼酿,本質(zhì)上是一套先進(jìn)的企業(yè)數(shù)據(jù)架構(gòu)。
數(shù)據(jù)湖的最初設(shè)計(jì)是為了作為數(shù)據(jù)倉庫的一個(gè)中轉(zhuǎn)區(qū)域植影,它的架構(gòu)和理念是把原先不存儲(chǔ)的基礎(chǔ)數(shù)據(jù)也存儲(chǔ)起來裳擎,匯總各個(gè)數(shù)據(jù)源的數(shù)據(jù)方便以后的數(shù)據(jù)分析和查詢,因此數(shù)據(jù)湖是以數(shù)據(jù)的聚集思币、加工為目的數(shù)據(jù)資源池鹿响。當(dāng)然后來的數(shù)據(jù)湖發(fā)展,也延伸出作為ETL和自助分析平臺(tái)為目的的數(shù)據(jù)湖谷饿,但是數(shù)據(jù)湖對(duì)比數(shù)據(jù)中臺(tái)仍有很多不足惶我,比如說缺乏數(shù)據(jù)治理和元數(shù)據(jù)管理等。
不過博投,兩者更大的區(qū)別绸贡,還是在于其傳導(dǎo)的建設(shè)理念上,數(shù)據(jù)中臺(tái)強(qiáng)調(diào)方法論毅哗、組織和工具的建設(shè)听怕,強(qiáng)調(diào)數(shù)據(jù)賦能業(yè)務(wù),通過中臺(tái)模式更快更好的支持百花齊放的數(shù)據(jù)應(yīng)用建設(shè)虑绵。
那么尿瞭,數(shù)據(jù)中臺(tái)、數(shù)倉和數(shù)據(jù)湖究竟有沒有本質(zhì)上的區(qū)別呢翅睛?
其實(shí)它們并不是一個(gè)類型和維度的概念声搁,沒有直接的可比性,對(duì)于現(xiàn)在數(shù)據(jù)中臺(tái)的一些批評(píng)和質(zhì)疑捕发,其實(shí)在數(shù)據(jù)湖概念出來之時(shí)疏旨,也一樣有很多的質(zhì)疑,感興趣的同學(xué)可以看一下這篇文章:"Are Data Lake Fake News?"爬骤。
說到底充石,三者都是為企業(yè)提供數(shù)據(jù)計(jì)算、存儲(chǔ)和應(yīng)用的平臺(tái),最終各種平臺(tái)的目的都是要更好地服務(wù)于業(yè)務(wù)骤铃。數(shù)據(jù)中臺(tái)概念的產(chǎn)生拉岁,正是源于企業(yè)用戶對(duì)于數(shù)據(jù)倉庫或數(shù)據(jù)湖更深層次的期望,企業(yè)用戶希望數(shù)據(jù)中臺(tái)距離業(yè)務(wù)更近惰爬,能更快速的響應(yīng)業(yè)務(wù)需求和滿足業(yè)務(wù)應(yīng)用喊暖。
從業(yè)務(wù)視角看——企業(yè)需要什么樣子的數(shù)據(jù)中臺(tái)
通過企業(yè)數(shù)據(jù)中臺(tái)項(xiàng)目招標(biāo)書,以及數(shù)據(jù)中臺(tái)研究報(bào)告撕瞧,我將其中涉及業(yè)務(wù)需求部分陵叽,通過詞云熱度分析,可以看到企業(yè)對(duì)數(shù)據(jù)中臺(tái)建設(shè)的需求丛版,主要是集中在以下幾個(gè)核心訴求上:
- 業(yè)務(wù)價(jià)值
- 數(shù)據(jù)服務(wù)
- 部門壁壘
- 生產(chǎn)力
- 統(tǒng)一數(shù)據(jù)資產(chǎn)
- 打通數(shù)據(jù)孤島
- 業(yè)務(wù)場(chǎng)景
- 賦能業(yè)務(wù)
- 數(shù)據(jù)管理
- 數(shù)據(jù)分析
- 精準(zhǔn)營銷
- 智能算法
其中最常被提的便是提升業(yè)務(wù)價(jià)值巩掺、提供數(shù)據(jù)服務(wù)和打破部門壁壘,這也正代表了多數(shù)企業(yè)對(duì)數(shù)據(jù)中臺(tái)的真正需求页畦。
- 提升業(yè)務(wù)價(jià)值胖替,一家企業(yè)往往在其領(lǐng)域耕耘了數(shù)年甚至數(shù)十年,這些有成有敗的業(yè)務(wù)經(jīng)驗(yàn)豫缨,如何通過數(shù)據(jù)的方式來指導(dǎo)企業(yè)在未來的業(yè)務(wù)中正確決策独令。數(shù)據(jù)中臺(tái)通過企業(yè)全域數(shù)據(jù)的整合和打通,沉淀企業(yè)數(shù)據(jù)形成數(shù)據(jù)業(yè)務(wù)模型好芭,展現(xiàn)形式也許并不是特別重要燃箭,無論單純的數(shù)據(jù)形式或者報(bào)表形式,業(yè)務(wù)的邏輯或者故事才是最重要的舍败,讓數(shù)據(jù)真正成為業(yè)務(wù)的驅(qū)動(dòng)力而不是冷冰冰的數(shù)字招狸。
- 提供數(shù)據(jù)服務(wù),企業(yè)希望通過數(shù)據(jù)中臺(tái)邻薯,來建立起統(tǒng)一的數(shù)據(jù)服務(wù)出口瓢颅,避免數(shù)據(jù)口徑不一致在業(yè)務(wù)上導(dǎo)致的決策失誤,這個(gè)數(shù)據(jù)服務(wù)應(yīng)該是多面手弛说,既能讓不懂技術(shù)的業(yè)務(wù)人員能夠方便的通過數(shù)據(jù)服務(wù)獲取信息,也需要考慮到專業(yè)技術(shù)人員翰意,滿足其在數(shù)據(jù)分析木人、挖掘、以及建設(shè)數(shù)據(jù)應(yīng)用的需要冀偶。
- 打破部門壁壘醒第,這個(gè)是每個(gè)企業(yè)都最為頭疼的難題了,大多數(shù)企業(yè)中进鸠,數(shù)據(jù)的產(chǎn)權(quán)是分布在不同的部門手里稠曼,擁有優(yōu)質(zhì)數(shù)據(jù)的部門不愿意分享,因?yàn)槠湔J(rèn)為別的部門數(shù)據(jù)對(duì)自己無甚助力客年,沒有優(yōu)質(zhì)數(shù)據(jù)的部門苦于無數(shù)據(jù)分享霞幅,但是卻是組織里最需數(shù)據(jù)共享的一方(先富帶動(dòng)后富漠吻,看來不僅在社會(huì)制度層面,在企業(yè)層面也是一個(gè)大難題)司恳。數(shù)據(jù)中臺(tái)在技術(shù)層面途乃,通過數(shù)據(jù)資產(chǎn)中心的建立,首先對(duì)于各部門持有數(shù)據(jù)進(jìn)行規(guī)范和治理扔傅,然后通過打通并對(duì)數(shù)據(jù)資產(chǎn)進(jìn)行清晰的界定和量化耍共,為管理提供了有效基礎(chǔ)去促進(jìn)各部門數(shù)據(jù)之間的共享,然后猎塞,就要祭出數(shù)據(jù)中臺(tái)的核心——方法論试读,或者說是管理規(guī)范也好,通過協(xié)作荠耽、激勵(lì)钩骇、懲罰等多手段并用,來實(shí)現(xiàn)數(shù)據(jù)的共享共榮骇塘。
小結(jié)
可以解答最初的問題了伊履,數(shù)據(jù)中臺(tái)究竟是什么,或者說企業(yè)想要的數(shù)據(jù)中臺(tái)究竟是什么樣子的款违。數(shù)據(jù)中臺(tái)不是技術(shù)體系唐瀑,也不是一個(gè)具象的產(chǎn)品工具,它沒有標(biāo)準(zhǔn)化的架構(gòu)插爹,但是一個(gè)成功的數(shù)據(jù)中臺(tái)必然有其核心要素:
- 數(shù)據(jù)中臺(tái)不是純粹的技術(shù)定義哄辣,應(yīng)是管理+技術(shù)+業(yè)務(wù)的混合輸出
- 數(shù)據(jù)中臺(tái)應(yīng)該是數(shù)據(jù)資產(chǎn)的載體,提供基礎(chǔ)的計(jì)算和存儲(chǔ)平臺(tái)赠尾,使數(shù)據(jù)可存可查可復(fù)用可共享可變現(xiàn)
- 數(shù)據(jù)中臺(tái)存儲(chǔ)的每一筆數(shù)據(jù)都理應(yīng)有業(yè)務(wù)的價(jià)值力穗,所以需要完善的數(shù)據(jù)治理體系對(duì)其進(jìn)行規(guī)范和管理
- 數(shù)據(jù)中臺(tái)應(yīng)提供友好、自動(dòng)化的工具來降低數(shù)據(jù)開發(fā)處理的門檻气嫁,讓業(yè)務(wù)專注于業(yè)務(wù)
- 數(shù)據(jù)中臺(tái)的持續(xù)演進(jìn)離不開數(shù)據(jù)運(yùn)營当窗,在數(shù)據(jù)資產(chǎn)管理層面需要為管理思路提供必要的基礎(chǔ),如滿足ROI的衡量
- 數(shù)據(jù)中臺(tái)作為統(tǒng)一的數(shù)據(jù)出口寸宵,應(yīng)在數(shù)據(jù)服務(wù)及消費(fèi)的方式上滿足多種需要崖面,并有盡量優(yōu)秀的查詢性能
- 數(shù)據(jù)中臺(tái)對(duì)比平臺(tái)級(jí)系統(tǒng)建設(shè)更強(qiáng)調(diào)能力的輸出,應(yīng)有支撐數(shù)據(jù)探索梯影、數(shù)據(jù)應(yīng)用開發(fā)巫员、智能化算法的能力或服務(wù)
- 數(shù)據(jù)中臺(tái)需要與之配套的跨業(yè)務(wù)和技術(shù)的組織以及人才結(jié)構(gòu),需要為業(yè)務(wù)主動(dòng)提供數(shù)據(jù)服務(wù)而非被動(dòng)的需求響應(yīng)
- 數(shù)據(jù)中臺(tái)需要指導(dǎo)方向的方法論甲棍,其建設(shè)和實(shí)施上不能再只是滿足建設(shè)起一套IT系統(tǒng)简识,搭建起指導(dǎo)方向和持續(xù)演進(jìn)的方法論才能事半功倍
最后,別再糾結(jié)我需要不需要數(shù)據(jù)中臺(tái),我建設(shè)的是不是數(shù)據(jù)中臺(tái)七扰,或者數(shù)據(jù)中臺(tái)這個(gè)概念和名字了奢赂,你建,或者不建戳寸,它都在那里呈驶,不來不去。