▌數(shù)據(jù)中臺和數(shù)據(jù)倉庫、數(shù)據(jù)平臺的關(guān)鍵區(qū)別
這是現(xiàn)在數(shù)據(jù)行業(yè)大家經(jīng)常討論的問題呻畸,到底數(shù)據(jù)倉庫移盆、數(shù)據(jù)平臺和數(shù)據(jù)中臺的區(qū)別是什么。
概括地說伤为,三者的關(guān)鍵區(qū)別有以下幾方面:
1咒循、數(shù)據(jù)中臺是企業(yè)級的邏輯概念,體現(xiàn)企業(yè) D2V(Data to Value)的能力绞愚,為業(yè)務(wù)提供服務(wù)的主要方式是數(shù)據(jù) API叙甸;
2、數(shù)據(jù)倉庫是一個(gè)相對具體的功能概念位衩,是存儲和管理一個(gè)或多個(gè)主題數(shù)據(jù)的集合蚁署,為業(yè)務(wù)提供服務(wù)的方式主要是分析報(bào)表;
3蚂四、數(shù)據(jù)平臺是在大數(shù)據(jù)基礎(chǔ)上出現(xiàn)的融合了結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)的數(shù)據(jù)基礎(chǔ)平臺,為業(yè)務(wù)提供服務(wù)的方式主要是直接提供數(shù)據(jù)集
4哪痰、數(shù)據(jù)中臺距離業(yè)務(wù)更近遂赠,為業(yè)務(wù)提供速度更快的服務(wù);
5晌杰、數(shù)據(jù)倉庫是為了支持管理決策分析跷睦,而數(shù)據(jù)中臺則是將數(shù)據(jù)服務(wù)化之后提供給業(yè)務(wù)系統(tǒng),不僅限于分析型場景肋演,也適用于交易型場景抑诸;
6、數(shù)據(jù)中臺可以建立在數(shù)據(jù)倉庫和數(shù)據(jù)平臺之上爹殊,是加速企業(yè)從數(shù)據(jù)到業(yè)務(wù)價(jià)值的過程的中間層蜕乡。
數(shù)據(jù)倉庫具有歷史性,其中存儲的數(shù)據(jù)大多是結(jié)構(gòu)化數(shù)據(jù)梗夸,這些數(shù)據(jù)并非企業(yè)全量數(shù)據(jù)层玲,而是根據(jù)需求針對性抽取的,因此數(shù)據(jù)倉庫對于業(yè)務(wù)的價(jià)值是各種各樣的報(bào)表,但這些報(bào)表又無法實(shí)時(shí)產(chǎn)生辛块。數(shù)據(jù)倉庫報(bào)表雖然能夠提供部分業(yè)務(wù)價(jià)值畔派,但不能直接影響業(yè)務(wù)。
數(shù)據(jù)平臺的出現(xiàn)是為了解決數(shù)據(jù)倉庫不能處理非結(jié)構(gòu)化數(shù)據(jù)和報(bào)表開發(fā)周期長的問題润绵,所以先撇開業(yè)務(wù)需求线椰、把企業(yè)所有的數(shù)據(jù)都抽取出來放到一起,成為一個(gè)大的數(shù)據(jù)集尘盼,其中有結(jié)構(gòu)化數(shù)據(jù)憨愉、非結(jié)構(gòu)化數(shù)據(jù)等。當(dāng)業(yè)務(wù)方有需求的時(shí)候悔叽,再把他們需要的若干個(gè)小數(shù)據(jù)集單獨(dú)提取出來莱衩,以數(shù)據(jù)集的形式提供給數(shù)據(jù)應(yīng)用。
而數(shù)據(jù)中臺是在數(shù)據(jù)倉庫和數(shù)據(jù)平臺的基礎(chǔ)上娇澎,將數(shù)據(jù)生產(chǎn)為為一個(gè)個(gè)數(shù)據(jù) API 服務(wù)笨蚁,以更高效的方式提供給業(yè)務(wù)。
數(shù)據(jù)中臺解決的問題可以總結(jié)為如下三點(diǎn):
效率問題:為什么應(yīng)用開發(fā)增加一個(gè)報(bào)表趟庄,就要十幾天時(shí)間括细?為什么不能實(shí)時(shí)獲得用戶推薦清單?當(dāng)業(yè)務(wù)人員對數(shù)據(jù)產(chǎn)生一點(diǎn)疑問的時(shí)候戚啥,需要花費(fèi)很長的時(shí)間奋单,結(jié)果發(fā)現(xiàn)是數(shù)據(jù)源的數(shù)據(jù)變了,最終影響上線時(shí)間猫十。
協(xié)作問題:當(dāng)業(yè)務(wù)應(yīng)用開發(fā)的時(shí)候览濒,雖然和別的項(xiàng)目需求大致差不多,但因?yàn)槭莿e的項(xiàng)目組維護(hù)的拖云,所以數(shù)據(jù)還是要自己再開發(fā)一遍贷笛。
能力問題:數(shù)據(jù)的處理和維護(hù)是一個(gè)相對獨(dú)立的技術(shù),需要相當(dāng)專業(yè)的人來完成宙项,但是很多時(shí)候乏苦,我們有一大把的應(yīng)用開發(fā)人員,而數(shù)據(jù)開發(fā)人員很少尤筐。
這三類問題都會導(dǎo)致應(yīng)用開發(fā)團(tuán)隊(duì)變慢汇荐。這就是中臺的關(guān)鍵——讓前臺開發(fā)團(tuán)隊(duì)的開發(fā)速度不受后臺數(shù)據(jù)開發(fā)的影響。
數(shù)據(jù)中臺設(shè)計(jì)的初衷是將計(jì)算與存儲分離盆繁,從狹義上來說掀淘,真正最核心的數(shù)據(jù)中臺可以是沒有存儲的。但就當(dāng)前的情況來看油昂,廣義的數(shù)據(jù)中臺在未來一段時(shí)間內(nèi)仍會涵蓋數(shù)據(jù)倉庫繁疤、數(shù)據(jù)湖等存儲組件咖为,“數(shù)據(jù)工廠”這個(gè)概念可能更適用于現(xiàn)在的階段。但隨著數(shù)據(jù)中臺的發(fā)展稠腊,未來很有可能不再需要數(shù)據(jù)湖了躁染。