導(dǎo)讀:在數(shù)字化轉(zhuǎn)型的浪潮下吁脱,數(shù)據(jù)架構(gòu)獲得了越來(lái)越多的關(guān)注。作為企業(yè)架構(gòu)中的關(guān)鍵紐帶彬向,數(shù)據(jù)架構(gòu)解決了業(yè)務(wù)與數(shù)據(jù)間的映射兼贡,規(guī)范了應(yīng)用架構(gòu)中的數(shù)據(jù)集成關(guān)系,指導(dǎo)了技術(shù)架構(gòu)的技術(shù)選型娃胆,在企業(yè)中發(fā)揮著不可或缺的作用遍希。伴隨DataOps等場(chǎng)景的出現(xiàn),數(shù)據(jù)架構(gòu)會(huì)越來(lái)越走向數(shù)據(jù)消費(fèi)端缕棵,為我們帶來(lái)更多的變化和新發(fā)現(xiàn)孵班。
一涉兽、????什么是數(shù)據(jù)架構(gòu)?
自數(shù)據(jù)庫(kù)技術(shù)興起以來(lái)篙程,人們慢慢發(fā)現(xiàn)需要一種東西去描述數(shù)據(jù)的狀態(tài)枷畏、定義數(shù)據(jù)需求、指導(dǎo)數(shù)據(jù)集成虱饿、管理數(shù)據(jù)資產(chǎn)拥诡,以更好地實(shí)現(xiàn)數(shù)據(jù)策略——數(shù)據(jù)架構(gòu)應(yīng)運(yùn)而生。
數(shù)據(jù)架構(gòu)是識(shí)別企業(yè)數(shù)據(jù)需求氮发,并以這些數(shù)據(jù)需求為出發(fā)點(diǎn)渴肉,設(shè)計(jì)和維護(hù)的主藍(lán)圖,以使用這些主藍(lán)圖來(lái)指導(dǎo)數(shù)據(jù)集成爽冕、控制數(shù)據(jù)資產(chǎn)仇祭,并使數(shù)據(jù)投資與業(yè)務(wù)戰(zhàn)略保持一致(DAMA-DMBOK2,DAMA International)颈畸。
越是專(zhuān)業(yè)的定義越讓人難以理解乌奇,舉個(gè)例子:
小明打算在有生之年買(mǎi)一套北京二環(huán)內(nèi)的房子,相關(guān)機(jī)構(gòu)需要分析小明是否有買(mǎi)房資格眯娱,這是業(yè)務(wù)需求礁苗;那么為了分析小明的買(mǎi)房資格,最起碼需要小明的身份數(shù)據(jù)徙缴、婚姻數(shù)據(jù)试伙、在京納稅數(shù)據(jù)、在京繳納社保數(shù)據(jù)于样、在京房產(chǎn)數(shù)據(jù)疏叨,這些是數(shù)據(jù)需求;為了有效獲取并集成這些數(shù)據(jù)穿剖,以實(shí)現(xiàn)相關(guān)機(jī)構(gòu)分析小明買(mǎi)房資格的業(yè)務(wù)需求考廉,我們需要下圖所示的數(shù)據(jù)架構(gòu)(注:此處只是簡(jiǎn)單例子,企業(yè)真實(shí)數(shù)據(jù)架構(gòu)含有很多組件携御,會(huì)復(fù)雜很多)。
二既绕、??數(shù)據(jù)架構(gòu)解決什么問(wèn)題啄刹?
作為連接企業(yè)架構(gòu)中其他三個(gè)架構(gòu)(業(yè)務(wù)架構(gòu)、應(yīng)用架構(gòu)凄贩、技術(shù)架構(gòu))的關(guān)鍵紐帶誓军,數(shù)據(jù)架構(gòu)解決了業(yè)務(wù)與數(shù)據(jù)間的映射,規(guī)范了應(yīng)用架構(gòu)中的數(shù)據(jù)集成關(guān)系疲扎,指導(dǎo)了技術(shù)架構(gòu)的技術(shù)選型昵时。
具體來(lái)說(shuō)捷雕,數(shù)據(jù)架構(gòu)在企業(yè)中的作用,可總結(jié)為以下五點(diǎn):
1壹甥、從不同層次描述數(shù)據(jù)救巷,為數(shù)據(jù)管理奠定基礎(chǔ)
作為企業(yè)數(shù)據(jù)層面的主藍(lán)圖,數(shù)據(jù)架構(gòu)管理了整個(gè)企業(yè)的復(fù)雜數(shù)據(jù)和信息交付句柠,數(shù)字化時(shí)代浦译,企業(yè)擁有的數(shù)據(jù)量遠(yuǎn)超出員工的理解范圍,數(shù)據(jù)架構(gòu)使企業(yè)能在不同的抽象層次上表達(dá)數(shù)據(jù)溯职,為數(shù)據(jù)管理奠定了堅(jiān)實(shí)的基礎(chǔ)精盅。
2、定義企業(yè)數(shù)據(jù)狀態(tài)谜酒,表達(dá)戰(zhàn)略數(shù)據(jù)需求
數(shù)據(jù)架構(gòu)是對(duì)企業(yè)當(dāng)前數(shù)據(jù)狀態(tài)的整體性描述叹俏,通過(guò)數(shù)據(jù)架構(gòu),企業(yè)數(shù)據(jù)狀態(tài)一目了然僻族,通過(guò)分析數(shù)據(jù)架構(gòu)中的不足與業(yè)界的差距粘驰,可以幫助企業(yè)定義未來(lái)的狀態(tài)目標(biāo),幫助企業(yè)快速制定戰(zhàn)略數(shù)據(jù)需求鹰贵。
3晴氨、促進(jìn)企業(yè)數(shù)據(jù)標(biāo)準(zhǔn)化,指導(dǎo)企業(yè)數(shù)據(jù)集成
數(shù)據(jù)架構(gòu)為整個(gè)企業(yè)提供了一致的數(shù)據(jù)語(yǔ)言(包括標(biāo)準(zhǔn)業(yè)務(wù)詞匯表碉输、標(biāo)準(zhǔn)技術(shù)元數(shù)據(jù)等)籽前,將業(yè)務(wù)架構(gòu)中的業(yè)務(wù)需求轉(zhuǎn)化成為了數(shù)據(jù)、系統(tǒng)敷钾、技術(shù)需求枝哄,使不同部門(mén)和不同身份的技術(shù)和業(yè)務(wù)人員在數(shù)據(jù)層面達(dá)成一致,為數(shù)據(jù)標(biāo)準(zhǔn)化和數(shù)據(jù)集成提供了良好的支撐阻荒。
4挠锥、規(guī)范企業(yè)數(shù)據(jù)流轉(zhuǎn),拉通數(shù)據(jù)生命周期
數(shù)據(jù)生命周期中包括了數(shù)據(jù)的創(chuàng)建侨赡、獲取蓖租、移動(dòng)、轉(zhuǎn)換羊壹、存儲(chǔ)蓖宦、維護(hù)、共享油猫、使用稠茂、處理等諸多流程,在整個(gè)生命周期中數(shù)據(jù)可以被清理情妖、轉(zhuǎn)換睬关、合并诱担、更新和匯總,涉及到太多的數(shù)據(jù)流轉(zhuǎn)過(guò)程电爹,規(guī)范數(shù)據(jù)在諸多生命周期階段的流轉(zhuǎn)細(xì)節(jié)可能會(huì)非常復(fù)雜蔫仙,要求不同階段之間相互理解并隨時(shí)達(dá)成一致,此時(shí)數(shù)據(jù)架構(gòu)必不可少藐不。
三匀哄、????數(shù)據(jù)架構(gòu)包含哪些內(nèi)容?
作為企業(yè)層面的“主藍(lán)圖”雏蛮,數(shù)據(jù)架構(gòu)中包含諸多組件涎嚼,企業(yè)需求的不同可能導(dǎo)致其數(shù)據(jù)架構(gòu)包含的組件也不相同,以下是數(shù)據(jù)架構(gòu)中的一些常見(jiàn)組件:
1挑秉、???數(shù)據(jù)模型——數(shù)據(jù)架構(gòu)的核心
n?概念數(shù)據(jù)模型:概念數(shù)據(jù)模型是能表示現(xiàn)實(shí)世界的概念化結(jié)構(gòu)法梯,通過(guò)概念實(shí)體及關(guān)系,從業(yè)務(wù)的角度對(duì)信息進(jìn)行的高層級(jí)描述犀概。如在文章最開(kāi)始的例子中立哑,小明買(mǎi)房的整體建模就可以理解為是一種簡(jiǎn)單的概念模型,概念模型是為了讓業(yè)務(wù)能明白數(shù)據(jù)有什么姻灶,幫助數(shù)據(jù)與業(yè)務(wù)溝通铛绰。
n?邏輯數(shù)據(jù)模型:邏輯數(shù)據(jù)模型在概念數(shù)據(jù)模型的基礎(chǔ)上定義了各個(gè)實(shí)體的屬性,是對(duì)概念模型的進(jìn)一步細(xì)化产喉,包括所有的實(shí)體捂掰、實(shí)體的屬性、實(shí)體之間的關(guān)系以及每個(gè)實(shí)體的主鍵曾沈、實(shí)體的外鍵等这嚣。邏輯模型幫助數(shù)據(jù)與應(yīng)用溝通,比如應(yīng)用需要小明的身份信息塞俱,邏輯模型里就需要有個(gè)身份信息的數(shù)據(jù)實(shí)體姐帚,并且需要明確身份信息中的各個(gè)屬性(如身份證號(hào)、姓名障涯、年齡等)罐旗。
n?物理數(shù)據(jù)模型:物理數(shù)據(jù)模型是在邏輯數(shù)據(jù)模型的基礎(chǔ)上,綜合考慮各種存儲(chǔ)條件的限制唯蝶,將邏輯數(shù)據(jù)模型中的實(shí)體尤莺、屬性以及關(guān)系轉(zhuǎn)換成的物理元素(表、字段生棍、索引等)。物理數(shù)據(jù)模型是幫助數(shù)據(jù)與技術(shù)溝通媳谁,明確了數(shù)據(jù)到底怎么建涂滴,存儲(chǔ)的位置等友酱。比如小明的身份信息具體存在那個(gè)物理表中就是在物理模型中明確的。(注:物理模型雖然屬于數(shù)據(jù)架構(gòu)的組件柔纵,但不是數(shù)據(jù)架構(gòu)的產(chǎn)物)
2缔杉、???數(shù)據(jù)流——數(shù)據(jù)與數(shù)據(jù)間的關(guān)系
數(shù)據(jù)流中主要需要設(shè)計(jì)數(shù)據(jù)如何流動(dòng),如小明需要買(mǎi)房搁料,小明的社保信息需要從社保中心獲取或详,小明的納稅信息需要從稅務(wù)局獲取,這些數(shù)據(jù)需要從社保中心郭计、稅務(wù)局流動(dòng)到買(mǎi)房資格那里供分析使用霸琴,這就是數(shù)據(jù)流。數(shù)據(jù)流是數(shù)據(jù)架構(gòu)很關(guān)鍵的部分昭伸,表示了數(shù)據(jù)從哪個(gè)源頭來(lái)梧乘,到哪里去使用的過(guò)程。如身份信息就需要從公安獲取庐杨,而不能從社保中心獲取选调。數(shù)據(jù)流的設(shè)計(jì)也是數(shù)據(jù)架構(gòu)設(shè)計(jì)的必備設(shè)計(jì)。
3灵份、???價(jià)值流——數(shù)據(jù)與業(yè)務(wù)間的關(guān)系
價(jià)值流更容易理解仁堪,所有的業(yè)務(wù)都有業(yè)務(wù)流程,而業(yè)務(wù)流程中會(huì)產(chǎn)生/使用/銷(xiāo)毀數(shù)據(jù)填渠,這里需要設(shè)計(jì)弦聂,哪些數(shù)據(jù)會(huì)在關(guān)鍵價(jià)值流中使用,對(duì)業(yè)務(wù)流程有關(guān)鍵作用揭蜒,比如小明買(mǎi)房資格中的所需關(guān)鍵信息就是價(jià)值流需要設(shè)計(jì)的部分横浑。
4、???數(shù)據(jù)定義和數(shù)據(jù)標(biāo)準(zhǔn)——數(shù)據(jù)架構(gòu)建設(shè)的準(zhǔn)則和規(guī)范
在數(shù)據(jù)架構(gòu)中需要規(guī)定數(shù)據(jù)模型的標(biāo)準(zhǔn)規(guī)范屉更,包括標(biāo)準(zhǔn)的數(shù)據(jù)模型定義方式徙融、模型屬性的標(biāo)準(zhǔn)規(guī)范等,我們通常這個(gè)標(biāo)準(zhǔn)規(guī)范為數(shù)據(jù)標(biāo)準(zhǔn)瑰谜。從理論上講欺冀,所有的數(shù)據(jù)模型、數(shù)據(jù)流萨脑、數(shù)據(jù)映射關(guān)系的建設(shè)都需要參考數(shù)據(jù)定義和數(shù)據(jù)標(biāo)準(zhǔn)隐轩,從而保證數(shù)據(jù)在各個(gè)環(huán)節(jié)的拉通。
四渤早、??數(shù)據(jù)架構(gòu)的發(fā)展趨勢(shì)职车?
現(xiàn)在數(shù)據(jù)中臺(tái)建設(shè)已經(jīng)成為企業(yè)數(shù)字化轉(zhuǎn)型的必選件,數(shù)據(jù)架構(gòu)需要從模型為導(dǎo)向,走向以服務(wù)為導(dǎo)向悴灵。傳統(tǒng)數(shù)據(jù)架構(gòu)更重視內(nèi)部信息的建模和梳理扛芽,為信息化打下了很好的基礎(chǔ)。未來(lái)數(shù)據(jù)建模依然是企業(yè)數(shù)據(jù)架構(gòu)的基礎(chǔ)积瞒,這點(diǎn)毋庸置疑川尖,但是為了使數(shù)據(jù)架構(gòu)真正落地,為數(shù)據(jù)消費(fèi)端服務(wù)茫孔,未來(lái)在數(shù)據(jù)建模的同時(shí)需要考慮數(shù)據(jù)服務(wù)需求叮喳,提前確定服務(wù)水平協(xié)議(SLA,Service Level Agreement)缰贝,這將會(huì)成為未來(lái)企業(yè)數(shù)據(jù)架構(gòu)規(guī)劃的重點(diǎn)馍悟。
1、???從關(guān)注底層模型揩瞪,向關(guān)注數(shù)據(jù)服務(wù)轉(zhuǎn)變
數(shù)據(jù)建模與數(shù)據(jù)集成依然是數(shù)據(jù)架構(gòu)的重要任務(wù)赋朦,但數(shù)據(jù)集成方式應(yīng)該參考服務(wù)化架構(gòu),不應(yīng)該再單純關(guān)注底層模型李破,以梳理現(xiàn)狀為主宠哄,而應(yīng)該從數(shù)據(jù)與業(yè)務(wù)的關(guān)聯(lián)入手,在模型層之上規(guī)劃需要提供給業(yè)務(wù)的數(shù)據(jù)服務(wù)嗤攻,在數(shù)據(jù)模型設(shè)計(jì)時(shí)就要讓業(yè)務(wù)明白數(shù)據(jù)服務(wù)與底層數(shù)據(jù)的關(guān)系毛嫉。
2、???從單純規(guī)劃內(nèi)部數(shù)據(jù)妇菱,向規(guī)劃內(nèi)外部數(shù)據(jù)集成與交互轉(zhuǎn)變
客戶數(shù)據(jù)承粤、采購(gòu)數(shù)據(jù)、互聯(lián)網(wǎng)數(shù)據(jù)闯团、IOT數(shù)據(jù)等對(duì)數(shù)字化企業(yè)越來(lái)越重要辛臊,數(shù)據(jù)架構(gòu)需要重點(diǎn)規(guī)劃外部的數(shù)據(jù)模型,以實(shí)現(xiàn)企業(yè)內(nèi)部數(shù)據(jù)與外部數(shù)據(jù)在模型層面的連接房交。自GDPR(通用數(shù)據(jù)保護(hù)條例)發(fā)布以來(lái)彻舰,由于數(shù)據(jù)安全的收緊,外部數(shù)據(jù)的整體數(shù)據(jù)流也需要詳細(xì)規(guī)劃候味。
五刃唤、總結(jié)
?數(shù)據(jù)架構(gòu)的演進(jìn)遠(yuǎn)遠(yuǎn)沒(méi)有結(jié)束,伴隨未來(lái)DataOps等場(chǎng)景的出現(xiàn)白群,數(shù)據(jù)架構(gòu)這部分內(nèi)容會(huì)有更多的變化和新發(fā)現(xiàn)尚胞,數(shù)據(jù)架構(gòu)也會(huì)越來(lái)越走向最終的數(shù)據(jù)消費(fèi)端。
六帜慢、??參考
[1]DAMA International.DAMA-DMBOK: Data Management Body of Knowledge (2nd Edition)[M].Technics Publications:BASKING RIDGE, NEW JERSEY,2017:97.
[2]Steve Hoberman.Data Modeling Made Simple: A Practical Guide for Business and IT Professionals[M].Technics Publications:BASKING RIDGE, NEW JERSEY,2009
[3]天行健-任我行.企業(yè)架構(gòu)---幾種架構(gòu)的集成[EB/OL].http://www.360doc.com/content/11/0428/03/170126_112833730.shtml,2011-04-28.
[4]人月神話.應(yīng)用架構(gòu)和技術(shù)架構(gòu)[EB/OL].http://blog.sina.com.cn/s/blog_493a84550101cfen.html,2013-01-26.
[5]孤獨(dú)劍0001.概念數(shù)據(jù)模型肆资、邏輯數(shù)據(jù)模型、物理數(shù)據(jù)模型[EB/OL].https://blog.csdn.net/gdj0001/article/details/80137496,2018-04-30.