在我從事數(shù)據(jù)這個專業(yè)多年以后锦爵,發(fā)現(xiàn)一個奇怪的現(xiàn)象,就是大多數(shù)搞數(shù)據(jù)管理的人奥裸,都在OLAP領域险掀,而在浩瀚的OLTP領域,少有專業(yè)的搞數(shù)據(jù)管理的人湾宙,為什么樟氢?
也許跟OLTP和OLAP的使命相關(guān)。
企業(yè)為實現(xiàn)價值創(chuàng)造侠鳄,從輸入客戶要求開始到交付產(chǎn)品及服務給客戶獲得客戶滿意并實現(xiàn)企業(yè)自身價值的E2E(端對端)業(yè)務過程是業(yè)務流埠啃。業(yè)務流是客觀存在的,每家公司在設計自身業(yè)務流程時都是想辦法要找到真實合理的業(yè)務流伟恶,去適配這個業(yè)務流碴开。
IT承載和使能的就是業(yè)務流,這里的IT就是OLTP知押,OLTP得讓流程順利run起來叹螟,而數(shù)據(jù)只是銜接流程各個環(huán)節(jié)的媒介,對于OLTP來說台盯,業(yè)務流的治理是第一位的罢绽,至少開始的時候是這樣。
OLTP說得最多的就是業(yè)務管理静盅,本質(zhì)就是確保業(yè)務流run起來的業(yè)務規(guī)則的管理良价,而數(shù)據(jù)的治理則無足輕重。
OLAP即聯(lián)機分析處理蒿叠,其要run起來跟業(yè)務流無關(guān)明垢,只跟業(yè)務流記錄的數(shù)據(jù)有關(guān),數(shù)據(jù)就是OLAP的生命線市咽,為了讓數(shù)據(jù)分析的準確高效痊银,OLTP需要高質(zhì)量的數(shù)據(jù),因此施绎,OLAP說得最多的是數(shù)據(jù)管理溯革,DAMA通過對數(shù)據(jù)管理活動的總結(jié)贞绳,形成了數(shù)據(jù)管理的方法論。
自然而然的致稀,數(shù)據(jù)倉庫成了數(shù)據(jù)管理方法實踐的最佳場所冈闭,你會發(fā)現(xiàn),當前國內(nèi)大多數(shù)企業(yè)的數(shù)據(jù)管理實踐抖单,都發(fā)生在數(shù)據(jù)倉庫領域萎攒,從元數(shù)據(jù)、數(shù)據(jù)質(zhì)量管理矛绘、參考數(shù)據(jù)耍休、數(shù)據(jù)標準、數(shù)據(jù)開發(fā)蔑歌、數(shù)據(jù)應用羹应、數(shù)據(jù)安全再到數(shù)據(jù)架構(gòu),不一而足次屠,甚至連主數(shù)據(jù)管理园匹,大家都想的是在數(shù)據(jù)倉庫里搞一個,然后對外去提供服務劫灶。
數(shù)據(jù)管理也好裸违,數(shù)據(jù)治理也好,成了OLAP的專屬品本昏。
可惜的是供汛,數(shù)據(jù)管理光有OLAP的參與,不僅是缺了一半的涌穆,而且先天不足怔昨,為什么?
數(shù)據(jù)創(chuàng)造價值分為三個階段:數(shù)據(jù)產(chǎn)生宿稀,數(shù)據(jù)處理及數(shù)據(jù)消費趁舀,后面兩個跟OLAP相關(guān),而第一個祝沸,只跟OLTP相關(guān)矮烹。
很多公司數(shù)據(jù)價值創(chuàng)造過程受阻,不是OLAP不行罩锐,而是OLTP不行奉狈,因此涩惑,無論后端怎么努力,都是事倍功半,因為是根子出了問題碰纬。
以數(shù)據(jù)架構(gòu)為例:
無論是數(shù)據(jù)模型、數(shù)據(jù)分布或是數(shù)據(jù)標準问芬,OLTP當前都缺乏有效的管理,OLAP系統(tǒng)為了匯聚數(shù)據(jù)寿桨,只能一次又一次的采取項目化的方式對OLTP的系統(tǒng)進行梳理,并通過主題域亭螟、概念模型、邏輯模型预烙、物理模型等模型來實現(xiàn)OLTP業(yè)務的重新抽象墨微,美其名曰,OLAP是從分析角度看問題扁掸,需要不同的建模方式翘县。
但這些工作按道理是OLTP本身就該干的事情啊谴分,業(yè)務理解永遠是老大,你離業(yè)務越遠忘伞,做事就越事倍功半沙兰。
數(shù)據(jù)倉庫以前經(jīng)常幾年要推倒重來一次,為啥呀鼎天,因為OLTP變了啊,OLAP以前的抽象不行了啊训措。
現(xiàn)在OLTP領域DDD設計的興起,無論是領域怀大,子域呀闻、限界上下文,實體捡多、值對象等等铐炫,其實都是為了解決OLTP領域抽象太差的問題蒜焊。
差到什么程度?
阻礙OLTP架構(gòu)演進鳖悠,影響了碼農(nóng)的開發(fā)效率优妙,但這種抽象乘综,數(shù)據(jù)倉庫可一直都在做套硼。
又比如以數(shù)據(jù)質(zhì)量為例:
OLTP以業(yè)務流為核心的管理原則導致其幾乎不用關(guān)注自己留存的數(shù)據(jù)是否符合質(zhì)量六性(完整性邪意、及時性九妈、準確性抄罕、一致性、唯一性和有效性)嚷兔,只要流程能運轉(zhuǎn)下去做入,業(yè)務繼續(xù)能開展,那數(shù)據(jù)質(zhì)量就是最后需要考慮的事情竟块,“垃圾數(shù)據(jù)進垃圾數(shù)據(jù)出”每天都在OLTP和OLAP中演繹。
下游的OLAP除了擦屁股蒋情,也沒啥辦法耸携,只能在報表指標上不斷內(nèi)卷,除非指標數(shù)據(jù)爆了大雷夺衍。
OLTP在數(shù)據(jù)管理上的不作為不僅影響到了下游OLAP,隨著OLTP自身的發(fā)展河劝,也開始對自身流程的運營效率產(chǎn)生影響。
雖然每一段的OLTP流程都可以做到最優(yōu)赎瞎,但每一段的OLTP的流程也有自己的上游和下游,如果上游交付給你的數(shù)據(jù)不清晰二庵,你就開始罵娘缓呛,因為要做大量的映射和轉(zhuǎn)換杭隙,但你在罵娘的同時,卻也很少想到要為你的下游交付清晰的數(shù)據(jù)痰憎。
最后公司發(fā)現(xiàn),從全局的角度看洽沟,這個業(yè)務流并不是最優(yōu)的蜗细,流程存在大量的堵點卡點,最終影響了運營效率炉媒。
可以看到,數(shù)據(jù)管理缺位的OLTP缎岗,不僅對下游的OLAP產(chǎn)生影響白粉,而且開始反噬自身,更要命的是眷细,在數(shù)字化的背景下奕扣,OLTP還需要OLAP給其變革的動力薪鹦,這是很滑稽的事情。
天下苦OLTP久矣奔害!
《華為數(shù)據(jù)之道》這本書的價值地熄,并不在于技術(shù)牛逼,而在于頂層設計牛逼雅潭,其給出了全新的數(shù)據(jù)管理視角却特,可以這么說,它就是來解決OLTP的不作為而生的裂明。
為了克服OLTP基因的缺陷,那么好扳碍,就制定一本覆蓋所有領域的數(shù)據(jù)法律仙蛉,確立一些數(shù)據(jù)管理的原則,比如華為數(shù)據(jù)管理總綱第一條:建立企業(yè)級信息架構(gòu)荠瘪,統(tǒng)一數(shù)據(jù)語言;第二條:所有變革項目須遵從數(shù)據(jù)管控要求鞭莽,對于不遵從管控要求的變革項目麸祷,數(shù)據(jù)管控組織擁有一票否決權(quán)。
OLTP既然事不關(guān)己高高掛起喷面,那么好走孽,就設立領域數(shù)據(jù)owner的角色,明確領域數(shù)據(jù)owner要為OLTP系統(tǒng)的信息架構(gòu)磕瓷、數(shù)據(jù)質(zhì)量念逞、數(shù)據(jù)入湖等負責边翁,這意味著OLTP不僅要關(guān)注自己業(yè)務跑的爽不爽,也要關(guān)注別人爽不爽叨咖,無論是上下游的流程還是OLAP啊胶,這補齊了數(shù)據(jù)管理缺失的另一半。
OLTP的信息架構(gòu)是數(shù)據(jù)管理的關(guān)鍵焰坪,那么好,就把信息架構(gòu)的要求明確告訴你誊酌,即運營好數(shù)據(jù)目錄露乏、數(shù)據(jù)模型涂邀、數(shù)據(jù)標準和數(shù)據(jù)分布四大組件,信息架構(gòu)的構(gòu)建方法論也告訴你比勉,即基于業(yè)務對象進行信息架構(gòu)的設計和落地浩聋。
OLTP既然是很多數(shù)據(jù)管理問題的根源,那么好衣洁,數(shù)據(jù)管理的手段就盡量往OLTP前移。比如數(shù)據(jù)質(zhì)量不是經(jīng)常出現(xiàn)問題吧砖第,干脆环凿,把傳統(tǒng)的數(shù)據(jù)質(zhì)量評估方法改了,除了執(zhí)行階段數(shù)據(jù)質(zhì)量的評估智听,將信息架構(gòu)的設計質(zhì)量也納入數(shù)據(jù)質(zhì)量評估的范疇渡紫。比如匯聚數(shù)據(jù)不是不及時嗎考赛,干脆,我給你制定一些入湖的規(guī)范集灌,入湖的動作OLTP自己做吧复哆,因為你最清楚數(shù)據(jù)的變更。
既然OLTP對數(shù)據(jù)管理這么重要唆阿,在華為之前難道沒人知道這個道理嗎锈锤?
當然不是,自己就曾經(jīng)為推進OLTP系統(tǒng)的數(shù)據(jù)字典建立做過努力久免,但OLTP有理由不做,因為那個時候的業(yè)務流是老大记舆。
為什么現(xiàn)在華為提了呼巴,大家更多的會去思考這個問題了呢?
原因可能有3個:
第一衣赶、數(shù)據(jù)成生產(chǎn)要素了府瞄,大家對數(shù)據(jù)價值的認識更深刻了,OLAP的地位同步在提升摘能,話語權(quán)在增加。
第二严望、數(shù)字化大勢所趨逻恐,OLTP要自我革命峻黍。
第三拨匆、華為給了一個最佳實踐,告訴大家骨饿,可以向OLTP開炮台腥。