數(shù)據(jù)治理,請對oltp開炮海雪!

在我從事數(shù)據(jù)這個專業(yè)多年以后锦爵,發(fā)現(xiàn)一個奇怪的現(xiàn)象,就是大多數(shù)搞數(shù)據(jù)管理的人奥裸,都在OLAP領域险掀,而在浩瀚的OLTP領域,少有專業(yè)的搞數(shù)據(jù)管理的人湾宙,為什么樟氢?

也許跟OLTP和OLAP的使命相關(guān)。

企業(yè)為實現(xiàn)價值創(chuàng)造侠鳄,從輸入客戶要求開始到交付產(chǎn)品及服務給客戶獲得客戶滿意并實現(xiàn)企業(yè)自身價值的E2E(端對端)業(yè)務過程是業(yè)務流埠啃。業(yè)務流是客觀存在的,每家公司在設計自身業(yè)務流程時都是想辦法要找到真實合理的業(yè)務流伟恶,去適配這個業(yè)務流碴开。

IT承載和使能的就是業(yè)務流,這里的IT就是OLTP知押,OLTP得讓流程順利run起來叹螟,而數(shù)據(jù)只是銜接流程各個環(huán)節(jié)的媒介,對于OLTP來說台盯,業(yè)務流的治理是第一位的罢绽,至少開始的時候是這樣。

OLTP說得最多的就是業(yè)務管理静盅,本質(zhì)就是確保業(yè)務流run起來的業(yè)務規(guī)則的管理良价,而數(shù)據(jù)的治理則無足輕重。

OLAP即聯(lián)機分析處理蒿叠,其要run起來跟業(yè)務流無關(guān)明垢,只跟業(yè)務流記錄的數(shù)據(jù)有關(guān),數(shù)據(jù)就是OLAP的生命線市咽,為了讓數(shù)據(jù)分析的準確高效痊银,OLTP需要高質(zhì)量的數(shù)據(jù),因此施绎,OLAP說得最多的是數(shù)據(jù)管理溯革,DAMA通過對數(shù)據(jù)管理活動的總結(jié)贞绳,形成了數(shù)據(jù)管理的方法論。

自然而然的致稀,數(shù)據(jù)倉庫成了數(shù)據(jù)管理方法實踐的最佳場所冈闭,你會發(fā)現(xiàn),當前國內(nèi)大多數(shù)企業(yè)的數(shù)據(jù)管理實踐抖单,都發(fā)生在數(shù)據(jù)倉庫領域萎攒,從元數(shù)據(jù)、數(shù)據(jù)質(zhì)量管理矛绘、參考數(shù)據(jù)耍休、數(shù)據(jù)標準、數(shù)據(jù)開發(fā)蔑歌、數(shù)據(jù)應用羹应、數(shù)據(jù)安全再到數(shù)據(jù)架構(gòu),不一而足次屠,甚至連主數(shù)據(jù)管理园匹,大家都想的是在數(shù)據(jù)倉庫里搞一個,然后對外去提供服務劫灶。

數(shù)據(jù)管理也好裸违,數(shù)據(jù)治理也好,成了OLAP的專屬品本昏。

可惜的是供汛,數(shù)據(jù)管理光有OLAP的參與,不僅是缺了一半的涌穆,而且先天不足怔昨,為什么?

數(shù)據(jù)創(chuàng)造價值分為三個階段:數(shù)據(jù)產(chǎn)生宿稀,數(shù)據(jù)處理及數(shù)據(jù)消費趁舀,后面兩個跟OLAP相關(guān),而第一個祝沸,只跟OLTP相關(guān)矮烹。

很多公司數(shù)據(jù)價值創(chuàng)造過程受阻,不是OLAP不行罩锐,而是OLTP不行奉狈,因此涩惑,無論后端怎么努力,都是事倍功半,因為是根子出了問題碰纬。

以數(shù)據(jù)架構(gòu)為例:

無論是數(shù)據(jù)模型、數(shù)據(jù)分布或是數(shù)據(jù)標準问芬,OLTP當前都缺乏有效的管理,OLAP系統(tǒng)為了匯聚數(shù)據(jù)寿桨,只能一次又一次的采取項目化的方式對OLTP的系統(tǒng)進行梳理,并通過主題域亭螟、概念模型、邏輯模型预烙、物理模型等模型來實現(xiàn)OLTP業(yè)務的重新抽象墨微,美其名曰,OLAP是從分析角度看問題扁掸,需要不同的建模方式翘县。

但這些工作按道理是OLTP本身就該干的事情啊谴分,業(yè)務理解永遠是老大,你離業(yè)務越遠忘伞,做事就越事倍功半沙兰。

數(shù)據(jù)倉庫以前經(jīng)常幾年要推倒重來一次,為啥呀鼎天,因為OLTP變了啊,OLAP以前的抽象不行了啊训措。

現(xiàn)在OLTP領域DDD設計的興起,無論是領域怀大,子域呀闻、限界上下文,實體捡多、值對象等等铐炫,其實都是為了解決OLTP領域抽象太差的問題蒜焊。

差到什么程度?

阻礙OLTP架構(gòu)演進鳖悠,影響了碼農(nóng)的開發(fā)效率优妙,但這種抽象乘综,數(shù)據(jù)倉庫可一直都在做套硼。

又比如以數(shù)據(jù)質(zhì)量為例:

OLTP以業(yè)務流為核心的管理原則導致其幾乎不用關(guān)注自己留存的數(shù)據(jù)是否符合質(zhì)量六性(完整性邪意、及時性九妈、準確性抄罕、一致性、唯一性和有效性)嚷兔,只要流程能運轉(zhuǎn)下去做入,業(yè)務繼續(xù)能開展,那數(shù)據(jù)質(zhì)量就是最后需要考慮的事情竟块,“垃圾數(shù)據(jù)進垃圾數(shù)據(jù)出”每天都在OLTP和OLAP中演繹。

下游的OLAP除了擦屁股蒋情,也沒啥辦法耸携,只能在報表指標上不斷內(nèi)卷,除非指標數(shù)據(jù)爆了大雷夺衍。

OLTP在數(shù)據(jù)管理上的不作為不僅影響到了下游OLAP,隨著OLTP自身的發(fā)展河劝,也開始對自身流程的運營效率產(chǎn)生影響。

雖然每一段的OLTP流程都可以做到最優(yōu)赎瞎,但每一段的OLTP的流程也有自己的上游和下游,如果上游交付給你的數(shù)據(jù)不清晰二庵,你就開始罵娘缓呛,因為要做大量的映射和轉(zhuǎn)換杭隙,但你在罵娘的同時,卻也很少想到要為你的下游交付清晰的數(shù)據(jù)痰憎。

最后公司發(fā)現(xiàn),從全局的角度看洽沟,這個業(yè)務流并不是最優(yōu)的蜗细,流程存在大量的堵點卡點,最終影響了運營效率炉媒。

可以看到,數(shù)據(jù)管理缺位的OLTP缎岗,不僅對下游的OLAP產(chǎn)生影響白粉,而且開始反噬自身,更要命的是眷细,在數(shù)字化的背景下奕扣,OLTP還需要OLAP給其變革的動力薪鹦,這是很滑稽的事情。

天下苦OLTP久矣奔害!

《華為數(shù)據(jù)之道》這本書的價值地熄,并不在于技術(shù)牛逼,而在于頂層設計牛逼雅潭,其給出了全新的數(shù)據(jù)管理視角却特,可以這么說,它就是來解決OLTP的不作為而生的裂明。

為了克服OLTP基因的缺陷,那么好扳碍,就制定一本覆蓋所有領域的數(shù)據(jù)法律仙蛉,確立一些數(shù)據(jù)管理的原則,比如華為數(shù)據(jù)管理總綱第一條:建立企業(yè)級信息架構(gòu)荠瘪,統(tǒng)一數(shù)據(jù)語言;第二條:所有變革項目須遵從數(shù)據(jù)管控要求鞭莽,對于不遵從管控要求的變革項目麸祷,數(shù)據(jù)管控組織擁有一票否決權(quán)。

OLTP既然事不關(guān)己高高掛起喷面,那么好走孽,就設立領域數(shù)據(jù)owner的角色,明確領域數(shù)據(jù)owner要為OLTP系統(tǒng)的信息架構(gòu)磕瓷、數(shù)據(jù)質(zhì)量念逞、數(shù)據(jù)入湖等負責边翁,這意味著OLTP不僅要關(guān)注自己業(yè)務跑的爽不爽,也要關(guān)注別人爽不爽叨咖,無論是上下游的流程還是OLAP啊胶,這補齊了數(shù)據(jù)管理缺失的另一半。

OLTP的信息架構(gòu)是數(shù)據(jù)管理的關(guān)鍵焰坪,那么好,就把信息架構(gòu)的要求明確告訴你誊酌,即運營好數(shù)據(jù)目錄露乏、數(shù)據(jù)模型涂邀、數(shù)據(jù)標準和數(shù)據(jù)分布四大組件,信息架構(gòu)的構(gòu)建方法論也告訴你比勉,即基于業(yè)務對象進行信息架構(gòu)的設計和落地浩聋。

OLTP既然是很多數(shù)據(jù)管理問題的根源,那么好衣洁,數(shù)據(jù)管理的手段就盡量往OLTP前移。比如數(shù)據(jù)質(zhì)量不是經(jīng)常出現(xiàn)問題吧砖第,干脆环凿,把傳統(tǒng)的數(shù)據(jù)質(zhì)量評估方法改了,除了執(zhí)行階段數(shù)據(jù)質(zhì)量的評估智听,將信息架構(gòu)的設計質(zhì)量也納入數(shù)據(jù)質(zhì)量評估的范疇渡紫。比如匯聚數(shù)據(jù)不是不及時嗎考赛,干脆,我給你制定一些入湖的規(guī)范集灌,入湖的動作OLTP自己做吧复哆,因為你最清楚數(shù)據(jù)的變更。

既然OLTP對數(shù)據(jù)管理這么重要唆阿,在華為之前難道沒人知道這個道理嗎锈锤?

當然不是,自己就曾經(jīng)為推進OLTP系統(tǒng)的數(shù)據(jù)字典建立做過努力久免,但OLTP有理由不做,因為那個時候的業(yè)務流是老大记舆。

為什么現(xiàn)在華為提了呼巴,大家更多的會去思考這個問題了呢?

原因可能有3個:

第一衣赶、數(shù)據(jù)成生產(chǎn)要素了府瞄,大家對數(shù)據(jù)價值的認識更深刻了,OLAP的地位同步在提升摘能,話語權(quán)在增加。

第二严望、數(shù)字化大勢所趨逻恐,OLTP要自我革命峻黍。

第三拨匆、華為給了一個最佳實踐,告訴大家骨饿,可以向OLTP開炮台腥。

?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
  • 序言:七十年代末,一起剝皮案震驚了整個濱河市察署,隨后出現(xiàn)的幾起案子峻汉,更是在濱河造成了極大的恐慌,老刑警劉巖休吠,帶你破解...
    沈念sama閱讀 207,248評論 6 481
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件瘤礁,死亡現(xiàn)場離奇詭異,居然都是意外死亡蔚携,警方通過查閱死者的電腦和手機克饶,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 88,681評論 2 381
  • 文/潘曉璐 我一進店門矾湃,熙熙樓的掌柜王于貴愁眉苦臉地迎上來,“玉大人霉咨,你說我怎么就攤上這事拍屑。” “怎么了僵驰?”我有些...
    開封第一講書人閱讀 153,443評論 0 344
  • 文/不壞的土叔 我叫張陵,是天一觀的道長浆西。 經(jīng)常有香客問我顽腾,道長抄肖,這世上最難降的妖魔是什么? 我笑而不...
    開封第一講書人閱讀 55,475評論 1 279
  • 正文 為了忘掉前任入篮,我火速辦了婚禮幌甘,結(jié)果婚禮上,老公的妹妹穿的比我還像新娘酥诽。我一直安慰自己皱埠,他們只是感情好,可當我...
    茶點故事閱讀 64,458評論 5 374
  • 文/花漫 我一把揭開白布训枢。 她就那樣靜靜地躺著忘巧,像睡著了一般。 火紅的嫁衣襯著肌膚如雪砚嘴。 梳的紋絲不亂的頭發(fā)上,一...
    開封第一講書人閱讀 49,185評論 1 284
  • 那天耸采,我揣著相機與錄音工育,去河邊找鬼。 笑死文留,一個胖子當著我的面吹牛,可吹牛的內(nèi)容都是我干的燥翅。 我是一名探鬼主播,決...
    沈念sama閱讀 38,451評論 3 401
  • 文/蒼蘭香墨 我猛地睜開眼靶端,長吁一口氣:“原來是場噩夢啊……” “哼凛膏!你這毒婦竟也來了?” 一聲冷哼從身側(cè)響起台谍,我...
    開封第一講書人閱讀 37,112評論 0 261
  • 序言:老撾萬榮一對情侶失蹤吁断,失蹤者是張志新(化名)和其女友劉穎,沒想到半個月后掷伙,有當?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體又兵,經(jīng)...
    沈念sama閱讀 43,609評論 1 300
  • 正文 獨居荒郊野嶺守林人離奇死亡沛厨,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點故事閱讀 36,083評論 2 325
  • 正文 我和宋清朗相戀三年,在試婚紗的時候發(fā)現(xiàn)自己被綠了逆皮。 大學時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片。...
    茶點故事閱讀 38,163評論 1 334
  • 序言:一個原本活蹦亂跳的男人離奇死亡,死狀恐怖辰企,靈堂內(nèi)的尸體忽然破棺而出况鸣,到底是詐尸還是另有隱情,我是刑警寧澤潜索,帶...
    沈念sama閱讀 33,803評論 4 323
  • 正文 年R本政府宣布,位于F島的核電站誊抛,受9級特大地震影響整陌,放射性物質(zhì)發(fā)生泄漏拗窃。R本人自食惡果不足惜泌辫,卻給世界環(huán)境...
    茶點故事閱讀 39,357評論 3 307
  • 文/蒙蒙 一震放、第九天 我趴在偏房一處隱蔽的房頂上張望。 院中可真熱鬧殿遂,春花似錦、人聲如沸癌瘾。這莊子的主人今日做“春日...
    開封第一講書人閱讀 30,357評論 0 19
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽咬荷。三九已至轻掩,卻和暖如春,著一層夾襖步出監(jiān)牢的瞬間唇牧,已是汗流浹背。 一陣腳步聲響...
    開封第一講書人閱讀 31,590評論 1 261
  • 我被黑心中介騙來泰國打工腔召, 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留扮惦,地道東北人。 一個月前我還...
    沈念sama閱讀 45,636評論 2 355
  • 正文 我出身青樓浊仆,卻偏偏與公主長得像,于是被迫代替她去往敵國和親抡柿。 傳聞我的和親對象是個殘疾皇子,可洞房花燭夜當晚...
    茶點故事閱讀 42,925評論 2 344

推薦閱讀更多精彩內(nèi)容