轉載本文需注明出處：微信公眾號EAWorld厨埋，違者必究邪媳。

當今，數字化正在各行業(yè)快速發(fā)展荡陷，醞釀著一場巨大的變革雨效，許多企業(yè)將會經歷前所未有的改變。在數字化轉型的道路上废赞，數據是上層建筑和質量的基石设易，而數據治理在提升企業(yè)數據質量的道路上扮演重要的角色。

目錄：

一蛹头、數字化是企業(yè)精細化管理的必由之路

二顿肺、數據治理就是自動化的數據生命周期管理

三、企業(yè)數據治理執(zhí)行建議

一渣蜗、數字化是企業(yè)精細化管理的必由之路

我們現在身處一個虛擬時空交易與現實時空交付的數字化時代屠尊。

數據正發(fā)揮著越來越重要的作用耕拷，數據將驅動企業(yè)業(yè)務運營讼昆，我們通過數據去發(fā)現機會或定位問題的根源，從而從根本上解決問題骚烧。

從發(fā)展趨勢來看浸赫，未來的企業(yè)必將成為數字化的企業(yè)闰围，數字化轉型將成為企業(yè)核心戰(zhàn)略，而在此過程中數據治理則是轉型道路的必由之路既峡，它能提升企業(yè)數據的整體質量羡榴，規(guī)范企業(yè)管理數據的動作。

普元在多年的項目實踐過程中运敢，發(fā)現企業(yè)在做數據治理的過程中存在著五個痛點校仑，分別是：

• 企業(yè)數據摸底不清晰

• 缺乏數據治理落地體系方法

• 缺乏有效的支撐工具

• 數據整改周期長

• 系統(tǒng)建設各自為戰(zhàn)，數據關聯度不足传惠，甚至割裂

企業(yè)中有價值的數據是散落在不同的業(yè)務系統(tǒng)中的迄沫，由于信息化進程和階段的不同，業(yè)務系統(tǒng)都是采用急用先建的策略進行卦方。要從企業(yè)萬千雜亂的數據中理出價值密度高的數據羊瘩，人工、無體系的管理方式在數據膨脹的環(huán)境下已心有余而力不足盼砍，企業(yè)需要自動化甚至智能化的手段去解決數據的問題困后。在多年的實踐中我們發(fā)現，自動化是大數據治理的關鍵因素衬廷。

作為數據密集型企業(yè)，銀行一直是國內數據治理的排頭兵汽绢，有數據治理相關的政策要求吗跋，也有數據強化管理的要求。下面我們舉幾個銀行的案例：

先看某大型知名銀行的案例宁昭。在這個案例中跌宛，我們幫助客戶實現了自動支撐數據標準構建、自動規(guī)范系統(tǒng)數據模型积仗、自動構建企業(yè)數據地圖疆拘、自動實現數據協同變更、自動執(zhí)行關鍵數據檢核等全面自動化的數據生命周期管理寂曹，大大提升了對數據管理的力度哎迄。

再來看一個城商行的案例，該城商行通過自動化的企業(yè)數據地圖構建隆圆、自動實現數據協同變更漱挚、自動執(zhí)行關鍵數據檢核，保障了數據中心對數據的統(tǒng)一管理渺氧，推進了變更統(tǒng)籌管理旨涝、降低了源頭業(yè)務系統(tǒng)在數據結構變化過程中對分析類應用的影響，從而大大提升了該行IT項目群的整體管理水平侣背。

由于時間和篇幅的原因白华，我們沒對電信慨默、政府、制造業(yè)弧腥、航空業(yè)厦取、物流業(yè)的案例進行介紹，但在普元實施這些行業(yè)客戶的時候鸟赫，無不是通過自動化的手段去解決數據治理問題蒜胖。

我們認為，數據治理其實是圍繞數據生命周期的不同階段抛蚤，開展對數據規(guī)范台谢、管理和整治活動的集合。由于數據在企業(yè)中存在的形態(tài)是瑣碎多樣且無體系的岁经，企業(yè)必須用整體的思路朋沮、體系化的管理策略，使用自動化的方式去解決數據管理的問題缀壤。

二樊拓、數據治理就是

自動化的數據生命周期管理

我們從不同行業(yè)的數據治理實施項目中提取了五種可執(zhí)行的自動化手段，來解決數據生命周期中不同階段的數據治理問題塘慕。

這五個手段分別是：

• 自動支撐數據標準構建

• 自動規(guī)范系統(tǒng)數據模型

• 自動構建企業(yè)數據地圖

• 自動實現數據協同變更

• 自動執(zhí)行關鍵數據檢核

1.自動支撐數據標準構建

自動支撐數據標準構建的意思是筋夏，企業(yè)能在在數據生命周期的規(guī)劃和標準規(guī)范階段，能通過工具來自動構建數據標準图呢。

數據標準是企業(yè)的語義字典条篷，不僅對企業(yè)數據架構，數據分類蛤织，數據特征進行了全方位的描述赴叹，還對業(yè)務活動和業(yè)務系統(tǒng)建設給出了數據架構層面的的指導性建議。它相當于一個綱領指蚜，用來規(guī)范信息系統(tǒng)的建設乞巧，并且協同業(yè)務和技術。

一般企業(yè)構建數據標準摊鸡，需要參考同業(yè)绽媒、引用國家標準、考慮企業(yè)數據現狀免猾。但我們發(fā)現標準和企業(yè)實際情況脫節(jié)是經常會出現的問題些椒，造成標準無法落地或落地困難，所以數據標準制定過程中一定要充分考慮企業(yè)的數據現狀掸刊。我們認為要在摸清企業(yè)數據現狀的基礎上再構建數據標準免糕。

構建數據標準要從自動化的數據資產梳理開始。通過元數據管理工具自動摸清企業(yè)有哪些數據，在什么地方石窑，如何存儲牌芋，歸誰使用，誰在運維松逊，體量如何躺屁，數據含義是否明確，被誰關聯引用等经宏，在這些都明確的基礎上犀暑，自動對元數據進行歸集和分類，將分類結果經過甄別評審后歸集到定義好的數據標準分類體系上烁兰，整個過程在線上完成耐亏，實現數據標準構建的自動化支撐。

從整體統(tǒng)籌的的角度講沪斟，與傳統(tǒng)數據標準的構建方式相比广辰，自動化構建數據標準有幾個好處:

一是數據標準是從企業(yè)實際數據環(huán)境中發(fā)掘出來的，制定的標準有現實依據主之；

二是關鍵的择吊、核心的共享級數據明確了出處，在什么部門槽奕、在什么系統(tǒng)几睛、在什么數據庫中、歸誰管理和負責一目了然粤攒，在進行數據共享的時候減少了數據分析時間所森，提高了工作效率。

三是針對存量的核心數據進行了數據標準映射琼讽，在標準制定過程中可以映射存量系統(tǒng)關鍵數據，在管理和使用上明確了這些數據和標準的關系洪唐。

2.自動規(guī)范系統(tǒng)數據模型

企業(yè)信息化正從分散化業(yè)務處理系統(tǒng)向平臺化業(yè)務系統(tǒng)轉變钻蹬，如何落實數據標準化，發(fā)揮數據標準統(tǒng)籌規(guī)范的價值是一件不容易的事情凭需。在數據生命周期的開發(fā)實施階段问欠，自動規(guī)范系統(tǒng)數據模型變得很重要。

自動規(guī)范系統(tǒng)數據模型在數據生命周期過程中起到了承上啟下的作用粒蜈，也是數據標準化落實的關鍵階段顺献，是元數據事前管理的重要環(huán)節(jié)。

對于新增系統(tǒng)和存量系統(tǒng)來說枯怖，自動規(guī)范系統(tǒng)數據模型的方式也不同注整。在信息系統(tǒng)建設初期，業(yè)務模型、邏輯模型肿轨、數據模型要能在線上設計完成寿冕，并且設計的過程中能引用企業(yè)信息模型（非金融）或數據標準（金融），以此來達到規(guī)范模型的目的椒袍；

而對于存量系統(tǒng)驼唱，我們可以使用自動化的元數據采集能力，自下而上反向生成存量系統(tǒng)的數據模型驹暑，如上圖所示玫恳。

雖然在線設計系統(tǒng)模型在一定程度上保證了數據標準或企業(yè)信息模型的有效落地，但系統(tǒng)運行是一個持續(xù)的過程优俘，投產后的系統(tǒng)元數據隨時都有可能發(fā)生變化京办，所以需要定期自動從生產環(huán)境中采集元數據和設計態(tài)中的元數據進行比對糾偏，保證設計和投產的一致兼吓。

3.自動構建企業(yè)數據地圖

企業(yè)組織是一個整體臂港，描述的企業(yè)活動的數據應該也是一個整體。企業(yè)可以通過元數據管理工具视搏，將企業(yè)所有元數據自動采集到一起审孽，并在自動抽取元數據的過程中建立不同載體與跨載體的數據關系，形成一張反映企業(yè)現狀數據的關系網浑娜，我們通常稱這張網為“數據地圖”佑力。

通過數據地圖，在運營管理上能統(tǒng)籌看待數據筋遭，全盤考慮數據架構屯掖，提出數據治理目標，從根本上解決問題镐作。

企業(yè)數據地圖的構建必須是自動化的暮顺，通過自動化才能準確獲取企業(yè)信息系統(tǒng)中的元數據信息以及元數據間的關系信息，數據地圖的脈絡分析讓每個數據的在企業(yè)的數據鏈條的位置和數據價值變得清晰可見响驴，通過數據地圖還能查詢數據的技術屬性透且、業(yè)務屬性、管理屬性豁鲤、安全屬性秽誊、稽核屬性等，當然也能知道數據是否遵循了企業(yè)數據標準規(guī)范琳骡。

以上提到的數據間的流向關系在企業(yè)信息系統(tǒng)是真實存在的锅论，我們選用合適的元數據工具能方便得到。但數據的關聯關系一般是邏輯上的楣号。比如：核心系統(tǒng)最易、信貸系統(tǒng)怒坯、基金系統(tǒng)、網頁系統(tǒng)耘纱、理財系統(tǒng)都存在客戶號敬肚，要基于客戶號獲取這些系統(tǒng)中客戶實體的相關屬性信息，將會是一件不容易的事情束析。因為這需要知道相關系統(tǒng)在數據上的邏輯關系艳馒，而邏輯關系一般在跨部門，跨系統(tǒng)間是沒有在數據庫表層面建立的员寇，所以在做數據分析的時候需要一種自動化的手段來給這些數據建立關系弄慰。

我們基于知識圖譜技術構建企業(yè)數據間的關聯關系，首先基于企業(yè)元數據信息蝶锋，通過自然語言處理陆爽、模式識別等算法，以及業(yè)務規(guī)則過濾扳缕，實現實體對象提然疟铡；然后以本體的形式表示和存儲躯舔；最后利用智能搜索驴剔、關聯查詢手段，為最終用戶推薦數據關聯關系粥庄。有了知識圖譜的支持丧失，基于元數據的自助數據服務開發(fā)就變得很簡單了。

4.自動實現數據協同變更

在數據生命周期的使用階段惜互，企業(yè)業(yè)務系統(tǒng)建設的步伐深化布讹，數據需要在不同的系統(tǒng)當中流轉和交互，一些平臺類的系統(tǒng)開始出現训堆，如ODS描验、倉庫、集市坑鱼、大數據等膘流，企業(yè)運營決策也依賴數據的整合，這期間面臨的一個主要問題就是數據全鏈路協同變更姑躲。

在數據鏈路上睡扬，任何一個點上數據結構的變化必將影響其他節(jié)點上的數據盟蚣，我們需要一種自動化的能力實現全數據協同變更黍析。下圖是一個典型的案例場景，供大家參考屎开。

自動的全局數據協同變更包含兩層意思阐枣，

一是在數據鏈路上的任何一點發(fā)生數據結構的變化，如字段長度、字段類型等蔼两，會自動通知數據鏈路上的相關部門或責任人甩鳄；

二是在數據作業(yè)異常后，會自動的通知作業(yè)依賴鏈路上相關的部門或責任人额划。

另外妙啃， 流程在數據管理工作中起到串聯和推動的作用，數據管理工作是企業(yè)級的一個大的基礎工程俊戳，涉及的部門揖赴、系統(tǒng)、人員較多抑胎，因此常態(tài)化的數據管理離不開流程驅動燥滑，引入流程化機制，能規(guī)范跨系統(tǒng)阿逃，垮部門的數據工作協作铭拧。

5.自動執(zhí)行關鍵數據檢核

數據治理的核心目標是通過優(yōu)化數據結構，規(guī)范數據定義恃锉，完善數據使用流程等手段來提升企業(yè)數據質量搀菩，我們所制定的組織、角色淡喜、工作方法都是圍繞這個目標來設計的秕磷。企業(yè)要通過自動化的手段重點監(jiān)控核心數據，如監(jiān)管類的數據炼团，核心決策類指標數據等澎嚣。

數據標準是衡量企業(yè)數據質量好壞的準則，對企業(yè)關鍵的數據檢核應該來源于數據標準規(guī)范要求瘟芝。在上面的分享中易桃，我們知道數據是多維的，包括技術維锌俱、業(yè)務維晤郑、管理維、質量維贸宏、安全維造寝，針對數據標準的技術維度要求，結合元數據管理自動化構建針對關鍵數據的檢核規(guī)則吭练，就能發(fā)現數據在技術維度上的不足或問題诫龙。

三、企業(yè)數據治理執(zhí)行建議

以上我們從數據生命周期的不同階級講解了開展大數據治理的五個自動化手段鲫咽，下面我們根據普元多年數據治理項目實施的經驗签赃，給出企業(yè)在執(zhí)行數據治理的一些建議谷异，供大家參考。

企業(yè)數據治理的目的是讓數據在業(yè)務和技術上保持統(tǒng)一的口徑和準確的含義锦聊，能在企業(yè)數據架構的規(guī)劃下指導信息化的建設歹嘹，并能在需要的時候對數據進行連接、整合孔庭，進而挖掘出數據價值驅動企業(yè)運營尺上。

在數據治理執(zhí)行建議中，我們將數據的生命周期切分成事前圆到、事中和事后三個階段尖昏。

在事前階段，要定數據標準构资，信息系統(tǒng)的數據模型在線上參考標準進行設計抽诉，設計好的模型可以直接創(chuàng)建信息系統(tǒng)的數據庫，所有的模型變更調整都在平臺上進行吐绵。

模型設計過程中能看到其他系統(tǒng)的數據模型迹淌，也能看到其他系統(tǒng)數據標準化的情況。

過程要符合企業(yè)系統(tǒng)開發(fā)的管理流程己单，在流程驅動下完成設計和變更工作唉窃。

這樣做的好處有以下幾個：

• 企業(yè)元數據在事前的到有效管理和控制。

• 系統(tǒng)間數據不是割裂的纹笼，從數據架構角度看他是一個整體纹份，我在用哪個系統(tǒng)的、那個業(yè)務的數據廷痘，誰又在用我的數據蔓涧，一目了然，清晰可見笋额。

• 數據標準（企業(yè)信息模型）落地有了載體元暴，有了方法，有了能力支撐兄猩，標準執(zhí)行的程度可查茉盏、可控。

• 全局數據分析有了數據門戶枢冤，數據質量在模型層面得到有效提高鸠姨。

如果企業(yè)沒有制定數據標準，這種事前管理思路也是值得嘗試的淹真。

在事后階段讶迁，通過檢核的抓手促進企業(yè)數據標準落實。

這里提供兩個抓手

• 針對生產運行態(tài)的元數據進行定期的趟咆、自動化抽取添瓷，抽取結果和事前設計態(tài)元數據進行比對，發(fā)現差異值纱，提出整改意見鳞贷；

• 根據數據標準規(guī)范對關鍵數據進行質量檢核，發(fā)現數據問題虐唠，提出整改意見搀愧。

在事后階段，為了促進數據質量的持續(xù)提升疆偿，企業(yè)可以引進考核機制咱筛，進而為數據治理的有效開展提供保障。

關于作者：

王鵬

現任普元大數據產品線數據治理項目實施經理杆故，2009年進入國內數據治理領域迅箩，先后主導或參與金融業(yè)、運營商处铛、制造業(yè)饲趋、政府、航空撤蟆，物流等行業(yè)的數據治理解決方案的編寫奕塑，以及相關落地項目的實施。

關于EAWorld

微服務家肯，DevOps龄砰，元數據，企業(yè)架構原創(chuàng)技術分享讨衣，EAii（Enterprise?Architecture?Innovation?Institute）企業(yè)架構創(chuàng)新研究院旗下官方微信公眾號换棚。

微信號：eaworld，長按二維碼關注

明日中午12:30移動平臺技術發(fā)展新趨勢及企業(yè)實踐PWorld北京站兩名講師普元移動產品線總經理郝振明和副總經理湯金忠展開對話反镇，為大家細數《從程序員至技術管理者圃泡，那些年記憶深刻的書》。參與活動即有機會獲得任意一本書單書籍愿险。