數(shù)據(jù)管理指南之引用數(shù)據(jù)和主數(shù)據(jù)

為了便于理解權(quán)威的數(shù)據(jù)管理體系镊叁,計(jì)劃對(duì)DMBOK2進(jìn)行拆解學(xué)習(xí),按照原有章節(jié)進(jìn)行梳理兄春;

本文僅僅為學(xué)習(xí)交流使用,全部摘錄于DMBOK2(原版第二版)锡溯,如有版權(quán)問(wèn)題將即時(shí)撤稿赶舆!

備注:下文的引用數(shù)據(jù)被我改為了字典數(shù)據(jù)哑姚,以便于理解,因?yàn)槲覀兊南到y(tǒng)里的引用數(shù)據(jù)統(tǒng)一叫字典芜茵;

主數(shù)據(jù)管理上下文

組織內(nèi)部叙量,需要跨業(yè)務(wù)領(lǐng)域、跨流程和跨系統(tǒng)使用的數(shù)據(jù)九串,也就是需要一致化的共享數(shù)據(jù)绞佩,稱之為“主數(shù)據(jù)”;

在數(shù)據(jù)體系里字典和主數(shù)據(jù)都具備這類特征猪钮,所以MDM核心是管理字典和主數(shù)據(jù)品山;

對(duì)于字典來(lái)說(shuō),MDM系統(tǒng)管理期定義和值域烤低,以確保組織能夠訪問(wèn)一套準(zhǔn)確且最新的值肘交;

對(duì)于主數(shù)據(jù)來(lái)說(shuō),MDM系統(tǒng)管理主數(shù)據(jù)的值和標(biāo)識(shí)符扑馁,以確保當(dāng)前值的準(zhǔn)確性和可用性酸些;

字典管理:數(shù)據(jù)源標(biāo)識(shí)、標(biāo)準(zhǔn)管理檐蚜、映射管理魄懂、人工修正、可信數(shù)據(jù)下發(fā)闯第;

主數(shù)據(jù)管理:數(shù)據(jù)源標(biāo)識(shí)市栗、主數(shù)據(jù)管理、映射管理咳短、人工修正填帽、可信數(shù)據(jù)下發(fā);

主數(shù)據(jù)管理是一個(gè)全生命周期的管理過(guò)程咙好,關(guān)鍵活動(dòng)包括:

1. 建立主數(shù)據(jù)實(shí)體的上下文篡腌,包括相關(guān)屬性的定義及其使用條件,并加以治理勾效;

2. 識(shí)別出在單個(gè)數(shù)據(jù)源內(nèi)以及多個(gè)數(shù)據(jù)源中代表同一實(shí)體的多個(gè)實(shí)例嘹悼;構(gòu)建并維護(hù)標(biāo)識(shí)符和交叉引用,以支持信息整合层宫;

3. 協(xié)調(diào)和整合不同來(lái)源的數(shù)據(jù)杨伙,以提供提供主記錄或事實(shí)的最佳版本。合并記錄提供了跨系統(tǒng)的信息合并視圖萌腿,并視圖解決屬性命名和數(shù)據(jù)值不一致的問(wèn)題限匣;

4. 識(shí)別出那些未被正確匹配或合并的實(shí)例,確保他們得到修正毁菱,并關(guān)聯(lián)到正確的標(biāo)識(shí)符米死;

5. 通過(guò)直接存取锌历、使用數(shù)據(jù)服務(wù),或通過(guò)復(fù)制反饋到交易系統(tǒng)峦筒、數(shù)據(jù)倉(cāng)庫(kù)或其他分析型數(shù)據(jù)存儲(chǔ)系統(tǒng)辩涝,實(shí)現(xiàn)可信數(shù)據(jù)的跨程序訪問(wèn);

6. 在組織內(nèi)強(qiáng)制使用主數(shù)據(jù)勘天。該過(guò)程還需要數(shù)據(jù)治理和變更管理的支持怔揩,以確保共享的企業(yè)視角。

主數(shù)據(jù)管理的關(guān)鍵處理步驟:

1. 數(shù)據(jù)模型管理:定義一致性的邏輯數(shù)據(jù)和其屬性脯丝;

2. 數(shù)據(jù)采集:

(1)接收并應(yīng)對(duì)新的數(shù)據(jù)源的采集需求商膊;

(2)使用數(shù)據(jù)清理和數(shù)據(jù)分析工具進(jìn)行快速、即時(shí)宠进、匹配和高級(jí)的數(shù)據(jù)質(zhì)量評(píng)估晕拆;

(3)評(píng)估數(shù)據(jù)并將數(shù)據(jù)整合的復(fù)雜性傳遞給請(qǐng)求者,以幫助他們進(jìn)行成本效益分析材蹬;

(4)試點(diǎn)數(shù)據(jù)采集及其對(duì)匹配規(guī)則的影響实幕;

(5)為新數(shù)據(jù)源確定數(shù)據(jù)質(zhì)量指標(biāo);

(6)確定由誰(shuí)負(fù)責(zé)監(jiān)控和維護(hù)新數(shù)據(jù)源數(shù)據(jù)的質(zhì)量堤器;

(7)完成與整體數(shù)據(jù)管理環(huán)境的集成昆庇;

3. 數(shù)據(jù)驗(yàn)證、標(biāo)準(zhǔn)化和數(shù)據(jù)豐富:目的是實(shí)現(xiàn)輸入數(shù)據(jù)的一致性闸溃,減少關(guān)聯(lián)記錄的風(fēng)險(xiǎn)和錯(cuò)誤:

(1)驗(yàn)證整吆,識(shí)別那些被證明是錯(cuò)誤的或可能是不正確或默認(rèn)的數(shù)據(jù);

(2)標(biāo)準(zhǔn)化辉川,確保數(shù)據(jù)內(nèi)容符合取值范圍表蝙、標(biāo)準(zhǔn)的格式(如電話號(hào)碼)或字段(如地址);

(3)數(shù)據(jù)豐富乓旗,添加可以改進(jìn)實(shí)體解析服務(wù)的屬性府蛇;

例如如下 標(biāo)化了地址、電話:

輸入源數(shù)據(jù)
標(biāo)化后的數(shù)據(jù)

4. 實(shí)體解析和標(biāo)識(shí)符管理:包括實(shí)例提取屿愚、實(shí)例準(zhǔn)備汇跨、實(shí)例解析、身份管理渺鹦、關(guān)系分析扰法;

(1)通過(guò)匹配識(shí)別不同記錄如何與單個(gè)實(shí)體相關(guān)聯(lián)蛹含,有可能造成假陽(yáng)性和假陰性毅厚;可以通過(guò)確定性匹配和概率性匹配進(jìn)行算法判斷;

(2)身份解析浦箱,通過(guò)多字段進(jìn)行數(shù)據(jù)匹配吸耿;

(3)匹配類型包括特定數(shù)據(jù)的重復(fù)去輔助人工判斷祠锣、鏈接、合并咽安,規(guī)則會(huì)隨著新數(shù)據(jù)的引入而變化伴网,可信度也是,所以需要定期重新評(píng)估匹配合并規(guī)則和匹配鏈接規(guī)則妆棒,最好提供數(shù)據(jù)值的統(tǒng)計(jì)相關(guān)性澡腾,以幫助建立置信級(jí)別;

(4)主數(shù)據(jù)ID管理:全局標(biāo)識(shí)符和交叉引用信息糕珊。

(5)主數(shù)據(jù)之間的關(guān)系管理动分,父子關(guān)系、從屬關(guān)系等红选;

盡管算法可以實(shí)現(xiàn)大部分主數(shù)據(jù)的自動(dòng)化澜公,但是仍需要一些管理工作來(lái)解決數(shù)據(jù)錯(cuò)誤匹配的情況,并不斷改進(jìn)匹配算法從而減少人工工作喇肋;

5. 數(shù)據(jù)共享和管理工作坟乾;

從全局來(lái)看,主數(shù)據(jù)管理步驟:

(1)識(shí)別驅(qū)動(dòng)因素和需求蝶防;

(2)評(píng)估和評(píng)價(jià)數(shù)據(jù)源甚侣;

(3)定義架構(gòu)方法;

(4)主數(shù)據(jù)建模间学;

(5)定義管理職責(zé)和維護(hù)過(guò)程渺绒;

(6)建立治理制度,推動(dòng)主數(shù)據(jù)使用菱鸥;

主數(shù)據(jù)治理核心過(guò)程關(guān)注點(diǎn):

(1)要整合的數(shù)據(jù)源宗兼;

(2)要落實(shí)的數(shù)據(jù)質(zhì)量規(guī)則;

(3)遵守使用規(guī)則的條件氮采;

(4)要監(jiān)控的行動(dòng)和監(jiān)控頻率殷绍;

(5)優(yōu)先級(jí)和數(shù)據(jù)工作響應(yīng)等級(jí);

(6)如何展示信息以滿足利益相關(guān)方的需求鹊漠;

(7)字典和主數(shù)據(jù)管理部署的標(biāo)準(zhǔn)授權(quán)和預(yù)期主到;

主數(shù)據(jù)管理度量指標(biāo):

?(1)數(shù)據(jù)質(zhì)量和遵從性,通過(guò)數(shù)據(jù)質(zhì)量?jī)x表盤描述數(shù)據(jù)質(zhì)量躯概,說(shuō)明主題域?qū)嶓w或相關(guān)屬性的置信度(百分比)登钥,以及他在整個(gè)組織中符合實(shí)際需求的使用價(jià)值;

(2)數(shù)據(jù)變更活動(dòng)娶靡,審核可信數(shù)據(jù)的血緣牧牢,展示數(shù)據(jù)值的變化率,幫助大家理解,并用于調(diào)整算法塔鳍;

(3)數(shù)據(jù)獲取和消費(fèi)伯铣,通過(guò)指標(biāo)展示數(shù)據(jù)的上游供應(yīng)系統(tǒng)、下游的消費(fèi)系統(tǒng)和流程轮纫;

(4)服務(wù)水平協(xié)議SLA腔寡;

(5)數(shù)據(jù)管理專員覆蓋率,識(shí)別對(duì)數(shù)據(jù)內(nèi)容負(fù)責(zé)的個(gè)人或團(tuán)隊(duì)掌唾,展示評(píng)估頻率放前;

(6)維護(hù)的總成本;

(7)數(shù)據(jù)共享量和使用情況糯彬,指標(biāo)展示數(shù)據(jù)共享環(huán)境中流入和流出數(shù)據(jù)的定義犀斋、納入和訂閱的數(shù)量和速率;

?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
  • 序言:七十年代末情连,一起剝皮案震驚了整個(gè)濱河市叽粹,隨后出現(xiàn)的幾起案子,更是在濱河造成了極大的恐慌却舀,老刑警劉巖虫几,帶你破解...
    沈念sama閱讀 221,430評(píng)論 6 515
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件,死亡現(xiàn)場(chǎng)離奇詭異挽拔,居然都是意外死亡辆脸,警方通過(guò)查閱死者的電腦和手機(jī),發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 94,406評(píng)論 3 398
  • 文/潘曉璐 我一進(jìn)店門螃诅,熙熙樓的掌柜王于貴愁眉苦臉地迎上來(lái)啡氢,“玉大人,你說(shuō)我怎么就攤上這事术裸√仁牵” “怎么了?”我有些...
    開封第一講書人閱讀 167,834評(píng)論 0 360
  • 文/不壞的土叔 我叫張陵袭艺,是天一觀的道長(zhǎng)搀崭。 經(jīng)常有香客問(wèn)我,道長(zhǎng)猾编,這世上最難降的妖魔是什么瘤睹? 我笑而不...
    開封第一講書人閱讀 59,543評(píng)論 1 296
  • 正文 為了忘掉前任,我火速辦了婚禮答倡,結(jié)果婚禮上轰传,老公的妹妹穿的比我還像新娘。我一直安慰自己瘪撇,他們只是感情好获茬,可當(dāng)我...
    茶點(diǎn)故事閱讀 68,547評(píng)論 6 397
  • 文/花漫 我一把揭開白布港庄。 她就那樣靜靜地躺著,像睡著了一般锦茁。 火紅的嫁衣襯著肌膚如雪攘轩。 梳的紋絲不亂的頭發(fā)上叉存,一...
    開封第一講書人閱讀 52,196評(píng)論 1 308
  • 那天码俩,我揣著相機(jī)與錄音,去河邊找鬼歼捏。 笑死稿存,一個(gè)胖子當(dāng)著我的面吹牛,可吹牛的內(nèi)容都是我干的瞳秽。 我是一名探鬼主播瓣履,決...
    沈念sama閱讀 40,776評(píng)論 3 421
  • 文/蒼蘭香墨 我猛地睜開眼,長(zhǎng)吁一口氣:“原來(lái)是場(chǎng)噩夢(mèng)啊……” “哼练俐!你這毒婦竟也來(lái)了袖迎?” 一聲冷哼從身側(cè)響起,我...
    開封第一講書人閱讀 39,671評(píng)論 0 276
  • 序言:老撾萬(wàn)榮一對(duì)情侶失蹤腺晾,失蹤者是張志新(化名)和其女友劉穎燕锥,沒(méi)想到半個(gè)月后,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體悯蝉,經(jīng)...
    沈念sama閱讀 46,221評(píng)論 1 320
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡归形,尸身上長(zhǎng)有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 38,303評(píng)論 3 340
  • 正文 我和宋清朗相戀三年,在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了鼻由。 大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片暇榴。...
    茶點(diǎn)故事閱讀 40,444評(píng)論 1 352
  • 序言:一個(gè)原本活蹦亂跳的男人離奇死亡,死狀恐怖蕉世,靈堂內(nèi)的尸體忽然破棺而出蔼紧,到底是詐尸還是另有隱情,我是刑警寧澤狠轻,帶...
    沈念sama閱讀 36,134評(píng)論 5 350
  • 正文 年R本政府宣布歉井,位于F島的核電站,受9級(jí)特大地震影響哈误,放射性物質(zhì)發(fā)生泄漏哩至。R本人自食惡果不足惜,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 41,810評(píng)論 3 333
  • 文/蒙蒙 一蜜自、第九天 我趴在偏房一處隱蔽的房頂上張望菩貌。 院中可真熱鬧,春花似錦重荠、人聲如沸箭阶。這莊子的主人今日做“春日...
    開封第一講書人閱讀 32,285評(píng)論 0 24
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽(yáng)仇参。三九已至嘹叫,卻和暖如春,著一層夾襖步出監(jiān)牢的瞬間诈乒,已是汗流浹背罩扇。 一陣腳步聲響...
    開封第一講書人閱讀 33,399評(píng)論 1 272
  • 我被黑心中介騙來(lái)泰國(guó)打工, 沒(méi)想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留怕磨,地道東北人喂饥。 一個(gè)月前我還...
    沈念sama閱讀 48,837評(píng)論 3 376
  • 正文 我出身青樓,卻偏偏與公主長(zhǎng)得像肠鲫,于是被迫代替她去往敵國(guó)和親员帮。 傳聞我的和親對(duì)象是個(gè)殘疾皇子,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 45,455評(píng)論 2 359

推薦閱讀更多精彩內(nèi)容