數(shù)據(jù)治理
通過(guò)有效的管控手段栖雾，實(shí)現(xiàn)數(shù)據(jù)看得見(jiàn)楞抡、找得到、管得住析藕、用得好召廷，加快數(shù)據(jù)共享的效率，終極目標(biāo)提升數(shù)據(jù)利用率和數(shù)據(jù)價(jià)值。
常見(jiàn)問(wèn)題的解決
數(shù)據(jù)目錄缺失
無(wú)完善柱恤、持續(xù)維護(hù)的數(shù)據(jù)目錄数初，難以全局查看數(shù)據(jù)團(tuán)隊(duì)儲(chǔ)存的所有數(shù)據(jù)。缺失清晰的數(shù)據(jù)主題和數(shù)據(jù)分類管理梗顺。數(shù)據(jù)標(biāo)準(zhǔn)缺失
缺少數(shù)據(jù)標(biāo)準(zhǔn)文件泡孩，數(shù)據(jù)理解、接入方式靠口口相傳寺谤，尋找對(duì)應(yīng)的源系統(tǒng)和接口人時(shí)仑鸥，效率會(huì)比較低。數(shù)據(jù)指標(biāo)变屁、數(shù)據(jù)服務(wù)管理
沒(méi)有統(tǒng)一的指標(biāo)管理體系和文件眼俊，系統(tǒng)越來(lái)越龐大，指標(biāo)體系復(fù)雜度會(huì)不斷增加粟关；同時(shí)指標(biāo)分散在各個(gè)報(bào)表疮胖、看板和系統(tǒng)，定義方法和口徑闷板，難以管理澎灸。指標(biāo)的建設(shè)和維護(hù)依賴于分析人員；挖掘指標(biāo)價(jià)值的困難遮晚。其他方面：數(shù)據(jù)血緣性昭、數(shù)據(jù)質(zhì)量、數(shù)據(jù)告警等
解決方案&步驟的概要
數(shù)據(jù)目錄
數(shù)據(jù)目錄是構(gòu)建企業(yè)數(shù)據(jù)架構(gòu)體系的基礎(chǔ)工作县遣∶拥撸可形成企業(yè)統(tǒng)一的數(shù)據(jù)資產(chǎn)目錄，并為各業(yè)務(wù)域提供數(shù)據(jù)資產(chǎn)全景圖萧求。
- 盤點(diǎn)數(shù)據(jù)
- 數(shù)據(jù)目錄分級(jí)其兴、分域的設(shè)計(jì)
- 數(shù)據(jù)目錄的協(xié)作編輯、外部共享
標(biāo)準(zhǔn)&指標(biāo)
設(shè)計(jì)數(shù)據(jù)標(biāo)準(zhǔn)的屬性夸政，例如：系統(tǒng)來(lái)源忌警、接入方式、服務(wù)域秒梳、源系統(tǒng)接口人、數(shù)據(jù)團(tuán)隊(duì)負(fù)責(zé)人箕速、數(shù)據(jù)量酪碘、數(shù)據(jù)更新頻率、每個(gè)字段的注釋等
設(shè)計(jì)數(shù)據(jù)指標(biāo)的屬性盐茎，例如：業(yè)務(wù)含義兴垦、負(fù)責(zé)人、算法等
工具的選用
目前沒(méi)有統(tǒng)一的中臺(tái)系統(tǒng)，難以在實(shí)際數(shù)據(jù)過(guò)程中實(shí)現(xiàn)數(shù)據(jù)接入后對(duì)數(shù)據(jù)目錄的自動(dòng)更新探越，都需要人工長(zhǎng)期的維護(hù)和治理狡赐。
這三部分，都屬于知識(shí)方面的管理钦幔，在工具的選用方面應(yīng)該要滿足以下幾個(gè)方面是需求枕屉。
- 符合公司規(guī)定
- 便于協(xié)同編輯和外部共享
- 易于檢索和目錄設(shè)計(jì)
- 足夠的設(shè)計(jì)能力，滿足畫(huà)圖鲤氢、表格的輸入
案例參考
在有完善搀擂、自主開(kāi)發(fā)的數(shù)據(jù)中臺(tái)系統(tǒng)中，會(huì)支持系統(tǒng)級(jí)別的數(shù)據(jù)治理卷玉，實(shí)現(xiàn)目錄和標(biāo)準(zhǔn)的自動(dòng)更新哨颂。
數(shù)據(jù)目錄：直接在數(shù)據(jù)平臺(tái)檢索，能查到所有表以及對(duì)應(yīng)數(shù)據(jù)標(biāo)準(zhǔn)相种。
數(shù)據(jù)標(biāo)準(zhǔn)：外部進(jìn)來(lái)的數(shù)據(jù)統(tǒng)一儲(chǔ)存在云端的對(duì)象存儲(chǔ)（object store）中威恼，建表后自動(dòng)建立對(duì)應(yīng)表的數(shù)據(jù)標(biāo)準(zhǔn)，引用create table 時(shí)每個(gè)字段的comment解釋每個(gè)字段的業(yè)務(wù)含義寝并，然后到數(shù)據(jù)目錄界面完善其他信息箫措。
數(shù)據(jù)開(kāi)發(fā)規(guī)范
目前數(shù)據(jù)開(kāi)發(fā)的腳本，基本上在TM1平臺(tái)完成食茎，但TM1目前不支持開(kāi)發(fā)和生產(chǎn)腳本的分離蒂破，以及生產(chǎn)定時(shí)調(diào)度版本的控制，在多人協(xié)同編輯别渔、測(cè)試開(kāi)發(fā)附迷、版本回退的情況下，都會(huì)容易出現(xiàn)問(wèn)題哎媚。新腳本的上線也缺少監(jiān)控喇伯，如果沒(méi)有對(duì)歷史腳本保存，則難以回退拨与。
