? ? ?數(shù)據(jù)質(zhì)量提升是當(dāng)前大數(shù)據(jù)應(yīng)用基礎(chǔ)性工作曲伊,由于數(shù)據(jù)治理涉及處理任務(wù)重叽讳,使用角色多,各類技術(shù)適配復(fù)雜等因素坟募,數(shù)據(jù)質(zhì)量提升工作往往給人感覺(jué)投入大岛蚤,見效慢等錯(cuò)覺(jué)⌒概矗客觀上數(shù)據(jù)質(zhì)量治理是一個(gè)系統(tǒng)的工程涤妒,需要在機(jī)制、制度赚哗、流程她紫、工具、管理等方面綜合發(fā)力蜂奸,也是企業(yè)開展和實(shí)施數(shù)字化轉(zhuǎn)型的基礎(chǔ)性工作犁苏。國(guó)網(wǎng)已經(jīng)開展數(shù)據(jù)質(zhì)量管理工作多年,初步建立了相關(guān)數(shù)據(jù)管理的組織和基礎(chǔ)管理制度扩所。目前尚需要在統(tǒng)一規(guī)劃基礎(chǔ)上围详,深入推進(jìn)相關(guān)數(shù)據(jù)質(zhì)量管理工作。
? ? ?在具體開展上祖屏,可以解決外部數(shù)據(jù)治理經(jīng)驗(yàn)基礎(chǔ)上助赞,從數(shù)據(jù)溯源、業(yè)務(wù)適配袁勺、技術(shù)支持雹食、流程規(guī)范和工具部署等方面逐層落實(shí),系統(tǒng)推進(jìn)期丰。
一群叶、總體思路
? ? 按照以應(yīng)用促治理的原則吃挑,選擇部分省市試點(diǎn),結(jié)合當(dāng)前開展的監(jiān)測(cè)業(yè)務(wù)和運(yùn)監(jiān)管理要求街立,通過(guò)強(qiáng)化基礎(chǔ)管理舶衬,提高數(shù)據(jù)管控質(zhì)量,細(xì)化流程管理赎离,提高數(shù)據(jù)聯(lián)合治理逛犹,細(xì)化數(shù)據(jù)運(yùn)營(yíng),提高業(yè)務(wù)目標(biāo)導(dǎo)向梁剔,部署數(shù)據(jù)工具虽画,提高數(shù)據(jù)質(zhì)量管理。
? ?通過(guò)數(shù)據(jù)荣病、業(yè)務(wù)码撰、技術(shù)、管理个盆、工具五個(gè)層面的綜合作用灸拍,持續(xù)提升數(shù)據(jù)質(zhì)量管理水平。強(qiáng)化數(shù)據(jù)管理砾省,重點(diǎn)做好集團(tuán)歸集數(shù)據(jù)的質(zhì)量稽核和資產(chǎn)目錄工作;強(qiáng)化業(yè)務(wù)適配混槐,聯(lián)合業(yè)務(wù)部門組好數(shù)據(jù)需求的精準(zhǔn)對(duì)接编兄;強(qiáng)化技術(shù)支持,通過(guò)系統(tǒng)接口方式完成數(shù)據(jù)的自動(dòng)化部署声登;強(qiáng)化基礎(chǔ)管理狠鸳,建立集團(tuán)省市三級(jí)數(shù)據(jù)質(zhì)量管理機(jī)制;強(qiáng)化工具支持悯嗓,通過(guò)系列輕量數(shù)據(jù)工具固化數(shù)據(jù)質(zhì)量質(zhì)量成果并鼓勵(lì)數(shù)據(jù)質(zhì)量治理的參與人件舵。
二、治理措施
[if !supportLists](一)?[endif]精細(xì)數(shù)據(jù)溯源脯厨,提升歸集數(shù)據(jù)質(zhì)量
?????當(dāng)前運(yùn)監(jiān)中心基于數(shù)據(jù)質(zhì)量管理和應(yīng)用要求铅祸,每月固定從網(wǎng)省歸集相關(guān)的業(yè)務(wù)運(yùn)營(yíng)數(shù)據(jù)。但在歸集工作中合武,存在歸集數(shù)據(jù)和規(guī)模不匹配临梗,數(shù)據(jù)字段缺失或數(shù)據(jù)不合理等問(wèn)題,而上述問(wèn)題的發(fā)現(xiàn)當(dāng)前主要通過(guò)人工手段進(jìn)行數(shù)據(jù)稽核稼跳。結(jié)合當(dāng)前現(xiàn)狀盟庞,需要從數(shù)據(jù)規(guī)則、數(shù)據(jù)匹配汤善、數(shù)據(jù)趨勢(shì)和負(fù)面清單四個(gè)方面細(xì)化數(shù)據(jù)稽核工作什猖,提升數(shù)據(jù)歸集質(zhì)量票彪。
[if !supportLists]1、[endif]細(xì)化歸集數(shù)據(jù)規(guī)范
集團(tuán)層面需要建立統(tǒng)一的歸集數(shù)據(jù)庫(kù)不狮,以保證合規(guī)數(shù)據(jù)的便捷調(diào)用和處理降铸。為了保證各網(wǎng)省上傳的數(shù)據(jù)準(zhǔn)確合理,需要細(xì)化和規(guī)范歸集數(shù)據(jù)要求荤傲。重點(diǎn)從數(shù)據(jù)來(lái)源垮耳,數(shù)據(jù)字段、數(shù)據(jù)規(guī)模遂黍、數(shù)據(jù)周期终佛、數(shù)據(jù)安全等方面進(jìn)行。在數(shù)據(jù)來(lái)源上雾家,重點(diǎn)明確對(duì)接的系統(tǒng)铃彰,以保證數(shù)據(jù)來(lái)源的一致性。在數(shù)據(jù)字段上芯咧,要對(duì)數(shù)據(jù)值進(jìn)行統(tǒng)一的規(guī)范牙捉。在數(shù)據(jù)規(guī)模上,重點(diǎn)明確歸集數(shù)據(jù)的取值范圍和覆蓋內(nèi)容敬飒。數(shù)據(jù)周期主要是對(duì)數(shù)據(jù)的時(shí)效要求邪铲。數(shù)據(jù)安全是指數(shù)據(jù)上傳前所需完成的脫敏要求∥揶郑基于52項(xiàng)運(yùn)監(jiān)常態(tài)監(jiān)測(cè)工作带到、14個(gè)業(yè)務(wù)部門共享需求等信息,匹配相關(guān)數(shù)據(jù)需求英染,明確數(shù)據(jù)來(lái)源揽惹,基本數(shù)據(jù)質(zhì)量要求,數(shù)據(jù)獲取的流程等信息四康。涵蓋數(shù)據(jù)分類搪搏、數(shù)據(jù)歸屬、數(shù)據(jù)字段闪金、數(shù)據(jù)形式疯溺、數(shù)據(jù)時(shí)效等。
[if !supportLists]2哎垦、[endif]交叉匹配數(shù)據(jù)
當(dāng)網(wǎng)省數(shù)據(jù)初步歸集后喝检,需要借助集團(tuán)數(shù)據(jù)和系統(tǒng)資源,對(duì)歸集數(shù)據(jù)進(jìn)行交叉驗(yàn)證撼泛。即通過(guò)對(duì)數(shù)據(jù)字段中統(tǒng)一單位挠说、身份、設(shè)備愿题、地址等進(jìn)行數(shù)據(jù)的關(guān)聯(lián)和匹配损俭,通過(guò)其他系統(tǒng)的數(shù)據(jù)對(duì)網(wǎng)省的歸集數(shù)據(jù)進(jìn)行交叉關(guān)聯(lián)蛙奖,以明確數(shù)據(jù)的一致性、準(zhǔn)確性和合理性杆兵。需要注意的是雁仲,作為被引用的驗(yàn)證數(shù)據(jù)要保證是質(zhì)量較高的數(shù)據(jù)。
[if !supportLists]3琐脏、[endif]數(shù)據(jù)稽核規(guī)則
梳理并持續(xù)完善歸集數(shù)據(jù)的稽核規(guī)則庫(kù)攒砖。通過(guò)分析歸集數(shù)據(jù)規(guī)模和業(yè)務(wù)單位規(guī)模,歸集數(shù)據(jù)字段的合規(guī)性日裙,有效性吹艇,形成歸集數(shù)據(jù)質(zhì)量的判定規(guī)則,規(guī)則范圍可以從歸集數(shù)據(jù)規(guī)模合理性昂拂,字段有效性受神,字段間一致性等,通過(guò)持續(xù)的積累和細(xì)化規(guī)則庫(kù)格侯,一方面便于管理人員發(fā)現(xiàn)歸集數(shù)據(jù)存在的問(wèn)題鼻听,另一方面通過(guò)規(guī)則庫(kù)的IT化部署,便于后續(xù)通過(guò)數(shù)據(jù)稽核自動(dòng)化工具的開發(fā)上線联四。
[if !supportLists]4撑碴、[endif]數(shù)據(jù)趨勢(shì)分析
通過(guò)歸集數(shù)據(jù)庫(kù)的建立,可以形成各類常態(tài)歸集數(shù)據(jù)的歷史數(shù)據(jù)朝墩,進(jìn)而形成各單位各類指標(biāo)數(shù)據(jù)的上下限數(shù)據(jù)痕跡灰羽,通過(guò)對(duì)歸集數(shù)據(jù)各字段數(shù)據(jù)值的判定,對(duì)于符合歷史趨勢(shì)值的可以不做攔截鱼辙,對(duì)于超出歷史極限值或出現(xiàn)較大異常增長(zhǎng)和降低的數(shù)據(jù)作為預(yù)警數(shù)據(jù)供人工判斷。通過(guò)簡(jiǎn)歷歷史數(shù)據(jù)趨勢(shì)規(guī)則玫镐,便于在第一時(shí)間判定歸集數(shù)據(jù)的質(zhì)量倒戏。
[if !supportLists]5、[endif]負(fù)面清單跟蹤
歸集數(shù)據(jù)的數(shù)據(jù)稽核工作是一個(gè)常態(tài)化的長(zhǎng)期性工作恐似,在數(shù)據(jù)稽核中出現(xiàn)的問(wèn)題有的可以當(dāng)前解決杜跷,有些由于技術(shù)或組織的原因需要持續(xù)跟蹤。為了便于跟蹤數(shù)據(jù)稽核中出現(xiàn)的問(wèn)題矫夷,并形成相關(guān)問(wèn)題解決的閉環(huán)機(jī)制葛闷。建立歸集數(shù)據(jù)的負(fù)面清單。清單中以數(shù)據(jù)和使用單位為對(duì)象双藕,分別記錄相關(guān)數(shù)據(jù)稽核中存在的問(wèn)題淑趾。可以將數(shù)據(jù)問(wèn)題分類為已解決忧陪,待解決扣泊,待支持三種類型近范。已解決主要定義數(shù)據(jù)問(wèn)題已經(jīng)整改,待解決是問(wèn)題正在解決中延蟹,待支持评矩,是需要技術(shù)支持完成問(wèn)題的確認(rèn)和整改。通過(guò)負(fù)面清單管理阱飘,一方面記錄和分析共性的數(shù)據(jù)問(wèn)題斥杜,另一方面避免重復(fù)問(wèn)題的往復(fù),將資源集中在可以馬上產(chǎn)生效益的問(wèn)題解決上沥匈。
[if !supportLists](二)?[endif]適配業(yè)務(wù)需求蔗喂,形成數(shù)據(jù)需求圖譜
???數(shù)據(jù)的價(jià)值在于應(yīng)用。以業(yè)務(wù)為導(dǎo)向咐熙,合理控制數(shù)據(jù)規(guī)模弱恒,滿足當(dāng)期業(yè)務(wù)分析需求,是推進(jìn)數(shù)據(jù)質(zhì)量提升工作的基礎(chǔ)棋恼。脫離業(yè)務(wù)需求分析返弹,數(shù)據(jù)質(zhì)量治理的范圍和要求就缺失了目標(biāo),數(shù)據(jù)質(zhì)量就缺少了可以衡量的準(zhǔn)確標(biāo)尺爪飘。
??1义起、建立業(yè)務(wù)需求數(shù)據(jù)對(duì)照表
???在集團(tuán)統(tǒng)計(jì)歸集數(shù)據(jù)庫(kù)管理基礎(chǔ)上,各業(yè)務(wù)單位根據(jù)當(dāng)前數(shù)據(jù)庫(kù)的資源情況师崎,提出并反饋?zhàn)陨淼臉I(yè)務(wù)分析要求默终。并就相關(guān)數(shù)據(jù)質(zhì)量要求如字段、取值犁罩、周期等齐蔽。集團(tuán)通過(guò)收集各業(yè)務(wù)單位的數(shù)據(jù)需求,綜合評(píng)估當(dāng)前歸集數(shù)據(jù)床估,形成業(yè)務(wù)-數(shù)據(jù)對(duì)照表含滴。通過(guò)此種方式,以更好的覆蓋業(yè)務(wù)單位的數(shù)據(jù)需求丐巫,同時(shí)在后續(xù)數(shù)據(jù)質(zhì)量管理上谈况,綜合業(yè)務(wù)部門意見綜合治理。
??2递胧、形成業(yè)務(wù)模型數(shù)據(jù)稽核規(guī)則
通過(guò)多系統(tǒng)數(shù)據(jù)規(guī)則交叉適配碑韵,數(shù)據(jù)規(guī)則稽核后的歸集數(shù)據(jù)某種程度上經(jīng)過(guò)初步的數(shù)據(jù)治理,但是否滿足業(yè)務(wù)部門的應(yīng)用需求還需要結(jié)合業(yè)務(wù)分析的具體場(chǎng)景和使用過(guò)程來(lái)判斷缎脾。通過(guò)總結(jié)梳理業(yè)務(wù)分析目標(biāo)祝闻,形成基于特定需求的業(yè)務(wù)模型,一方面便于數(shù)據(jù)的分析使用遗菠,另一方面形成了初步的數(shù)據(jù)質(zhì)量判斷規(guī)則治筒,從業(yè)務(wù)應(yīng)用角度對(duì)數(shù)據(jù)的質(zhì)量做了新的定義和要求屉栓。如通過(guò)地區(qū)用電量模型能夠評(píng)估數(shù)據(jù)是否在值是否在歷史或同類地區(qū)數(shù)據(jù)值范圍,以便于發(fā)現(xiàn)異常數(shù)據(jù)耸袜,并判斷數(shù)據(jù)是否存在異常友多,定位數(shù)據(jù)問(wèn)題便于后續(xù)應(yīng)用俊性。
??3耙旦、業(yè)務(wù)需求數(shù)據(jù)反饋表
通過(guò)業(yè)務(wù)數(shù)據(jù)反饋表,主要是配合業(yè)務(wù)需求表序矩,通過(guò)業(yè)務(wù)數(shù)據(jù)模型后蜈抓,就相關(guān)模型規(guī)則启绰,當(dāng)期和往期業(yè)務(wù)數(shù)據(jù)質(zhì)量綜合應(yīng)用情況,以量表的方式反饋給業(yè)務(wù)部門沟使,便于業(yè)務(wù)部門后續(xù)業(yè)務(wù)分析委可,并在業(yè)務(wù)規(guī)則或模型變化的時(shí)候,及時(shí)和數(shù)據(jù)管理單位保持一致腊嗡。在實(shí)際應(yīng)用過(guò)程中着倾,可以將業(yè)務(wù)數(shù)據(jù)匹配表和業(yè)務(wù)數(shù)據(jù)反饋表綜合,便于相關(guān)管理工具的使用燕少。
[if !supportLists](三)?[endif]綜合技術(shù)支持卡者,形成獨(dú)立分析環(huán)境
為了便于歸集數(shù)據(jù)庫(kù)的管理和應(yīng)用,需要建立獨(dú)立專業(yè)的數(shù)據(jù)分析環(huán)境客们。通過(guò)專業(yè)化的平臺(tái)崇决,一方面便于業(yè)務(wù)單位登錄和使用,另一方面底挫,通過(guò)部署專業(yè)的管理工具和技術(shù)支持恒傻,提升數(shù)據(jù)歸集效率,并持續(xù)推動(dòng)數(shù)據(jù)的深度應(yīng)用
[if !supportLists]1建邓、[endif]建立基于歸集數(shù)據(jù)的數(shù)據(jù)倉(cāng)庫(kù)
通過(guò)歸集數(shù)據(jù)的獨(dú)立部署盈厘,形成歸集數(shù)據(jù)倉(cāng)庫(kù),并通過(guò)開源工具的部署涝缝,對(duì)接全業(yè)務(wù)平臺(tái)。支持調(diào)用大數(shù)據(jù)平臺(tái)的計(jì)算能力譬重。對(duì)于通過(guò)數(shù)據(jù)質(zhì)量核查的數(shù)據(jù)拒逮,定期導(dǎo)入數(shù)據(jù)倉(cāng)庫(kù)。數(shù)據(jù)倉(cāng)庫(kù)處理后的數(shù)據(jù)臀规,可以和大數(shù)據(jù)平臺(tái)雙向?qū)犹苍Mㄟ^(guò)數(shù)據(jù)倉(cāng)庫(kù)的部署,可以將滿足應(yīng)用要求的合規(guī)的數(shù)據(jù)進(jìn)行統(tǒng)一部署塔嬉,并根據(jù)后續(xù)應(yīng)用和對(duì)接要求玩徊,做統(tǒng)一的數(shù)據(jù)融合和標(biāo)準(zhǔn)化處理租悄。通過(guò)此項(xiàng)工作,將大量的數(shù)據(jù)處理過(guò)程進(jìn)行了固化恩袱,避免數(shù)據(jù)的重復(fù)處理泣棋,并形成了高質(zhì)量數(shù)據(jù)的部署和存儲(chǔ)。在具體存儲(chǔ)方式上畔塔,可以采用分布式方式潭辈,數(shù)據(jù)倉(cāng)庫(kù)進(jìn)行總體的調(diào)用。
[if !supportLists]2澈吨、[endif]通過(guò)技術(shù)手段數(shù)據(jù)采集稽核的自動(dòng)化
在數(shù)據(jù)質(zhì)量管理過(guò)程中把敢,前期通過(guò)業(yè)務(wù)運(yùn)營(yíng)和人工梳理方式,形成了大量的數(shù)據(jù)規(guī)則谅辣,數(shù)據(jù)匹配規(guī)則修赞,數(shù)據(jù)業(yè)務(wù)模型等,通過(guò)將其部署到數(shù)據(jù)倉(cāng)庫(kù)上桑阶,建立數(shù)據(jù)倉(cāng)庫(kù)實(shí)時(shí)接口柏副,在數(shù)據(jù)歸集環(huán)節(jié),就實(shí)現(xiàn)數(shù)據(jù)質(zhì)量的稽核和質(zhì)量評(píng)估联逻,并將結(jié)果反饋給相關(guān)單位搓扯。從數(shù)據(jù)歸集的源頭,提升了數(shù)據(jù)歸集的質(zhì)量包归。
[if !supportLists]3锨推、[endif]拓展應(yīng)用接口,形成能力開放
區(qū)別于其他數(shù)據(jù)平臺(tái)公壤,歸集數(shù)據(jù)倉(cāng)庫(kù)是以業(yè)務(wù)應(yīng)用為導(dǎo)向的换可,所以在系統(tǒng)建設(shè)上會(huì)設(shè)計(jì)能力開發(fā)界面,面向前端提供業(yè)務(wù)分析厦幅,數(shù)據(jù)評(píng)估等工具沾鳄。便于業(yè)務(wù)人員快速的關(guān)聯(lián)數(shù)據(jù)源,實(shí)現(xiàn)對(duì)數(shù)據(jù)源的質(zhì)量探查和篩選确憨,并通過(guò)可視化工具對(duì)數(shù)據(jù)進(jìn)行初步分析和分享译荞。滿足短平快的數(shù)據(jù)探索和分析過(guò)程。
[if !supportLists](四)?[endif]強(qiáng)化基礎(chǔ)管理休弃,規(guī)范數(shù)據(jù)稽核流程
前期實(shí)踐過(guò)程中吞歼,數(shù)據(jù)治理的拿點(diǎn)不在發(fā)現(xiàn)問(wèn)題而在于解決問(wèn)題。由于系統(tǒng)建設(shè)單位塔猾,責(zé)任主體分散篙骡,往往一個(gè)小的數(shù)據(jù)問(wèn)題因?yàn)檎也坏綄?duì)的人而變的困難。所以進(jìn)一步夯實(shí)數(shù)據(jù)質(zhì)量基礎(chǔ)管理工作,是保證上述工作的基礎(chǔ)
[if !supportLists]1糯俗、[endif]形成總部-網(wǎng)省-地市三級(jí)評(píng)估機(jī)制尿褪。
明確數(shù)據(jù)質(zhì)量治理目標(biāo),形成工作制度和內(nèi)容得湘,集團(tuán)總部統(tǒng)籌杖玲,建立三級(jí)協(xié)同的數(shù)據(jù)質(zhì)量管理工作機(jī)制,其中總部負(fù)責(zé)制定數(shù)據(jù)質(zhì)量標(biāo)準(zhǔn)忽刽、提升計(jì)劃天揖;網(wǎng)省負(fù)責(zé)依據(jù)標(biāo)準(zhǔn)核查數(shù)據(jù)質(zhì)量、監(jiān)控?cái)?shù)據(jù)質(zhì)量指標(biāo)跪帝、督促問(wèn)題整改今膊;地市公司負(fù)責(zé)具體落實(shí)數(shù)據(jù)質(zhì)量問(wèn)題整改要求。完善總部-網(wǎng)省-地市三級(jí)溝通機(jī)制伞剑。通過(guò)培訓(xùn)和標(biāo)準(zhǔn)手冊(cè)保證相關(guān)單位準(zhǔn)確理解數(shù)據(jù)歸集要求斑唬,并收集相關(guān)數(shù)據(jù)歸集問(wèn)題
[if !supportLists]2、[endif]完善數(shù)據(jù)稽核管理流程黎泣。
為保證數(shù)據(jù)歸集工作及時(shí)恕刘、高效,需要建立標(biāo)準(zhǔn)化的數(shù)據(jù)質(zhì)量稽核流程抒倚『肿牛基礎(chǔ)數(shù)據(jù)系統(tǒng)檢測(cè),專項(xiàng)業(yè)務(wù)數(shù)據(jù)專項(xiàng)評(píng)估托呕,數(shù)據(jù)質(zhì)量問(wèn)題及時(shí)通報(bào)含蓉,并及時(shí)同步相關(guān)責(zé)任主體。形式數(shù)據(jù)采集项郊、檢查馅扣、反饋、復(fù)驗(yàn)的閉環(huán)流程着降。建立數(shù)據(jù)質(zhì)量檔案制度差油。統(tǒng)計(jì)和評(píng)估各單位歷史歸集數(shù)據(jù)的規(guī)模、類別任洞、質(zhì)量蓄喇、趨勢(shì)等信息,便于各單位針對(duì)性的提升數(shù)據(jù)質(zhì)量管理中的薄弱點(diǎn)交掏。
[if !supportLists]3妆偏、[endif]建立數(shù)據(jù)質(zhì)量評(píng)估指標(biāo)體系。
圍繞數(shù)據(jù)質(zhì)量治理工作的特點(diǎn)耀销,建立覆蓋數(shù)據(jù)部署楼眷、數(shù)據(jù)加工、數(shù)據(jù)分析和數(shù)據(jù)應(yīng)用層面的質(zhì)量指標(biāo)體系熊尉,通過(guò)定量和定性分析相結(jié)合罐柳,定期評(píng)估當(dāng)前數(shù)據(jù)質(zhì)量提升工作的成果和不足,并基于指標(biāo)分析狰住,針對(duì)性的做好數(shù)據(jù)質(zhì)量提升工作
[if !supportLists](五)?[endif]部署輕量工具张吉,自助數(shù)據(jù)質(zhì)量管理
開發(fā)數(shù)據(jù)質(zhì)量稽核工具,促進(jìn)數(shù)據(jù)共享催植。為全面踐行“用數(shù)據(jù)說(shuō)話肮蛹、用數(shù)據(jù)管理、用數(shù)據(jù)決策创南、用數(shù)據(jù)創(chuàng)新”的理念伦忠,支持業(yè)務(wù)需求目標(biāo),通過(guò)開發(fā)數(shù)據(jù)質(zhì)量稽核工具稿辙,支持集團(tuán)和網(wǎng)省數(shù)據(jù)的定期歸集昆码、處理、分析和部署邻储。實(shí)現(xiàn)日常數(shù)據(jù)歸集工作自動(dòng)化赋咽,并支持業(yè)務(wù)人員根據(jù)需求,定義數(shù)據(jù)分析質(zhì)量要求吨娜,滿足業(yè)務(wù)人員快速脓匿、定制調(diào)取數(shù)據(jù)的管理要求。全面評(píng)估當(dāng)前數(shù)據(jù)的完整性宦赠、合規(guī)性陪毡、一致性、及時(shí)性袱瓮、準(zhǔn)確性缤骨。
最終實(shí)現(xiàn)常態(tài)化、體系化尺借、標(biāo)準(zhǔn)化绊起、自動(dòng)化的全面數(shù)據(jù)質(zhì)量管理,以達(dá)到數(shù)據(jù)質(zhì)量控制的全面性燎斩、可控性虱歪、可度量性、可迅速定位和有效解決栅表。主要功能如下:
[if !supportLists]1笋鄙、[endif]基礎(chǔ)信息管理
支持多種方式的信息采集。包括通過(guò)Agent怪瓶、數(shù)據(jù)查詢萧落、日志監(jiān)控、消息服務(wù)等多種方式進(jìn)行實(shí)時(shí)的信息采集。針對(duì)數(shù)據(jù)的基本信息進(jìn)行管理找岖,包括編碼陨倡、語(yǔ)義名稱、業(yè)務(wù)描述许布、口徑描述兴革、歸屬分類等;
[if !supportLists]2蜜唾、[endif]數(shù)據(jù)分類管理
采集各類IT 資源的配置數(shù)據(jù)杂曲、性能數(shù)據(jù)、告警數(shù)據(jù)進(jìn)行采集袁余,自動(dòng)地將服務(wù)器擎勘、網(wǎng)絡(luò)設(shè)備、應(yīng)用系統(tǒng)等基本配置信息自動(dòng)導(dǎo)入管控平臺(tái)中颖榜,確保配置管理系統(tǒng)中的數(shù)據(jù)與實(shí)際生產(chǎn)環(huán)境一致货抄,為支持IT服務(wù)流程管理以及IT信息資產(chǎn)管理提供基礎(chǔ)信息服務(wù)提供保障
按照分析主體和業(yè)務(wù)進(jìn)行分類,分析主體從客戶朱转、渠道蟹地、資源、合作伙伴藤为、員工怪与、競(jìng)爭(zhēng)對(duì)手、產(chǎn)品等進(jìn)行分類缅疟;按照業(yè)務(wù)進(jìn)行分類分别;
[if !supportLists]3、[endif]數(shù)據(jù)溯源管理
兩個(gè)方面:一方面數(shù)據(jù)字典與物理表及字段的對(duì)應(yīng)關(guān)系管理存淫,例如品牌這個(gè)數(shù)據(jù)字典耘斩,可能對(duì)應(yīng)多個(gè)物理表的字段;另一方面針對(duì)物理表的生成及其生成規(guī)則進(jìn)行管理桅咆,形成數(shù)據(jù)生成拓?fù)鋱D括授;
[if !supportLists]4、[endif]生命周期管理
主要對(duì)數(shù)據(jù)的上線時(shí)間岩饼、存儲(chǔ)周期荚虚、生成周期、使用頻率籍茧、下線時(shí)間等信息進(jìn)行管理版述。
[if !supportLists]5、[endif]數(shù)據(jù)質(zhì)量監(jiān)控
預(yù)定義了多種稽核算法寞冯,同時(shí)也支持自定義的稽核算法
檢查方法檢查描述適用場(chǎng)景
數(shù)值檢查指標(biāo)數(shù)值與閾值上下限的比較,閾值可以手工錄入經(jīng)驗(yàn)值或采用n個(gè)周期內(nèi)指標(biāo)的最大最小值作為閾值的上下限渴析,需要考慮周末和節(jié)假日對(duì)指標(biāo)的影響等主要適用變化趨勢(shì)平穩(wěn)的業(yè)務(wù)關(guān)鍵指標(biāo)
波動(dòng)檢查波動(dòng)檢查包括同比波動(dòng)檢查和環(huán)比波動(dòng)檢查晚伙,先計(jì)算指標(biāo)的同比或環(huán)比波動(dòng)率,然后與預(yù)定的波動(dòng)率上下限(閾值)進(jìn)行比較俭茧,閾值可以手工錄入經(jīng)驗(yàn)值或采用n個(gè)周期內(nèi)指標(biāo)的最大最小值作為閾值的上下限撬腾,需要考慮周末和節(jié)假日對(duì)指標(biāo)的影響等如業(yè)務(wù)發(fā)展類指標(biāo)、用戶數(shù)類指標(biāo)等
平衡性檢查通過(guò)對(duì)若干個(gè)指標(biāo)值的簡(jiǎn)單四則運(yùn)算(加恢恼、減、乘胰默、除)场斑,來(lái)檢驗(yàn)各個(gè)指標(biāo)間潛在的平衡或其他比較關(guān)系需要進(jìn)行相關(guān)性檢查的指標(biāo),如日指標(biāo)匯總與月指標(biāo)的平衡檢查
加權(quán)波動(dòng)檢查通過(guò)對(duì)單個(gè)指標(biāo)的基礎(chǔ)檢查結(jié)果和影響因素的加權(quán)計(jì)算分析牵署,綜合檢查指標(biāo)的波動(dòng)和變化情況
關(guān)聯(lián)性檢查定義相關(guān)性指標(biāo),和指標(biāo)相關(guān)系數(shù),如正強(qiáng)相關(guān)漏隐,負(fù)相關(guān),定義兩個(gè)指標(biāo)當(dāng)前值是否滿足相關(guān)性的特點(diǎn)主要用于考察多個(gè)指標(biāo)之間的邏輯關(guān)系是否符合規(guī)律,如量收匹配的問(wèn)題
一致性檢查計(jì)算一個(gè)指標(biāo)在不同的采集計(jì)算點(diǎn)的值是否一致如用戶數(shù)在倉(cāng)庫(kù)底層的值,在應(yīng)用匯總表值,在前臺(tái)應(yīng)用1奴迅,應(yīng)用2中的值是否一致
值域評(píng)判直接對(duì)某個(gè)值進(jìn)行評(píng)判或是否在允許的取值范圍內(nèi)容進(jìn)行評(píng)判?
[if !supportLists]6青责、[endif]質(zhì)量信息預(yù)警與共享
能夠?qū)崟r(shí)展示全部的實(shí)時(shí)的信息,可以讓運(yùn)維監(jiān)控人員一目了然看到系統(tǒng)各模塊運(yùn)行的進(jìn)度取具、質(zhì)量和告警脖隶。根據(jù)時(shí)間發(fā)生的順序,可分為事前質(zhì)量檢查暇检、事中運(yùn)行監(jiān)控产阱、事后歸納總結(jié),并能對(duì)各過(guò)程中所產(chǎn)生事件及信息形成告警信息块仆,通過(guò)短信构蹬、彩信、郵件的形式進(jìn)行發(fā)送
三悔据、支撐保障
[if !supportLists](一)?[endif]組織保障
建立數(shù)據(jù)質(zhì)量治理專項(xiàng)小組庄敛。為推進(jìn)數(shù)據(jù)質(zhì)量專項(xiàng)管理,建立總部-網(wǎng)省協(xié)同專項(xiàng)小組科汗。重點(diǎn)聚焦數(shù)據(jù)采集環(huán)節(jié)的質(zhì)量提升工作藻烤,規(guī)范數(shù)據(jù)歸集制度,細(xì)化數(shù)據(jù)質(zhì)量檢查方法头滔,開發(fā)數(shù)據(jù)質(zhì)量快捷評(píng)估工具隐绵。
形成三級(jí)數(shù)據(jù)質(zhì)量稽核制度。建立總部拙毫、網(wǎng)省依许、地市三級(jí)的數(shù)據(jù)質(zhì)量巡檢機(jī)制,明確責(zé)任主體和責(zé)任人缀蹄,貫徹落實(shí)數(shù)據(jù)質(zhì)量治理專項(xiàng)小組的工作安排峭跳,宣傳并配合做好數(shù)據(jù)質(zhì)量提升工作膘婶。
[if !supportLists](二)?[endif]技術(shù)保障
面向數(shù)據(jù)質(zhì)量提升工作,需要建立配套的技術(shù)保障團(tuán)隊(duì)蛀醉,近期細(xì)化數(shù)據(jù)檢測(cè)規(guī)則的IT化工具開發(fā)悬襟,支持相關(guān)數(shù)據(jù)質(zhì)量知識(shí)庫(kù)建立。遠(yuǎn)期重點(diǎn)開發(fā)數(shù)據(jù)治理一體化運(yùn)營(yíng)平臺(tái)及各項(xiàng)輕量級(jí)的面向業(yè)務(wù)前臺(tái)的數(shù)據(jù)產(chǎn)品拯刁。
[if !supportLists](三)?[endif]資源保障
數(shù)據(jù)質(zhì)量治理工作是一項(xiàng)常態(tài)化的持續(xù)工組脊岳。需要每年安排固定的投入,組織專項(xiàng)的活動(dòng)垛玻,持續(xù)鼓勵(lì)和營(yíng)造數(shù)據(jù)質(zhì)量——如果你認(rèn)為我是你在找的人割捅,請(qǐng)和
我聯(lián)系,讓我們玩點(diǎn)不一樣的帚桩。yanoon@163.com
治理的文化亿驾。