子系統(tǒng)五:錯(cuò)誤事件處理系統(tǒng)
主要目的是記錄ETL流水線過程中所有質(zhì)量單元出現(xiàn)的錯(cuò)誤時(shí)間。也可用于其他應(yīng)用之間傳輸數(shù)據(jù)的集成應(yīng)用中黄刚。
如圖:
錯(cuò)誤事件事實(shí)表:
????主表足画。包含錯(cuò)誤日歷日期脖捻,錯(cuò)誤產(chǎn)生的批處理作業(yè)以及產(chǎn)生錯(cuò)誤的單元模塊弥搞。
????每個(gè)錯(cuò)誤在表中用一行表示。
????包含一個(gè)單列的主鍵抢蚀,作為錯(cuò)誤時(shí)間的鍵镀层。
批處理維度:
????可以泛華為針對(duì)數(shù)據(jù)流的處理步驟,而不僅僅是針對(duì)批處理皿曲。
錯(cuò)誤事件細(xì)節(jié)事實(shí)表:
????每行確定與錯(cuò)誤有關(guān)的某個(gè)特定記錄的個(gè)體字段唱逢。因此某個(gè)高級(jí)別的錯(cuò)誤事件事實(shí)表中的一行激活的復(fù)雜結(jié)構(gòu)或業(yè)務(wù)規(guī)則對(duì)應(yīng)錯(cuò)誤細(xì)節(jié)事實(shí)表中的多行。
子系統(tǒng)六:審計(jì)系統(tǒng)
審計(jì)維度用于后端裝配ETL系統(tǒng)的每個(gè)事實(shí)表屋休。
在貨運(yùn)事實(shí)表將按照批處理文件每天更新一次坞古,假設(shè)一天的工作順利進(jìn)行沒有產(chǎn)生錯(cuò)誤標(biāo)記,此時(shí)將建立唯一的一行審計(jì)維度劫樟,將被附加到今天所加載的所有事實(shí)行痪枫。所有的分類,分?jǐn)?shù)叠艳,版本號(hào)都將相同
假設(shè)出現(xiàn)異常情況奶陈,則需要不止一個(gè)審計(jì)維度行用于標(biāo)記這一情況。
子系統(tǒng)七:重復(fù)數(shù)據(jù)處理系統(tǒng)
重復(fù)數(shù)據(jù)刪除:需要考慮保留那些數(shù)據(jù)
匹配和數(shù)據(jù)保留:按照來自所有可能源系統(tǒng)的列值并且清楚的定義了優(yōu)先順序的業(yè)務(wù)規(guī)則附较,用于確保每個(gè)存在的行具有最佳的保留屬性尿瞭。
子系統(tǒng)八:一致性系統(tǒng)
一致性處理包含所有需要調(diào)整維度中的一些或者所有列的內(nèi)容以與數(shù)據(jù)倉(cāng)庫(kù)中其他相同或者類似的維度保持一致的步驟。
建立一致性維度的過程需要采用敏捷方法翅睛,對(duì)兩個(gè)需要一致性處理的維度声搁,他們必須至少有一個(gè)具有相同名稱和內(nèi)容的公共屬性。
數(shù)據(jù)僧 歷史文章
數(shù)據(jù)倉(cāng)庫(kù)-概述-讀書筆記一
數(shù)據(jù)倉(cāng)庫(kù)-DW/BI架構(gòu)對(duì)比-讀書筆記二
數(shù)據(jù)倉(cāng)庫(kù)-事實(shí)表/維度表技術(shù)-讀書筆記三
維度處理-數(shù)據(jù)倉(cāng)庫(kù)-讀書筆記(四)
數(shù)據(jù)倉(cāng)庫(kù)-高級(jí)事實(shí)表技術(shù)-讀書筆記五
數(shù)據(jù)倉(cāng)庫(kù)-高級(jí)維度表技術(shù)-讀書筆記六
數(shù)據(jù)倉(cāng)庫(kù)捕发,零售業(yè)務(wù)舉例疏旨,維度模型設(shè)計(jì)4步驟,讀書筆記(七)
數(shù)據(jù)倉(cāng)庫(kù)-零售業(yè)務(wù)舉例維度表設(shè)計(jì)細(xì)節(jié)-讀書筆記(八)
數(shù)據(jù)倉(cāng)庫(kù)-零售業(yè)務(wù)舉例如何提高倉(cāng)庫(kù)擴(kuò)展能力-讀書筆記(九)
數(shù)據(jù)倉(cāng)庫(kù)-零售業(yè)務(wù)中庫(kù)存如何設(shè)計(jì)-讀書筆記(十)
如何使用緩慢變化維技術(shù)
數(shù)據(jù)倉(cāng)庫(kù)-訂單管理應(yīng)該注意那些
ETL中前期數(shù)據(jù)分析扎酷、變化數(shù)據(jù)探測(cè)檐涝,數(shù)據(jù)獲取 注意事項(xiàng)
數(shù)據(jù)倉(cāng)庫(kù)基礎(chǔ)概念分享
數(shù)據(jù)僧 參考資料
數(shù)據(jù)倉(cāng)庫(kù)工具箱
如果您覺得我用心了,覺得您有所收獲法挨,麻煩關(guān)注下我吧谁榜,您的關(guān)注就是我的動(dòng)力,因?yàn)橛心惴材桑揖筒皇且粋€(gè)人在前行窃植。