一、數(shù)據(jù)倉(cāng)庫(kù)分幾層褥实?每層做什么呀狼?
(1)ODS層(Operation Data Store):原始數(shù)據(jù)層,存放原始數(shù)據(jù)损离,直接加載原始日志哥艇、數(shù)據(jù),數(shù)據(jù)保持原貌不做處理僻澎。
(2)DWD層(Data Warehouse Detail):明細(xì)數(shù)據(jù)層貌踏,結(jié)構(gòu)和粒度與原始表保持一致,對(duì)ODS層數(shù)據(jù)進(jìn)行清洗(去除空值窟勃,臟數(shù)據(jù)祖乳,超過(guò)極限范圍的數(shù)據(jù))。
(3)DWS層(Data Warehouse Service):服務(wù)數(shù)據(jù)層秉氧,以DWD為基礎(chǔ)眷昆,進(jìn)行輕度匯總。
(4)ADS層(Application Data Store):數(shù)據(jù)應(yīng)用層汁咏,為各種統(tǒng)計(jì)報(bào)表提供數(shù)據(jù)
二亚斋、數(shù)據(jù)倉(cāng)庫(kù)為什么要分層?
(1)把復(fù)雜問(wèn)題簡(jiǎn)單化
將一個(gè)復(fù)雜的任務(wù)分解成多個(gè)步驟來(lái)完成攘滩,每一層只處理單一的步驟帅刊,比較簡(jiǎn)單、并且方便定位問(wèn)題漂问。
(2)減少重復(fù)開(kāi)發(fā)
規(guī)范數(shù)據(jù)分層厚掷,通過(guò)中間層數(shù)據(jù),能夠減少極大的重復(fù)計(jì)算级解,增加一次計(jì)算結(jié)果的復(fù)用性。
(3)隔離原始數(shù)據(jù)
不論是數(shù)據(jù)的異常還是數(shù)據(jù)的敏感性田绑,使真實(shí)數(shù)據(jù)與統(tǒng)計(jì)數(shù)據(jù)解耦開(kāi)勤哗。