# 表的分類
1.實(shí)體表
現(xiàn)實(shí)存在的業(yè)務(wù)對(duì)象朋鞍。
2.維度表
對(duì)應(yīng)一些業(yè)務(wù)狀態(tài),編號(hào)的解釋表妥箕。
3.事務(wù)性事實(shí)表
隨著業(yè)務(wù)發(fā)生不斷產(chǎn)生的數(shù)據(jù)滥酥,一旦發(fā)生不會(huì)再變化。
4.周期性事實(shí)表
隨著業(yè)務(wù)發(fā)生不斷產(chǎn)生的數(shù)據(jù)畦幢。
# 表的同步策略
全量表坎吻,增量表,新增及變化表
1.實(shí)體表同步策略
每日全量
2.維度表同步策略
每日全量
3.事務(wù)型事實(shí)表同步策略
每日增量表宇葱,即每日創(chuàng)建一個(gè)分區(qū)存儲(chǔ)瘦真。
4.周期型事實(shí)表同步策略
每日新增及變化量,包括了當(dāng)日的新增和修改黍瞧。
# 業(yè)務(wù)數(shù)倉架構(gòu)圖
業(yè)務(wù)系統(tǒng)rds
maxcompute
rds
quickbi
1.業(yè)務(wù)表結(jié)構(gòu)
2.業(yè)務(wù)數(shù)倉分層
# rds服務(wù)器準(zhǔn)備
1.rds服務(wù)器購買
2.rds服務(wù)器配置
# 創(chuàng)建業(yè)務(wù)數(shù)據(jù)庫及表
# ods層數(shù)據(jù)表創(chuàng)建
# 數(shù)據(jù)同步
1.建立數(shù)據(jù)同步節(jié)點(diǎn)
2.每日全量表同步
3.每日增量表同步
4.每日及變化表同步
5.ods層調(diào)度
# dwd層
對(duì)ods層數(shù)據(jù)進(jìn)行一定清洗加工诸尽,把原本關(guān)系型表結(jié)構(gòu)進(jìn)行一定程度的維度退化。
1.建表語句
2.手動(dòng)導(dǎo)入dwd層
3.數(shù)據(jù)導(dǎo)入腳本
# dws層
針對(duì)明細(xì)粒度的數(shù)據(jù)進(jìn)行短周期的匯總印颤。面向分析對(duì)象的主題聚集建模您机。
1.建標(biāo)語句
2.手動(dòng)導(dǎo)入dws層
3.數(shù)據(jù)導(dǎo)入腳本
# ads層
1.建表語句
2.手動(dòng)導(dǎo)入ads層
3.數(shù)據(jù)導(dǎo)入腳本
# 作業(yè)調(diào)度