數(shù)據(jù)產(chǎn)品工作指北(3)-實時數(shù)倉分層

按照業(yè)務(wù)實際,數(shù)倉區(qū)分為ODS铸本、DW肮雨、SCD、RPT層箱玷,DIM維度層會貫穿所有層使用怨规,為方便后臺查詢會放到RPT層。

ODS層(表存放在ODS庫):

ODS層存放的是從業(yè)務(wù)源系統(tǒng)同步過來的數(shù)據(jù)锡足,表名增加【ODS_業(yè)務(wù)簡寫_】前綴波丰,表結(jié)構(gòu)和數(shù)據(jù)結(jié)構(gòu)保持與源系統(tǒng)一致。ODS表的分區(qū)策略是表數(shù)據(jù)量小于2萬以下的常用表建成維度表舶得,表數(shù)據(jù)量大于2萬掰烟、或者非常用的表建成分區(qū)表。

DW層(表存放在DW庫):

DW存放的是經(jīng)過初步加工的沐批,標(biāo)準(zhǔn)的纫骑,帶有時間特征的明細數(shù)據(jù),表名為范圍【DW_業(yè)務(wù)簡寫_業(yè)務(wù)名稱_(RT/NRT)】九孩,以后綴RT(實時)和NRT(非實時)作為實時數(shù)據(jù)和非實時數(shù)據(jù)(刷新頻率以日計)的區(qū)分先馆。

DW表的字段必須是規(guī)范的,命名和類型都要參照下面的命名規(guī)范躺彬,不能無腦照搬源表字段煤墙。

DW數(shù)據(jù)的處理原則是去空(對空值補NULL_ID或0值)缤底、標(biāo)準(zhǔn)化(轉(zhuǎn)換非標(biāo)數(shù)據(jù)類型和非標(biāo)準(zhǔn)的表示方法)、預(yù)關(guān)聯(lián)(關(guān)聯(lián)出明細粒度上有用的維度和其他邏輯信息)番捂。

DW表的擴展原則是支持字段(column)上的擴展而不是行(row)上的擴展个唧。意味著設(shè)計DW模型的時候就要確定業(yè)務(wù)的數(shù)據(jù)范圍,在列的設(shè)計上盡量采取最小可用的原則设预,保持模型的簡潔徙歼。

DW表的更新策略常用的有兩種:時間增量更新和主鍵更新。時間增量在非實時數(shù)倉使用得比較多鳖枕,一般采用的是DELETE-->INSERT-->EXCEPTION(ROLLBACK)的方式運行魄梯,保持數(shù)據(jù)執(zhí)行的冪等性。數(shù)據(jù)批量產(chǎn)生批量插入更新宾符,邏輯簡單酿秸,但缺點是可能會涉及到大量未更新數(shù)據(jù)的處理。主鍵更新是檢測到某行數(shù)據(jù)發(fā)生變化之后魏烫,才執(zhí)行的更新行為辣苏,涉及到的更新數(shù)據(jù)量會比較小。優(yōu)點是數(shù)據(jù)更新迅速哄褒,處理量小稀蟋,缺點是必須保持數(shù)據(jù)有唯一性主鍵,而且在有多源更新呐赡、數(shù)據(jù)物理刪除時處理邏輯會變得復(fù)雜退客。

DW表不能直接作為最終報表的查詢表。DW表的建設(shè)目的不是直接為了業(yè)務(wù)主題链嘀,奔著業(yè)務(wù)主體的目標(biāo)去開發(fā)DW表萌狂,結(jié)果是只會開發(fā)出一張自己能用的中間表。

如無必要怀泊,勿增實體(奧卡姆剃刀原則)茫藏。DW表盡量通用,不要為了某些特殊的剔除邏輯又衍生出新的同質(zhì)DW表包个,正確的做法是常用邏輯可以增加剔除標(biāo)識字段刷允,不常用邏輯則直接寫在下游業(yè)務(wù)邏輯中剔除冤留。要考慮在橫向列上擴展碧囊,而不是新增模型粗暴解決。

SCD層(表存放在SCD庫):

SCD表命名規(guī)范為【SCD_業(yè)務(wù)簡寫_業(yè)務(wù)名稱】

SCD緩慢變化維的概念旨在記錄數(shù)據(jù)的變化情況纤怒,我們采取的是拉鏈表的方式存儲糯而。原則上可以針對數(shù)據(jù)的時刻變化進行記錄,但一般只是針對統(tǒng)計周期的最小粒度做記錄泊窘。

SCD常用的用途其實是針對維表的特定字段發(fā)生變化進行記錄熄驼,只是我們?yōu)榱诉_到減少變化數(shù)據(jù)的存儲量像寒,在一些事實數(shù)據(jù)上也使用了這一技術(shù)。

SCD表的字段最好不要出現(xiàn)NULL值瓜贾,否則對比的時候可能會出錯诺祸。

RPT層(表存放在bi庫):

RPT是面向報表層的,包括報表查詢用到的匯總表(某些查詢維度較少時可以用)祭芦、明細表筷笨。RPT表的命名規(guī)范是(RPT_業(yè)務(wù)簡寫_業(yè)務(wù)名稱_(DAY/MON/WEEK/QTR/YEAR),其后綴表示表中數(shù)據(jù)的最小主時間粒度龟劲。

最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
  • 序言:七十年代末胃夏,一起剝皮案震驚了整個濱河市,隨后出現(xiàn)的幾起案子昌跌,更是在濱河造成了極大的恐慌仰禀,老刑警劉巖,帶你破解...
    沈念sama閱讀 216,692評論 6 501
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件蚕愤,死亡現(xiàn)場離奇詭異答恶,居然都是意外死亡,警方通過查閱死者的電腦和手機萍诱,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 92,482評論 3 392
  • 文/潘曉璐 我一進店門亥宿,熙熙樓的掌柜王于貴愁眉苦臉地迎上來,“玉大人砂沛,你說我怎么就攤上這事烫扼。” “怎么了碍庵?”我有些...
    開封第一講書人閱讀 162,995評論 0 353
  • 文/不壞的土叔 我叫張陵映企,是天一觀的道長。 經(jīng)常有香客問我静浴,道長堰氓,這世上最難降的妖魔是什么? 我笑而不...
    開封第一講書人閱讀 58,223評論 1 292
  • 正文 為了忘掉前任苹享,我火速辦了婚禮双絮,結(jié)果婚禮上,老公的妹妹穿的比我還像新娘得问。我一直安慰自己囤攀,他們只是感情好,可當(dāng)我...
    茶點故事閱讀 67,245評論 6 388
  • 文/花漫 我一把揭開白布宫纬。 她就那樣靜靜地躺著焚挠,像睡著了一般。 火紅的嫁衣襯著肌膚如雪漓骚。 梳的紋絲不亂的頭發(fā)上蝌衔,一...
    開封第一講書人閱讀 51,208評論 1 299
  • 那天榛泛,我揣著相機與錄音,去河邊找鬼噩斟。 笑死曹锨,一個胖子當(dāng)著我的面吹牛,可吹牛的內(nèi)容都是我干的剃允。 我是一名探鬼主播艘希,決...
    沈念sama閱讀 40,091評論 3 418
  • 文/蒼蘭香墨 我猛地睜開眼,長吁一口氣:“原來是場噩夢啊……” “哼硅急!你這毒婦竟也來了覆享?” 一聲冷哼從身側(cè)響起,我...
    開封第一講書人閱讀 38,929評論 0 274
  • 序言:老撾萬榮一對情侶失蹤营袜,失蹤者是張志新(化名)和其女友劉穎撒顿,沒想到半個月后,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體荚板,經(jīng)...
    沈念sama閱讀 45,346評論 1 311
  • 正文 獨居荒郊野嶺守林人離奇死亡凤壁,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點故事閱讀 37,570評論 2 333
  • 正文 我和宋清朗相戀三年,在試婚紗的時候發(fā)現(xiàn)自己被綠了跪另。 大學(xué)時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片拧抖。...
    茶點故事閱讀 39,739評論 1 348
  • 序言:一個原本活蹦亂跳的男人離奇死亡,死狀恐怖免绿,靈堂內(nèi)的尸體忽然破棺而出唧席,到底是詐尸還是另有隱情,我是刑警寧澤嘲驾,帶...
    沈念sama閱讀 35,437評論 5 344
  • 正文 年R本政府宣布淌哟,位于F島的核電站,受9級特大地震影響辽故,放射性物質(zhì)發(fā)生泄漏徒仓。R本人自食惡果不足惜,卻給世界環(huán)境...
    茶點故事閱讀 41,037評論 3 326
  • 文/蒙蒙 一誊垢、第九天 我趴在偏房一處隱蔽的房頂上張望掉弛。 院中可真熱鬧,春花似錦喂走、人聲如沸殃饿。這莊子的主人今日做“春日...
    開封第一講書人閱讀 31,677評論 0 22
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽壁晒。三九已至瓷们,卻和暖如春业栅,著一層夾襖步出監(jiān)牢的瞬間秒咐,已是汗流浹背。 一陣腳步聲響...
    開封第一講書人閱讀 32,833評論 1 269
  • 我被黑心中介騙來泰國打工碘裕, 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留携取,地道東北人。 一個月前我還...
    沈念sama閱讀 47,760評論 2 369
  • 正文 我出身青樓帮孔,卻偏偏與公主長得像雷滋,于是被迫代替她去往敵國和親。 傳聞我的和親對象是個殘疾皇子文兢,可洞房花燭夜當(dāng)晚...
    茶點故事閱讀 44,647評論 2 354

推薦閱讀更多精彩內(nèi)容