QA:數(shù)倉中表的分層瘫镇,怎樣才合理鼎兽?

(該問題來自于一位熱心好學(xué)的讀者。非常抱歉铣除,過了許久才提筆回答谚咬。
由于沒有正兒八緊地做過數(shù)倉開發(fā),僅憑個人淺薄的理解來回答該問題尚粘。)

在數(shù)倉中择卦,對表進行分層,我理解有三層含義郎嫁,其一是在物理資源上劃分(存儲資源&運算資源)秉继,其二是表名稱上區(qū)隔,其三是使用權(quán)限上做切分泽铛。后兩條為必要條件尚辑。

分層的終極目的,就是提高數(shù)據(jù)應(yīng)用的效率盔腔。是否合理也許很難有剛性的標準杠茬,但以我的觀察,需要具備如下特征弛随,即可稱為合理:

  • 不同用戶角色與表的層次瓢喉,有明確的對應(yīng)關(guān)系,但未必要求一對一舀透。比如栓票,分析師、運營盐杂、數(shù)據(jù)研發(fā)逗载、產(chǎn)品經(jīng)理、決策者等链烈,依據(jù)職能邊界和數(shù)據(jù)消費特點厉斟,對應(yīng)不同層次的使用側(cè)重。
  • 信息的聚合程度强衡,在不同層次上有明顯的不同擦秽。越上層的表,信息聚合度越高,量化程度也越高感挥。
  • 表任務(wù)的資源分配缩搅、運行成本和效率要求,在不同層次上有顯著區(qū)別触幼。
  • 數(shù)據(jù)安全等級和權(quán)限開放的程度硼瓣,在不同層次上也有所區(qū)別。

下圖呈現(xiàn)我對分層的理解:


老樹之見-數(shù)倉表的分層邏輯.jpg

如上圖左邊部分置谦,一般來說堂鲤,表都會分為生產(chǎn)層(ODS)、公共明細層(DWD)媒峡、公共匯總層(DWS)和應(yīng)用層(ADS)瘟栖。普遍來說,合理的數(shù)倉分層谅阿,可做如下表述:
生產(chǎn)層指從各系統(tǒng)中抽取的數(shù)據(jù)半哟,數(shù)量眾多且主題劃分模糊,沒有做整合签餐。一般除了數(shù)據(jù)研發(fā)和業(yè)務(wù)產(chǎn)研寓涨,不向其他角色開放。
經(jīng)過一層ETL后贱田,成為公共明細層缅茉。公共明細層里的表,往往主題明確男摧,且主題下的各種細節(jié)數(shù)據(jù)已經(jīng)完成拼裝蔬墩;如許多公司會做訂單大寬表,即把各種有必要的信息標準化后耗拓,都成為寬表字段拇颅。除了產(chǎn)研,這層表會向分析師和運營等角色開放乔询。
公共匯總層是在明細層基礎(chǔ)上再做聚合樟插,往往是將重要信息加工為指標表和維度表,并將高頻使用的維度退化到指標表中竿刁。這也就意味著黄锤,匯總層表能較好的支撐業(yè)務(wù)分析。這層表往往是使用者最多食拜,業(yè)務(wù)需求最強的鸵熟,建設(shè)是否健全,是公司內(nèi)部分析提效的關(guān)鍵负甸。另外流强,這層表的數(shù)據(jù)安全管理也?最需要重視痹届。

應(yīng)用層表相對特殊,它的內(nèi)容會來自于之下的各層表打月。它一般只服務(wù)與具體的應(yīng)用產(chǎn)品队腐,所以對產(chǎn)出時間和運行效率要求較高,往往也不對業(yè)務(wù)運營奏篙、分析師等角色開放柴淘。

DWD+DWS層,往往稱為公共層报破。公共層建設(shè)得越健壯悠就,整個公司的數(shù)據(jù)應(yīng)用效率越高千绪。層次越往上充易,與公司業(yè)務(wù)分析的耦合度或者說緊密度越高。如上圖右側(cè)內(nèi)容荸型,則是從我角度更細的分層的表述:

DWD層一分為二盹靴,DWD-Process層可理解為業(yè)務(wù)過程的抽象。比如線上零售業(yè)務(wù)中瑞妇,用戶瀏覽稿静、收藏購物車、下單辕狰、支付改备、收貨各環(huán)節(jié),就是業(yè)務(wù)過程蔓倍。DWD-Collection可理解為從各業(yè)務(wù)過程明細表中悬钳,將高頻使用且重要的信息提取,成為一個完整業(yè)務(wù)鏈條的信息集成表偶翅。比如訂單寬表默勾,就是把下單各個業(yè)務(wù)過程中,核心的環(huán)節(jié)進行整合聚谁,以便在交易分析時提高效率母剥。

DWS層也能一分為二。Objective一層將可量化的信息提取形导,聚合到業(yè)務(wù)對象顆粒度环疼。還是以線上零售為例,用戶朵耕、店鋪炫隶、商品等,都是業(yè)務(wù)對象憔披;而將重要的指標和維度整個為業(yè)務(wù)對象的匯總表等限,顯然能大幅度降低分析時的數(shù)據(jù)獲取成本爸吮。Department層更靠近業(yè)務(wù),往往按業(yè)務(wù)部門的需求望门,作出一套匯總表形娇。該部門成員能夠以很低的上手成本,迅速應(yīng)用全面的數(shù)據(jù)筹误。

以上就是我對數(shù)倉表分層的理解桐早,希望能給讀者們帶來幫助?。有更多問題厨剪,歡迎關(guān)注公眾號:老樹之見哄酝,或發(fā)郵件huchenchuan@hotmail.com進行交流。

?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
  • 序言:七十年代末祷膳,一起剝皮案震驚了整個濱河市陶衅,隨后出現(xiàn)的幾起案子,更是在濱河造成了極大的恐慌直晨,老刑警劉巖搀军,帶你破解...
    沈念sama閱讀 218,755評論 6 507
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件,死亡現(xiàn)場離奇詭異勇皇,居然都是意外死亡罩句,警方通過查閱死者的電腦和手機,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 93,305評論 3 395
  • 文/潘曉璐 我一進店門敛摘,熙熙樓的掌柜王于貴愁眉苦臉地迎上來门烂,“玉大人,你說我怎么就攤上這事兄淫⊥驮叮” “怎么了?”我有些...
    開封第一講書人閱讀 165,138評論 0 355
  • 文/不壞的土叔 我叫張陵拖叙,是天一觀的道長氓润。 經(jīng)常有香客問我,道長薯鳍,這世上最難降的妖魔是什么咖气? 我笑而不...
    開封第一講書人閱讀 58,791評論 1 295
  • 正文 為了忘掉前任,我火速辦了婚禮挖滤,結(jié)果婚禮上崩溪,老公的妹妹穿的比我還像新娘。我一直安慰自己斩松,他們只是感情好伶唯,可當我...
    茶點故事閱讀 67,794評論 6 392
  • 文/花漫 我一把揭開白布。 她就那樣靜靜地躺著惧盹,像睡著了一般乳幸。 火紅的嫁衣襯著肌膚如雪瞪讼。 梳的紋絲不亂的頭發(fā)上,一...
    開封第一講書人閱讀 51,631評論 1 305
  • 那天粹断,我揣著相機與錄音符欠,去河邊找鬼。 笑死瓶埋,一個胖子當著我的面吹牛希柿,可吹牛的內(nèi)容都是我干的。 我是一名探鬼主播养筒,決...
    沈念sama閱讀 40,362評論 3 418
  • 文/蒼蘭香墨 我猛地睜開眼曾撤,長吁一口氣:“原來是場噩夢啊……” “哼!你這毒婦竟也來了晕粪?” 一聲冷哼從身側(cè)響起挤悉,我...
    開封第一講書人閱讀 39,264評論 0 276
  • 序言:老撾萬榮一對情侶失蹤睬愤,失蹤者是張志新(化名)和其女友劉穎,沒想到半個月后儡率,有當?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體瞄勾,經(jīng)...
    沈念sama閱讀 45,724評論 1 315
  • 正文 獨居荒郊野嶺守林人離奇死亡,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點故事閱讀 37,900評論 3 336
  • 正文 我和宋清朗相戀三年推穷,在試婚紗的時候發(fā)現(xiàn)自己被綠了。 大學(xué)時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片。...
    茶點故事閱讀 40,040評論 1 350
  • 序言:一個原本活蹦亂跳的男人離奇死亡怠褐,死狀恐怖,靈堂內(nèi)的尸體忽然破棺而出您宪,到底是詐尸還是另有隱情奈懒,我是刑警寧澤,帶...
    沈念sama閱讀 35,742評論 5 346
  • 正文 年R本政府宣布宪巨,位于F島的核電站磷杏,受9級特大地震影響,放射性物質(zhì)發(fā)生泄漏捏卓。R本人自食惡果不足惜极祸,卻給世界環(huán)境...
    茶點故事閱讀 41,364評論 3 330
  • 文/蒙蒙 一、第九天 我趴在偏房一處隱蔽的房頂上張望怠晴。 院中可真熱鬧遥金,春花似錦、人聲如沸蒜田。這莊子的主人今日做“春日...
    開封第一講書人閱讀 31,944評論 0 22
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽冲粤。三九已至美莫,卻和暖如春页眯,著一層夾襖步出監(jiān)牢的瞬間,已是汗流浹背厢呵。 一陣腳步聲響...
    開封第一講書人閱讀 33,060評論 1 270
  • 我被黑心中介騙來泰國打工餐茵, 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留,地道東北人述吸。 一個月前我還...
    沈念sama閱讀 48,247評論 3 371
  • 正文 我出身青樓忿族,卻偏偏與公主長得像,于是被迫代替她去往敵國和親蝌矛。 傳聞我的和親對象是個殘疾皇子道批,可洞房花燭夜當晚...
    茶點故事閱讀 44,979評論 2 355

推薦閱讀更多精彩內(nèi)容