本文將全面講解數(shù)倉建設(shè)規(guī)范迫筑，從數(shù)據(jù)模型規(guī)范江咳，到數(shù)倉公共規(guī)范库车，數(shù)倉各層規(guī)范，最后到數(shù)倉命名規(guī)范肪获，包括表命名，指標(biāo)字段命名規(guī)范等勋陪！

? ??目錄：

一贪磺、數(shù)據(jù)模型架構(gòu)原則

數(shù)倉分層原則

主題域劃分原則

數(shù)據(jù)模型設(shè)計(jì)原則

二、數(shù)倉公共開發(fā)規(guī)范

層次調(diào)用規(guī)范

數(shù)據(jù)類型規(guī)范

數(shù)據(jù)冗余規(guī)范

NULL字段處理規(guī)范

指標(biāo)口徑規(guī)范

數(shù)據(jù)表處理規(guī)范

表的生命周期管理

三诅愚、數(shù)倉各層開發(fā)規(guī)范

ODS層設(shè)計(jì)規(guī)范

公共維度層設(shè)計(jì)規(guī)范

DWD明細(xì)層設(shè)計(jì)規(guī)范

DWS公共匯總層設(shè)計(jì)規(guī)范

四寒锚、數(shù)倉命名規(guī)范

詞根設(shè)計(jì)規(guī)范

表命名規(guī)范

指標(biāo)命名規(guī)范

一、數(shù)據(jù)模型架構(gòu)原則

1. 數(shù)倉分層原則

優(yōu)秀可靠的數(shù)倉體系违孝，往往需要清晰的數(shù)據(jù)分層結(jié)構(gòu)刹前，即要保證數(shù)據(jù)層的穩(wěn)定又要屏蔽對下游的影響，并且要避免鏈路過長雌桑。那么問題來了喇喉，一直在講數(shù)倉要分層，那數(shù)倉分幾層最好校坑？

目前市場上主流的分層方式眼花繚亂拣技，不過看事情不能只看表面千诬，還要看到內(nèi)在的規(guī)律，不能為了分層而分層膏斤，沒有最好的徐绑，只有適合的。

分層是以解決當(dāng)前業(yè)務(wù)快速的數(shù)據(jù)支撐為目的莫辨，為未來抽象出共性的框架并能夠賦能給其他業(yè)務(wù)線傲茄，同時(shí)為業(yè)務(wù)發(fā)展提供穩(wěn)定、準(zhǔn)確的數(shù)據(jù)支撐沮榜，并能夠按照已有的模型為新業(yè)務(wù)發(fā)展提供方向盘榨，也就是數(shù)據(jù)驅(qū)動(dòng)和賦能。

一個(gè)好的分層架構(gòu)蟆融，要有以下好處：

清晰數(shù)據(jù)結(jié)構(gòu)草巡；

數(shù)據(jù)血緣追蹤；

減少重復(fù)開發(fā)振愿；

數(shù)據(jù)關(guān)系條理化捷犹；

屏蔽原始數(shù)據(jù)的影響。

數(shù)倉分層要結(jié)合公司業(yè)務(wù)進(jìn)行冕末，并且需要清晰明確各層職責(zé)萍歉，一般采用如下分層結(jié)構(gòu)：

數(shù)據(jù)分層架構(gòu)

數(shù)倉建模在哪層建設(shè)呢？我們以維度建模為例档桃，建模是在數(shù)據(jù)源層的下一層進(jìn)行建設(shè)枪孩，在上圖中，就是在DW層進(jìn)行數(shù)倉建模藻肄，所以DW層是數(shù)倉建設(shè)的核心層蔑舞。

下面詳細(xì)闡述下每層建設(shè)規(guī)范，和上圖的分層稍微有些區(qū)別：

1. 數(shù)據(jù)源層：ODS（Operational Data Store）

ODS 層嘹屯，是最接近數(shù)據(jù)源中數(shù)據(jù)的一層攻询，為了考慮后續(xù)可能需要追溯數(shù)據(jù)問題，因此對于這一層就不建議做過多的數(shù)據(jù)清洗工作州弟，原封不動(dòng)地接入原始數(shù)據(jù)即可钧栖，至于數(shù)據(jù)的去噪、去重婆翔、異常值處理等過程可以放在后面的 DWD 層來做拯杠。

2. 數(shù)據(jù)倉庫層：DW（Data Warehouse）

數(shù)據(jù)倉庫層是我們在做數(shù)據(jù)倉庫時(shí)要核心設(shè)計(jì)的一層，在這里啃奴，從 ODS 層中獲得的數(shù)據(jù)按照主題建立各種數(shù)據(jù)模型潭陪。

DW 層又細(xì)分為?DWD（Data Warehouse Detail）層、DWM（Data WareHouse Middle）層和?DWS（Data WareHouse Servce） 層。

1) 數(shù)據(jù)明細(xì)層：DWD（Data Warehouse Detail）

該層一般保持和 ODS 層一樣的數(shù)據(jù)粒度依溯，并且提供一定的數(shù)據(jù)質(zhì)量保證老厌。DWD 層要做的就是將數(shù)據(jù)清理、整合黎炉、規(guī)范化梅桩、臟數(shù)據(jù)、垃圾數(shù)據(jù)拜隧、規(guī)范不一致的、狀態(tài)定義不一致的趁仙、命名不規(guī)范的數(shù)據(jù)都會(huì)被處理洪添。

同時(shí)，為了提高數(shù)據(jù)明細(xì)層的易用性雀费，該層會(huì)采用一些維度退化手法干奢，將維度退化至事實(shí)表中，減少事實(shí)表和維表的關(guān)聯(lián)盏袄。

另外忿峻，在該層也會(huì)做一部分的數(shù)據(jù)聚合，將相同主題的數(shù)據(jù)匯集到一張表中辕羽，提高數(shù)據(jù)的可用性 逛尚。

2) 數(shù)據(jù)中間層：DWM（Data WareHouse Middle）

該層會(huì)在 DWD 層的數(shù)據(jù)基礎(chǔ)上，數(shù)據(jù)做輕度的聚合操作刁愿，生成一系列的中間表绰寞，提升公共指標(biāo)的復(fù)用性，減少重復(fù)加工铣口。

直觀來講滤钱，就是對通用的核心維度進(jìn)行聚合操作，算出相應(yīng)的統(tǒng)計(jì)指標(biāo)脑题。

在實(shí)際計(jì)算中件缸，如果直接從 DWD 或者 ODS 計(jì)算出寬表的統(tǒng)計(jì)指標(biāo)，會(huì)存在計(jì)算量太大并且維度太少的問題叔遂，因此一般的做法是他炊，在 DWM 層先計(jì)算出多個(gè)小的中間表，然后再拼接成一張 DWS 的寬表掏熬。由于寬和窄的界限不易界定佑稠，也可以去掉 DWM 這一層，只留 DWS 層旗芬，將所有的數(shù)據(jù)再放在 DWS 亦可舌胶。

3) 數(shù)據(jù)服務(wù)層：DWS（Data WareHouse Service）

DWS 層為公共匯總層，會(huì)進(jìn)行輕度匯總疮丛，粒度比明細(xì)數(shù)據(jù)稍粗幔嫂，基于 DWD 層上的基礎(chǔ)數(shù)據(jù)辆它，整合匯總成分析某一個(gè)主題域的服務(wù)數(shù)據(jù)，一般是寬表履恩。DWS 層應(yīng)覆蓋 80% 的應(yīng)用場景锰茉。又稱數(shù)據(jù)集市或?qū)挶怼?/p>

按照業(yè)務(wù)劃分，如主題域流量切心、訂單飒筑、用戶等，生成字段比較多的寬表绽昏，用于提供后續(xù)的業(yè)務(wù)查詢协屡，OLAP 分析，數(shù)據(jù)分發(fā)等全谤。

一般來講肤晓，該層的數(shù)據(jù)表會(huì)相對比較少，一張表會(huì)涵蓋比較多的業(yè)務(wù)內(nèi)容认然，由于其字段較多补憾，因此一般也會(huì)稱該層的表為寬表。

3. 數(shù)據(jù)應(yīng)用層：APP（Application）

在這里卷员，主要是提供給數(shù)據(jù)產(chǎn)品和數(shù)據(jù)分析使用的數(shù)據(jù)盈匾，一般會(huì)存放在 ES、 PostgreSql子刮、Redis 等系統(tǒng)中供線上系統(tǒng)使用威酒，也可能會(huì)存在 Hive 或者 Druid 中供數(shù)據(jù)分析和數(shù)據(jù)挖掘使用。比如我們經(jīng)常說的報(bào)表數(shù)據(jù)挺峡，一般就放在這里葵孤。

4. 維表層（Dimension）

如果維表過多，也可針對維表設(shè)計(jì)單獨(dú)一層橱赠，維表層主要包含兩部分?jǐn)?shù)據(jù)：

高基數(shù)維度數(shù)據(jù)：一般是用戶資料表尤仍、商品資料表類似的資料表。數(shù)據(jù)量可能是千萬級(jí)或者上億級(jí)別狭姨。

低基數(shù)維度數(shù)據(jù)：一般是配置表宰啦，比如枚舉值對應(yīng)的中文含義，或者日期維表饼拍。數(shù)據(jù)量可能是個(gè)位數(shù)或者幾千幾萬赡模。

2. 主題域劃分原則

1) 按照業(yè)務(wù)或業(yè)務(wù)過程劃分

業(yè)務(wù)容易理解，就是指的功能模塊/業(yè)務(wù)線师抄。

業(yè)務(wù)過程：指企業(yè)的業(yè)務(wù)活動(dòng)事件漓柑，如下單、支付、退款都是業(yè)務(wù)過程辆布。不過需要注意的是瞬矩，一個(gè)業(yè)務(wù)過程是一個(gè)不可拆分的行為事件，通俗的講锋玲，業(yè)務(wù)過程就是企業(yè)活動(dòng)中的事件景用。

2) 按照數(shù)據(jù)域劃分

數(shù)據(jù)域是指面向業(yè)務(wù)分析，將業(yè)務(wù)過程或者維度進(jìn)行抽象的集合惭蹂。其中伞插，業(yè)務(wù)過程可以概括為一個(gè)個(gè)不可拆分的行為事件，在業(yè)務(wù)過程下盾碗，可以定義指標(biāo)蜂怎，維度是指度量的環(huán)境，如買家下單事件置尔，買家是維度。為保障整個(gè)體系的生命力氢伟，數(shù)據(jù)域是需要抽象提煉榜轿，并且長期維護(hù)和更新的，但不輕易變動(dòng)朵锣。在劃分?jǐn)?shù)據(jù)域時(shí)谬盐，既能涵蓋當(dāng)前所有的業(yè)務(wù)需求，又能在新業(yè)務(wù)進(jìn)入時(shí)無影響地被包含進(jìn)已有的數(shù)據(jù)域中和擴(kuò)展新的數(shù)據(jù)域诚些。

3. 數(shù)據(jù)模型設(shè)計(jì)原則

1) 高內(nèi)聚飞傀、低耦合

即主題內(nèi)部高內(nèi)聚、 不同主題間低耦合诬烹。明細(xì)層按照業(yè)務(wù)過程劃分主題砸烦，匯總層按照“實(shí)體+ 活動(dòng)”劃分不同分析主題，應(yīng)用層根據(jù)應(yīng)用需求劃分不同應(yīng)用主題绞吁。

2) 核心模型和擴(kuò)展模型要分離

建立核心模型與擴(kuò)展模型體系幢痘，核心模型包括的字段支持常用的核心業(yè)務(wù)，擴(kuò)展模型包括的字段支持個(gè)性化或少量應(yīng)用的需要家破，不能讓擴(kuò)展模型的字段過度侵入核心模型颜说，以免破壞核心模型的架構(gòu)簡潔性與可維護(hù)性。

3) 公共處理邏輯下沉及單一

越是底層公用的處理邏輯越應(yīng)該在數(shù)據(jù)調(diào)度依賴的底層進(jìn)行封裝與實(shí)現(xiàn)汰聋，不要讓公用的處理邏輯暴露給應(yīng)用實(shí)現(xiàn)门粪，不要讓公共邏輯多處同時(shí)存在。

4) 成本與性能平衡

適當(dāng)?shù)臄?shù)據(jù)冗余可換取查詢和刷新性能烹困，不宜過度冗余與數(shù)據(jù)復(fù)制玄妈。

5) 數(shù)據(jù)可回滾

處理邏輯不變，在不同時(shí)間多次運(yùn)行數(shù)據(jù)結(jié)果確定不變。

二措近、數(shù)倉公共開發(fā)規(guī)范

1. 層次調(diào)用規(guī)范

穩(wěn)定業(yè)務(wù)按照標(biāo)準(zhǔn)的數(shù)據(jù)流向進(jìn)行開發(fā)溶弟，即 ODS –> DWD –> DWS –> APP。非穩(wěn)定業(yè)務(wù)或探索性需求瞭郑，可以遵循 ODS -> DWD -> APP 或者 ODS -> DWD -> DWM ->APP 兩個(gè)模型數(shù)據(jù)流辜御。

在保障了數(shù)據(jù)鏈路的合理性之后，也必須保證模型分層引用原則：

正常流向：ODS -> DWD -> DWM -> DWS -> APP屈张，當(dāng)出現(xiàn) ODS -> DWD -> DWS -> APP 這種關(guān)系時(shí)擒权，說明主題域未覆蓋全。應(yīng)將 DWD 數(shù)據(jù)落到 DWM 中阁谆，對于使用頻度非常低的表允許 DWD -> DWS碳抄。

盡量避免出現(xiàn) DWS 寬表中使用 DWD 又使用（該 DWD 所歸屬主題域）DWM 的表。

同一主題域內(nèi)對于 DWM 生成 DWM 的表场绿，原則上要盡量避免剖效，否則會(huì)影響 ETL 的效率。

DWM焰盗、DWS 和 APP 中禁止直接使用 ODS 的表璧尸， ODS 的表只能被 DWD 引用。

禁止出現(xiàn)反向依賴熬拒，例如 DWM 的表依賴 DWS 的表爷光。

舉例：

2. 數(shù)據(jù)類型規(guī)范

需統(tǒng)一規(guī)定不同的數(shù)據(jù)的數(shù)據(jù)類型，嚴(yán)格按照規(guī)定的數(shù)據(jù)類型執(zhí)行：

金額：double 或 使用 decimal(28,6) 控制精度等澎粟，明確單位是分還是元蛀序。

字符串：string。

id類：bigint活烙。

時(shí)間：string徐裸。

狀態(tài)：string

3. 數(shù)據(jù)冗余規(guī)范

寬表的冗余字段要確保：

冗余字段要使用高頻，下游3個(gè)或以上使用啸盏。

冗余字段引入不應(yīng)造成本身數(shù)據(jù)產(chǎn)生過多的延后倦逐。

冗余字段和已有字段的重復(fù)率不應(yīng)過大，原則上不應(yīng)超過60%宫补，如需要可以選擇join或原表拓展檬姥。

4. NULL字段處理規(guī)范

對于維度字段，需設(shè)置為-1

對于指標(biāo)字段粉怕，需設(shè)置為 0

5. 指標(biāo)口徑規(guī)范

保證主題域內(nèi)健民，指標(biāo)口徑一致，無歧義贫贝。

通過數(shù)據(jù)分層秉犹，提供統(tǒng)一的數(shù)據(jù)出口蛉谜，統(tǒng)一對外輸出的數(shù)據(jù)口徑，避免同一指標(biāo)不同口徑的情況發(fā)生崇堵。

1) 指標(biāo)梳理

指標(biāo)口徑的不一致使得數(shù)據(jù)使用的成本極高型诚，經(jīng)常出現(xiàn)口徑打架、反復(fù)核對數(shù)據(jù)的問題鸳劳。在數(shù)據(jù)治理中狰贯，我們將需求梳理到的所有指標(biāo)進(jìn)行進(jìn)一步梳理，明確其口徑赏廓，如果存在兩個(gè)指標(biāo)名稱相同涵紊，但口徑不一致，先判斷是否是進(jìn)行合并幔摸，如需要同時(shí)存在摸柄，那么在命名上必須能夠區(qū)分開。

2) 指標(biāo)管理

指標(biāo)管理分為原子指標(biāo)維護(hù)和派生指標(biāo)維護(hù)既忆。

原子指標(biāo)：

選擇原子指標(biāo)的歸屬產(chǎn)線驱负、業(yè)務(wù)板塊、數(shù)據(jù)域患雇、業(yè)務(wù)過程

選擇原子指標(biāo)的統(tǒng)計(jì)數(shù)據(jù)來源于該業(yè)務(wù)過程下的原始數(shù)據(jù)源

錄入原子指標(biāo)的英文名稱电媳、中文名稱、概述

填寫指標(biāo)函數(shù)

系統(tǒng)根據(jù)指標(biāo)函數(shù)自動(dòng)生成原子指標(biāo)的定義表達(dá)式

系統(tǒng)根據(jù)指標(biāo)定義表達(dá)式以及數(shù)據(jù)源表生成原子指標(biāo)SQL

派生指標(biāo)：

在原子指標(biāo)的基礎(chǔ)之上選擇了一些維度或者修飾限定詞庆亡。

6. 數(shù)據(jù)表處理規(guī)范

1) 增量表

新增數(shù)據(jù)，增量數(shù)據(jù)是上次導(dǎo)出之后的新數(shù)據(jù)捞稿。

記錄每次增加的量又谋，而不是總量；

增量表娱局，只報(bào)變化量彰亥，無變化不用報(bào)；

每天一個(gè)分區(qū)衰齐。

2) 全量表

每天的所有的最新狀態(tài)的數(shù)據(jù)任斋。

全量表，有無變化耻涛，都要報(bào)废酷；

每次上報(bào)的數(shù)據(jù)都是所有的數(shù)據(jù)（變化的 + 沒有變化的）；

只有一個(gè)分區(qū)抹缕。

3) 快照表

按日分區(qū)澈蟆，記錄截止數(shù)據(jù)日期的全量數(shù)據(jù)。

快照表卓研，有無變化趴俘，都要報(bào)睹簇；

每次上報(bào)的數(shù)據(jù)都是所有的數(shù)據(jù)（變化的 + 沒有變化的）；

一天一個(gè)分區(qū)寥闪。

4) 拉鏈表

記錄截止數(shù)據(jù)日期的全量數(shù)據(jù)太惠。

記錄一個(gè)事物從開始，一直到當(dāng)前狀態(tài)的所有變化的信息疲憋；

拉鏈表每次上報(bào)的都是歷史記錄的最終狀態(tài)凿渊，是記錄在當(dāng)前時(shí)刻的歷史總 量；

當(dāng)前記錄存的是當(dāng)前時(shí)間之前的所有歷史記錄的最后變化量（總量）柜某；

只有一個(gè)分區(qū)嗽元。

7. 表的生命周期管理

這部分主要是要通過對歷史數(shù)據(jù)的等級(jí)劃分與對表類型的劃分生成相應(yīng)的生命周期管理矩陣。

1) 歷史數(shù)據(jù)等級(jí)劃分

主要將歷史數(shù)據(jù)劃分P0喂击、Pl剂癌、P2、P3 四個(gè)等級(jí)翰绊，其具體定義如下：

P0?：非常重要的主題域數(shù)據(jù)和非常重要的應(yīng)用數(shù)據(jù)佩谷，具有不可恢復(fù)性，如交易监嗜、日志谐檀、集團(tuán) KPI 數(shù)據(jù)、 IPO 關(guān)聯(lián)表裁奇。

Pl?：重要的業(yè)務(wù)數(shù)據(jù)和重要的應(yīng)用數(shù)據(jù)桐猬，具有不可恢復(fù)性，如重要的業(yè)務(wù)產(chǎn)品數(shù)據(jù)刽肠。

P2?：重要的業(yè)務(wù)數(shù)據(jù)和重要的應(yīng)用數(shù)據(jù)溃肪，具有可恢復(fù)性，如交易線 ETL 產(chǎn)生的中間過程數(shù)據(jù)音五。

P3?：不重要的業(yè)務(wù)數(shù)據(jù)和不重要的應(yīng)用數(shù)據(jù)惫撰，具有可恢復(fù)性，如某些 SNS 產(chǎn)品報(bào)表躺涝。

2) 表類型劃分

事件型流水表（增量表）

事件型流水表（增量表）指數(shù)據(jù)無重復(fù)或者無主鍵數(shù)據(jù)厨钻，如日志。

事件型鏡像表（增量表）

事件型鏡像表（增量表）指業(yè)務(wù)過程性數(shù)據(jù)坚嗜，有主鍵夯膀，但是對于同樣主鍵的屬性會(huì)發(fā)生緩慢變化，如交易苍蔬、訂單狀態(tài)與時(shí)間會(huì)根據(jù)業(yè)務(wù)發(fā)生變更棍郎。

維表

維表包括維度與維度屬性數(shù)據(jù)，如用戶表银室、商品表涂佃。

Merge 全量表

Merge 全量表包括業(yè)務(wù)過程性數(shù)據(jù)或者維表數(shù)據(jù)励翼。由于數(shù)據(jù)本身有新增的或者發(fā)生狀態(tài)變更，對于同樣主鍵的數(shù)據(jù)可能會(huì)保留多份辜荠，因此可以對這些數(shù)據(jù)根據(jù)主鍵進(jìn)行 Merge 操作汽抚，主鍵對應(yīng)的屬性只會(huì)保留最新狀態(tài)，歷史狀態(tài)保留在前一天分區(qū) 中伯病。例如造烁，用戶表、交易表等都可以進(jìn)行 Merge 操作午笛。

ETL 臨時(shí)表

ETL 臨時(shí)表是指 ETL 處理過程中產(chǎn)生的臨時(shí)表數(shù)據(jù)惭蟋，一般不建議保留，最多7天药磺。

TT 臨時(shí)數(shù)據(jù)

TT 拉取的數(shù)據(jù)和 DbSync 產(chǎn)生的臨時(shí)數(shù)據(jù)最終會(huì)流轉(zhuǎn)到 DS 層告组，ODS 層數(shù)據(jù)作為原始數(shù)據(jù)保留下來，從而使得 TT&DbSync 上游數(shù)據(jù)成為臨時(shí)數(shù)據(jù)癌佩。這類數(shù)據(jù)不建議保留很長時(shí)間木缝，生命周期默認(rèn)設(shè)置為 93天，可以根據(jù)實(shí)際情況適當(dāng)減少保留天數(shù)围辙。

7. 普通全量表

很多小業(yè)務(wù)數(shù)據(jù)或者產(chǎn)品數(shù)據(jù)我碟，BI一般是直接全量拉取，這種方式效率快姚建，對存儲(chǔ)壓力也不是很大矫俺，而且表保留很長時(shí)間，可以根據(jù)歷史數(shù)據(jù)等級(jí)確定保留策略掸冤。

通過上述歷史數(shù)據(jù)等級(jí)劃分與表類型劃分厘托，生成相應(yīng)的生命周期管理矩陣，如下表所示：

三贩虾、數(shù)倉各層開發(fā)規(guī)范

1. ODS層設(shè)計(jì)規(guī)范

同步規(guī)范：

一個(gè)系統(tǒng)源表只允許同步一次；

全量初始化同步和增量同步處理邏輯要清晰沥阱；

以統(tǒng)計(jì)日期和時(shí)間進(jìn)行分區(qū)存儲(chǔ)缎罢；

目標(biāo)表字段在源表不存在時(shí)要自動(dòng)填充處理。

表分類與生命周期：

ods流水全量表：

不可再生的永久保存考杉；

日志可按留存要求策精；

按需設(shè)置保留特殊日期數(shù)據(jù)；

按需設(shè)置保留特殊月份數(shù)據(jù)崇棠；

ods鏡像型全量表：

推薦按天存儲(chǔ)咽袜；

對歷史變化進(jìn)行保留；

最新數(shù)據(jù)存儲(chǔ)在最大分區(qū)枕稀；

歷史數(shù)據(jù)按需保留询刹；

ods增量數(shù)據(jù)：

推薦按天存儲(chǔ)谜嫉；

有對應(yīng)全量表的，建議只保留14天數(shù)據(jù)凹联；

無對應(yīng)全量表的沐兰，永久保留；

ods的etl過程中的臨時(shí)表：

推薦按需保留蔽挠；

最多保留7天住闯；

建議用完即刪，下次使用再生成澳淑；

BDSync非去重?cái)?shù)據(jù)：

通過中間層保留比原，默認(rèn)用完即刪，不建議保留杠巡。

數(shù)據(jù)質(zhì)量：

全量表必須配置唯一性字段標(biāo)識(shí)量窘；

對分區(qū)空數(shù)據(jù)進(jìn)行監(jiān)控；

對枚舉類型字段忽孽，進(jìn)行枚舉值變化和分布監(jiān)控绑改；

ods表數(shù)據(jù)量級(jí)和記錄數(shù)做環(huán)比監(jiān)控；

ods全表都必須要有注釋兄一；

2. 公共維度層設(shè)計(jì)規(guī)范

1) 設(shè)計(jì)準(zhǔn)則

一致性

共維度在不同的物理表中的字段名稱厘线、數(shù)據(jù)類型、數(shù)據(jù)內(nèi)容必須保持一致（歷史原因不一致出革，要做好版本控制）

維度的組合與拆分

組合原則：

將維度與關(guān)聯(lián)性強(qiáng)的字段進(jìn)行組合造壮，一起查詢，一起展示骂束，兩個(gè)維度必須具有天然的關(guān)系耳璧，如：商品的基本屬性和所屬品牌。

無相關(guān)性：如一些使用頻率較小的雜項(xiàng)維度展箱，可以構(gòu)建一個(gè)集合雜項(xiàng)維度的特殊屬性旨枯。

行為維度：經(jīng)過計(jì)算的度量，但下游當(dāng)維度處理混驰，例：點(diǎn)擊量 0-1000,100-1000等攀隔，可以做聚合分類。

拆分與冗余：

針對重要性栖榨，業(yè)務(wù)相關(guān)性昆汹、源、使用頻率等可分為核心表婴栽、擴(kuò)展表满粗。

數(shù)據(jù)記錄較大的維度，可以適當(dāng)冗余一些子集愚争。

2) 存儲(chǔ)及生命周期管理

建議按天分區(qū)映皆。

3個(gè)月內(nèi)最大訪問跨度<=4天時(shí)挤聘，建議保留最近7天分區(qū)；

3個(gè)月內(nèi)最大訪問跨度<=12天時(shí)劫扒，建議保留最近15天分區(qū)檬洞；

3個(gè)月內(nèi)最大訪問跨度<=30天時(shí)，建議保留最近33天分區(qū)沟饥；

3個(gè)月內(nèi)最大訪問跨度<=90天時(shí)添怔，建議保留最近120天分區(qū)；

3個(gè)月內(nèi)最大訪問跨度<=180天時(shí)贤旷，建議保留最近240天分區(qū)广料；

3個(gè)月內(nèi)最大訪問跨度<=300天時(shí)，建議保留最近400天分區(qū)幼驶；

3. DWD明細(xì)層設(shè)計(jì)規(guī)范

1) 存儲(chǔ)及生命周期管理

建議按天分區(qū)艾杏。

3個(gè)月內(nèi)最大訪問跨度<=4天時(shí)，建議保留最近7天分區(qū)盅藻；

3個(gè)月內(nèi)最大訪問跨度<=12天時(shí)购桑，建議保留最近15天分區(qū)；

3個(gè)月內(nèi)最大訪問跨度<=30天時(shí)氏淑，建議保留最近33天分區(qū)勃蜘；

3個(gè)月內(nèi)最大訪問跨度<=90天時(shí)，建議保留最近120天分區(qū)假残；

3個(gè)月內(nèi)最大訪問跨度<=180天時(shí)缭贡，建議保留最近240天分區(qū)；

3個(gè)月內(nèi)最大訪問跨度<=300天時(shí)辉懒，建議保留最近400天分區(qū)阳惹；

2) 事務(wù)型事實(shí)表設(shè)計(jì)準(zhǔn)則

基于數(shù)據(jù)應(yīng)用需求的分析設(shè)計(jì)事務(wù)型事實(shí)表，結(jié)合下游較大的針對某個(gè)業(yè)務(wù)過程和分析指標(biāo)需求眶俩，可考慮基于某個(gè)事件過程構(gòu)建事務(wù)型實(shí)時(shí)表莹汤；

一般選用事件的發(fā)生日期或時(shí)間作為分區(qū)字段，便于掃描和裁剪颠印；

冗余子集原則纲岭，有利于降低后續(xù)IO開銷；

明細(xì)層事實(shí)表維度退化嗽仪，減少后續(xù)使用join成本荒勇。

3) 周期快照事實(shí)表

周期快照事實(shí)表中的每行匯總了發(fā)生在某一標(biāo)準(zhǔn)周期柒莉，如某一天闻坚、某周、某月的多個(gè)度量事件兢孝。

粒度是周期性的窿凤，不是個(gè)體的事務(wù)仅偎。

通常包含許多事實(shí)，因?yàn)槿魏闻c事實(shí)表粒度一致的度量事件都是被允許的雳殊。

4) 累積快照事實(shí)表

多個(gè)業(yè)務(wù)過程聯(lián)合分析而構(gòu)建的事實(shí)表橘沥，如采購單的流轉(zhuǎn)環(huán)節(jié)。

用于分析事件時(shí)間和時(shí)間之間的間隔周期夯秃。

少量的且當(dāng)前事務(wù)型不支持的座咆，如關(guān)閉、發(fā)貨等相關(guān)的統(tǒng)計(jì)仓洼。

4. DWS公共匯總層設(shè)計(jì)規(guī)范

數(shù)據(jù)倉庫的性能是數(shù)據(jù)倉庫建設(shè)是否成功的重要標(biāo)準(zhǔn)之一介陶。聚集主要是通過匯總明細(xì)粒度數(shù)據(jù)來獲得改進(jìn)查詢性能的效果。通過訪問聚集數(shù)據(jù)色建，可以減少數(shù)據(jù)庫在響應(yīng)查詢時(shí)必須執(zhí)行的工作量哺呜，能夠快速響應(yīng)用戶的查詢，同時(shí)有利于減少不同用訪問明細(xì)數(shù)據(jù)帶來的結(jié)果不一致問題箕戳。

1) 聚集的基本原則

一致性某残。聚集表必須提供與查詢明細(xì)粒度數(shù)據(jù)一致的查詢結(jié)果。

避免單一表設(shè)計(jì)陵吸。不要在同一個(gè)表中存儲(chǔ)不同層次的聚集數(shù)據(jù)玻墅。

聚集粒度可不同。聚集并不需要保持與原始明細(xì)粒度數(shù)據(jù)一樣的粒度走越，聚集只關(guān)心所需要查詢的維度椭豫。

2) 聚集的基本步驟

第一步：確定聚集維度

在原始明細(xì)模型中會(huì)存在多個(gè)描述事實(shí)的維度，如日期旨指、商品類別赏酥、賣家等，這時(shí)候需要確定根據(jù)什么維度聚集谆构，如果只關(guān)心商品的交易額情況裸扶，那么就可以根據(jù)商品維度聚集數(shù)據(jù)。

第二步：確定一致性上鉆

這時(shí)候要關(guān)心是按月匯總還是按天匯總，是按照商品匯總還是按照類目匯總，如果按照類目匯總伞辛，還需要關(guān)心是按照大類匯總還是小類匯總淮阐。當(dāng)然，我們要做的只是了解用戶需要什么帆吻，然后按照他們想要的進(jìn)行聚集。

第三步：確定聚集事實(shí)

在原始明細(xì)模型中可能會(huì)有多個(gè)事實(shí)的度量，比如在交易中有交易額季二、交易數(shù)量等，這時(shí)候要明確是按照交易額匯總還是按照成交數(shù)量匯總。

3) 公共匯總層設(shè)計(jì)原則

除了聚集基本的原則外胯舷，公共匯總層還必須遵循以下原則：

數(shù)據(jù)公用性刻蚯。匯總的聚集會(huì)有第三者使用嗎？基于某個(gè)維度的聚集是不是經(jīng)常用于數(shù)據(jù)分析中桑嘶？如果答案是肯定的炊汹，那么就有必要把明細(xì)數(shù)據(jù)經(jīng)過匯總沉淀到聚集表中。

不跨數(shù)據(jù)域逃顶。數(shù)據(jù)域是在較高層次上對數(shù)據(jù)進(jìn)行分類聚集的抽象讨便。如以業(yè)務(wù)

區(qū)分統(tǒng)計(jì)周期。在表的命名上要能說明數(shù)據(jù)的統(tǒng)計(jì)周期以政，如?_Id表示最近1天器钟，_td?表示截至當(dāng)天，_nd?表示最近N天妙蔗。

四傲霸、數(shù)倉命名規(guī)范

1. 詞根設(shè)計(jì)規(guī)范

詞根屬于數(shù)倉建設(shè)中的規(guī)范，屬于元數(shù)據(jù)管理的范疇眉反，現(xiàn)在把這個(gè)劃到數(shù)據(jù)治理的一部分昙啄。完整的數(shù)倉建設(shè)是包含數(shù)據(jù)治理的，只是現(xiàn)在談到數(shù)倉偏向于數(shù)據(jù)建模寸五， 而談到數(shù)據(jù)治理梳凛，更多的是關(guān)于數(shù)據(jù)規(guī)范、數(shù)據(jù)管理梳杏。

表命名韧拒，其實(shí)在很大程度上是對元數(shù)據(jù)描述的一種體現(xiàn)，表命名規(guī)范越完善十性，我 們能從表名獲取到的信息就越多叛溢。比如：一部分業(yè)務(wù)是關(guān)于貨架的，英文名是：rack劲适， rack 就是一個(gè)詞根楷掉，那我們就在所有的表、字段等用到的地方都叫 rack霞势，不要叫成 別的什么烹植。這就是詞根的作用，用來統(tǒng)一命名愕贡，表達(dá)同一個(gè)含義草雕。

指標(biāo)體系中有很多“率”的指標(biāo)，都可以拆解成 XXX+率固以，率可以叫 rate墩虹，那我 們所有的指標(biāo)都叫做 XXX+rate。

詞根：可以用來統(tǒng)一表名、字段名败晴、主題域名等等。

舉例：以流程圖的方式來展示栽渴，更加直觀和易懂尖坤，本圖側(cè)重 dwm 層表的命名 規(guī)范，其余命名是類似的道理：

第一個(gè)判斷條件是該表的用途闲擦，是中間表慢味、原始日志還是業(yè)務(wù)展示用的表 如果該表被判斷為中間表，就會(huì)走入下一個(gè)判斷條件：表是否有 group 操作 通過是否有 group 操作來判斷該表該劃分在 dwd 層還是 dwm 和 dws 層 如果不是 dwd 層墅冷，則需要判斷該表是否是多個(gè)行為的匯總表（即寬表） 最后再分別填上事業(yè)群纯路、部門、業(yè)務(wù)線寞忿、自定義名稱和更新頻率等信息即可驰唬。

分層：表的使用范圍

事業(yè)群和部門：生產(chǎn)該表或者該數(shù)據(jù)的團(tuán)隊(duì)

業(yè)務(wù)線：表明該數(shù)據(jù)是哪個(gè)產(chǎn)品或者業(yè)務(wù)線相關(guān)

主題域：分析問題的角度，對象實(shí)體

自定義：一般會(huì)盡可能多描述該表的信息腔彰，比如活躍表叫编、留存表等

更新周期：比如說天級(jí)還是月級(jí)更新

數(shù)倉表的命名規(guī)范如下：

1. 數(shù)倉層次:

公用維度：dim

DM層：dm

ODS層：ods

DWD層：dwd

DWS層：dws

2. 周期/數(shù)據(jù)范圍：

日快照：d

增量：i

全量：f

周：w

拉鏈表：l

非分區(qū)全量表：a

2. 表命名規(guī)范

1) 常規(guī)表

常規(guī)表是我們需要固化的表，是正式使用的表霹抛，是目前一段時(shí)間內(nèi)需要去維護(hù)去 完善的表搓逾。

規(guī)范：分層前綴[dwd|dws|ads]_部門_業(yè)務(wù)域_主題域_XXX_更新周期|數(shù)據(jù)范圍

業(yè)務(wù)域、主題域我們都可以用詞根的方式枚舉清楚杯拐，不斷完善霞篡。

更新周期主要的是時(shí)間粒度、日端逼、月朗兵、年、周等顶滩。

2) 中間表

中間表一般出現(xiàn)在 Job 中矛市，是 Job 中臨時(shí)存儲(chǔ)的中間數(shù)據(jù)的表，中間表的作 用域只限于當(dāng)前 Job 執(zhí)行過程中诲祸，Job 一旦執(zhí)行完成浊吏，該中間表的使命就完 成了，是可以刪除的（按照自己公司的場景自由選擇救氯，以前公司會(huì)保留幾天 的中間表數(shù)據(jù)找田，用來排查問題）。

規(guī)范：mid_table_name_[0~9|dim]

table_name 是我們?nèi)蝿?wù)中目標(biāo)表的名字着憨，通常來說一個(gè)任務(wù)只有一個(gè)目標(biāo)表墩衙。這里加上表名，是為了防止自由發(fā)揮的時(shí)候表名沖突，而末尾大家可以選擇自由發(fā)揮漆改，起一些有意義的名字心铃，或者簡單粗暴，使用數(shù)字代替挫剑，各有優(yōu)劣吧去扣，謹(jǐn)慎選擇。

通常會(huì)遇到需要補(bǔ)全維度的表樊破，這里使用 dim 結(jié)尾愉棱。

如果要保留歷史的中間表，可以加上日期或者時(shí)間戳哲戚。

3) 臨時(shí)表

臨時(shí)表是臨時(shí)測試的表奔滑，是臨時(shí)使用一次的表，就是暫時(shí)保存下數(shù)據(jù)看看顺少，后續(xù)一般不再使用的表朋其，是可以隨時(shí)刪除的表。

規(guī)范：tmp_xxx

只要加上 tmp 開頭即可脆炎，其他名字隨意令宿，注意 tmp 開頭的表不要用來實(shí)際使用，只是測試驗(yàn)證而已腕窥。

4) 維度表

維度表是基于底層數(shù)據(jù)粒没，抽象出來的描述類的表。維度表可以自動(dòng)從底層表抽象出來簇爆，也可以手工來維護(hù)癞松。

規(guī)范：dim_xxx

維度表，統(tǒng)一以 dim 開頭入蛆，后面加上响蓉，對該指標(biāo)的描述。

5) 手工表

手工表是手工維護(hù)的表哨毁，手工初始化一次之后枫甲，一般不會(huì)自動(dòng)改變，后面變更扼褪，也是手工來維護(hù)想幻。

一般來說，手工的數(shù)據(jù)粒度是偏細(xì)的话浇，所以暫時(shí)統(tǒng)一放在 dwd 層脏毯，后面如果有目標(biāo)值或者其他類型手工數(shù)據(jù)，再根據(jù)實(shí)際情況分層幔崖。

規(guī)范：dwd_業(yè)務(wù)域_manual_xxx

手工表食店，增加特殊的主題域渣淤，manual，表示手工維護(hù)表吉嫩。

3. 指標(biāo)命名規(guī)范

1) 公共規(guī)則

所有單詞小寫

單詞之間下劃線分割（反例：appName 或 AppName）

可讀性優(yōu)于長度 (詞根价认，避免出現(xiàn)同一個(gè)指標(biāo)，命名一致性)

禁止使用 sql 關(guān)鍵字自娩，如字段名與關(guān)鍵字沖突時(shí) +col

數(shù)量字段后綴 _cnt 等標(biāo)識(shí)...

金額字段后綴 _price 標(biāo)識(shí)

天分區(qū)使用字段 dt用踩，格式統(tǒng)一（yyyymmdd 或 yyyy-mm-dd）

小時(shí)分區(qū)使用字段 hh，范圍（00-23）

分鐘分區(qū)使用字段 mi椒功，范圍（00-59）

布爾類型標(biāo)識(shí)：is_{業(yè)務(wù)}，不允許出現(xiàn)空值

2) 指標(biāo)命名規(guī)范

結(jié)合指標(biāo)的特性以及詞根管理規(guī)范智什，將指標(biāo)進(jìn)行結(jié)構(gòu)化處理动漾。

基礎(chǔ)指標(biāo)詞根，即所有指標(biāo)必須包含以下基礎(chǔ)詞根：

業(yè)務(wù)修飾詞荠锭，用于描述業(yè)務(wù)場景的詞匯旱眯，例如trade-交易。

3.日期修飾詞证九，用于修飾業(yè)務(wù)發(fā)生的時(shí)間區(qū)間删豺。

4.聚合修飾詞，對結(jié)果進(jìn)行聚集操作愧怜。

5.基礎(chǔ)指標(biāo)呀页，單一的業(yè)務(wù)修飾詞+基礎(chǔ)指標(biāo)詞根構(gòu)建基礎(chǔ)指標(biāo) ，例如：交易金額-trade_amt拥坛。

6.派生指標(biāo)蓬蝶，多修飾詞+基礎(chǔ)指標(biāo)詞根構(gòu)建派生指標(biāo)。派生指標(biāo)繼承基礎(chǔ)指標(biāo)的特性猜惋，例如：安裝門店數(shù)量-install_poi_cnt丸氛。

7.普通指標(biāo)命名規(guī)范，與字段命名規(guī)范一致著摔，由詞匯轉(zhuǎn)換即可以缓窜。

參考

本文檔規(guī)范依據(jù)來源參考：

《大數(shù)據(jù)之路：阿里巴巴大數(shù)據(jù)實(shí)踐》

《數(shù)倉工具箱：維度建模權(quán)威指南》

《OneData建設(shè)：美團(tuán)SaaS數(shù)倉建設(shè)》