轉(zhuǎn)自： https://mp.weixin.qq.com/s/mGkYRj8iV5_QvNMjS7bpIQ

數(shù)據(jù)倉庫是為企業(yè)所有級別的決策制定過程肤舞，提供所有類型數(shù)據(jù)支持的戰(zhàn)略集合继阻。數(shù)據(jù)倉庫建設(shè)的好壞在企業(yè)數(shù)字化建設(shè)中占據(jù)著舉足輕重的作用，其中舱污，數(shù)據(jù)倉庫建設(shè)規(guī)范則對數(shù)據(jù)倉庫建設(shè)起著重要約束作用。今天血筑，讓我們一起學(xué)習(xí)了解數(shù)據(jù)倉庫建設(shè)及其規(guī)范相關(guān)內(nèi)容忌警。

目錄：一、數(shù)據(jù)模型架構(gòu)原則

1. 數(shù)倉分層原則
2. 主題域劃分原則
3. 數(shù)據(jù)模型設(shè)計原則

二掺炭、數(shù)倉公共開發(fā)規(guī)范

1. 層次調(diào)用規(guī)范
2. 數(shù)據(jù)類型規(guī)范
3. 數(shù)據(jù)冗余規(guī)范
4. NULL字段處理規(guī)范
5. 指標(biāo)口徑規(guī)范
6. 數(shù)據(jù)表處理規(guī)范
7. 表的生命周期管理

三、數(shù)倉各層開發(fā)規(guī)范

1. ODS層設(shè)計規(guī)范
2. 公共維度層設(shè)計規(guī)范
3. DWD明細層設(shè)計規(guī)范
4. DWS公共匯總層設(shè)計規(guī)范

四凭戴、數(shù)倉命名規(guī)范

1. 詞根設(shè)計規(guī)范
2. 表命名規(guī)范
3. 指標(biāo)命名規(guī)范

一涧狮、數(shù)據(jù)模型架構(gòu)原則

1.1. 數(shù)倉分層原則

優(yōu)秀可靠的數(shù)倉體系，往往需要清晰的數(shù)據(jù)分層結(jié)構(gòu)么夫，即要保證數(shù)據(jù)層的穩(wěn)定又要屏蔽對下游的影響者冤，并且要避免鏈路過長。那么問題來了档痪，一直在講數(shù)倉要分層涉枫，那數(shù)倉分幾層最好？目前市場上主流的分層方式眼花繚亂腐螟，不過看事情不能只看表面愿汰，還要看到內(nèi)在的規(guī)律，不能為了分層而分層乐纸，沒有最好的衬廷，只有適合的。分層是以解決當(dāng)前業(yè)務(wù)快速的數(shù)據(jù)支撐為目的汽绢，為未來抽象出共性的框架并能夠賦能給其他業(yè)務(wù)線吗跋，同時為業(yè)務(wù)發(fā)展提供穩(wěn)定、準確的數(shù)據(jù)支撐宁昭，并能夠按照已有的模型為新業(yè)務(wù)發(fā)展提供方向跌宛，也就是數(shù)據(jù)驅(qū)動和賦能。一個好的分層架構(gòu)积仗，要有以下好處：

1. 清晰數(shù)據(jù)結(jié)構(gòu)疆拘；
2. 數(shù)據(jù)血緣追蹤；
3. 減少重復(fù)開發(fā)寂曹；
4. 數(shù)據(jù)關(guān)系條理化入问；
5. 屏蔽原始數(shù)據(jù)的影響。

數(shù)倉分層要結(jié)合公司業(yè)務(wù)進行稀颁，并且需要清晰明確各層職責(zé)芬失，一般采用如下分層結(jié)構(gòu)：[圖片上傳失敗...(image-88e944-1649751533390)]

<figcaption mp-original-font-size="12" mp-original-line-height="26.25" style="margin: 5px 0px 0px; padding: 0px; outline: 0px; max-width: 100%; box-sizing: border-box !important; word-wrap: break-word !important; text-align: center; color: rgb(136, 136, 136); font-size: 10.5px; font-family: PingFangSC-Light; line-height: 22.96875px;">數(shù)據(jù)分層架構(gòu)</figcaption>

數(shù)倉建模在哪層建設(shè)呢？我們以維度建模為例匾灶，建模是在數(shù)據(jù)源層的下一層進行建設(shè)棱烂，在上圖中，就是在DW層進行數(shù)倉建模阶女，所以DW層是數(shù)倉建設(shè)的核心層颊糜。下面詳細闡述下每層建設(shè)規(guī)范哩治，和上圖的分層稍微有些區(qū)別：

1. 數(shù)據(jù)源層：ODS（Operational Data Store）

ODS 層，是最接近數(shù)據(jù)源中數(shù)據(jù)的一層衬鱼，為了考慮后續(xù)可能需要追溯數(shù)據(jù)問題业筏，因此對于這一層就不建議做過多的數(shù)據(jù)清洗工作，原封不動地接入原始數(shù)據(jù)即可鸟赫，至于數(shù)據(jù)的去噪蒜胖、去重、異常值處理等過程可以放在后面的 DWD 層來做抛蚤。

2. 數(shù)據(jù)倉庫層：DW（Data Warehouse）

數(shù)據(jù)倉庫層是我們在做數(shù)據(jù)倉庫時要核心設(shè)計的一層台谢，在這里，從 ODS 層中獲得的數(shù)據(jù)按照主題建立各種數(shù)據(jù)模型岁经。DW 層又細分為 DWD（Data Warehouse Detail）層朋沮、DWM（Data WareHouse Middle）層和 DWS（Data WareHouse Servce） 層。

1) 數(shù)據(jù)明細層：DWD（Data Warehouse Detail）

該層一般保持和 ODS 層一樣的數(shù)據(jù)粒度缀壤，并且提供一定的數(shù)據(jù)質(zhì)量保證樊拓。DWD 層要做的就是將數(shù)據(jù)清理、整合塘慕、規(guī)范化骑脱、臟數(shù)據(jù)、垃圾數(shù)據(jù)苍糠、規(guī)范不一致的叁丧、狀態(tài)定義不一致的、命名不規(guī)范的數(shù)據(jù)都會被處理岳瞭。同時拥娄，為了提高數(shù)據(jù)明細層的易用性，該層會采用一些維度退化手法瞳筏，將維度退化至事實表中稚瘾，減少事實表和維表的關(guān)聯(lián)。另外姚炕，在該層也會做一部分的數(shù)據(jù)聚合摊欠，將相同主題的數(shù)據(jù)匯集到一張表中，提高數(shù)據(jù)的可用性 柱宦。

2) 數(shù)據(jù)中間層：DWM（Data WareHouse Middle）

該層會在 DWD 層的數(shù)據(jù)基礎(chǔ)上些椒，數(shù)據(jù)做輕度的聚合操作，生成一系列的中間表掸刊，提升公共指標(biāo)的復(fù)用性免糕，減少重復(fù)加工。直觀來講，就是對通用的核心維度進行聚合操作石窑，算出相應(yīng)的統(tǒng)計指標(biāo)牌芋。在實際計算中，如果直接從 DWD 或者 ODS 計算出寬表的統(tǒng)計指標(biāo)松逊，會存在計算量太大并且維度太少的問題躺屁，因此一般的做法是，在 DWM 層先計算出多個小的中間表经宏，然后再拼接成一張 DWS 的寬表犀暑。由于寬和窄的界限不易界定，也可以去掉 DWM 這一層烛恤，只留 DWS 層，將所有的數(shù)據(jù)再放在 DWS 亦可余耽。

3) 數(shù)據(jù)服務(wù)層：DWS（Data WareHouse Servce）

DWS 層為公共匯總層缚柏，會進行輕度匯總，粒度比明細數(shù)據(jù)稍粗碟贾，基于 DWD 層上的基礎(chǔ)數(shù)據(jù)币喧，整合匯總成分析某一個主題域的服務(wù)數(shù)據(jù)，一般是寬表袱耽。DWS 層應(yīng)覆蓋 80% 的應(yīng)用場景杀餐。又稱數(shù)據(jù)集市或?qū)挶怼０凑諛I(yè)務(wù)劃分朱巨，如主題域流量史翘、訂單、用戶等冀续，生成字段比較多的寬表琼讽，用于提供后續(xù)的業(yè)務(wù)查詢，OLAP 分析洪唐，數(shù)據(jù)分發(fā)等钻蹬。一般來講，該層的數(shù)據(jù)表會相對比較少凭需，一張表會涵蓋比較多的業(yè)務(wù)內(nèi)容问欠，由于其字段較多，因此一般也會稱該層的表為寬表粒蜈。

3. 數(shù)據(jù)應(yīng)用層：APP（Application）

在這里顺献，主要是提供給數(shù)據(jù)產(chǎn)品和數(shù)據(jù)分析使用的數(shù)據(jù)，一般會存放在 ES枯怖、 PostgreSql滚澜、Redis 等系統(tǒng)中供線上系統(tǒng)使用，也可能會存在 Hive 或者 Druid 中供數(shù)據(jù)分析和數(shù)據(jù)挖掘使用。比如我們經(jīng)常說的報表數(shù)據(jù)设捐，一般就放在這里借浊。

4. 維表層（Dimension）

如果維表過多，也可針對維表設(shè)計單獨一層萝招，維表層主要包含兩部分數(shù)據(jù)：高基數(shù)維度數(shù)據(jù)：一般是用戶資料表蚂斤、商品資料表類似的資料表。數(shù)據(jù)量可能是千萬級或者上億級別槐沼。低基數(shù)維度數(shù)據(jù)：一般是配置表曙蒸，比如枚舉值對應(yīng)的中文含義，或者日期維表岗钩。數(shù)據(jù)量可能是個位數(shù)或者幾千幾萬纽窟。

1.2. 主題域劃分原則

1) 按照業(yè)務(wù)或業(yè)務(wù)過程劃分

業(yè)務(wù)容易理解，就是指的功能模塊/業(yè)務(wù)線兼吓。業(yè)務(wù)過程：指企業(yè)的業(yè)務(wù)活動事件臂港，如下單、支付视搏、退款都是業(yè)務(wù)過程审孽。不過需要注意的是，一個業(yè)務(wù)過程是一個不可拆分的行為事件浑娜，通俗的講佑力，業(yè)務(wù)過程就是企業(yè)活動中的事件。[圖片上傳失敗...(image-e9961e-1649751533390)]

2) 按照數(shù)據(jù)域劃分

數(shù)據(jù)域是指面向業(yè)務(wù)分析筋遭，將業(yè)務(wù)過程或者維度進行抽象的集合打颤。其中，業(yè)務(wù)過程可以概括為一個個不可拆分的行為事件漓滔，在業(yè)務(wù)過程下瘸洛，可以定義指標(biāo)禁荸，維度是指度量的環(huán)境站粟，如買家下單事件，買家是維度贷笛。為保障整個體系的生命力踏施，數(shù)據(jù)域是需要抽象提煉石蔗，并且長期維護和更新的，但不輕易變動畅形。在劃分數(shù)據(jù)域時养距，既能涵蓋當(dāng)前所有的業(yè)務(wù)需求，又能在新業(yè)務(wù)進入時無影響地被包含進已有的數(shù)據(jù)域中和擴展新的數(shù)據(jù)域日熬。

1.3. 數(shù)據(jù)模型設(shè)計原則

1) 高內(nèi)聚棍厌、低耦合

即主題內(nèi)部高內(nèi)聚、 不同主題間低耦合。明細層按照業(yè)務(wù)過程劃分主題耘纱，匯總層按照“實體+ 活動”劃分不同分析主題敬肚，應(yīng)用層根據(jù)應(yīng)用需求劃分不同應(yīng)用主題。

2) 核心模型和擴展模型要分離

建立核心模型與擴展模型體系束析，核心模型包括的字段支持常用的核心業(yè)務(wù)艳馒，擴展模型包括的字段支持個性化或少量應(yīng)用的需要，不能讓擴展模型的字段過度侵入核心模型员寇，以免破壞核心模型的架構(gòu)簡潔性與可維護性弄慰。

3) 公共處理邏輯下沉及單一

越是底層公用的處理邏輯越應(yīng)該在數(shù)據(jù)調(diào)度依賴的底層進行封裝與實現(xiàn)，不要讓公用的處理邏輯暴露給應(yīng)用實現(xiàn)蝶锋，不要讓公共邏輯多處同時存在陆爽。

4) 成本與性能平衡

適當(dāng)?shù)臄?shù)據(jù)冗余可換取查詢和刷新性能，不宜過度冗余與數(shù)據(jù)復(fù)制扳缕。

5) 數(shù)據(jù)可回滾

處理邏輯不變慌闭，在不同時間多次運行數(shù)據(jù)結(jié)果確定不變。

二第献、數(shù)倉公共開發(fā)規(guī)范

2.1. 層次調(diào)用規(guī)范

穩(wěn)定業(yè)務(wù)按照標(biāo)準的數(shù)據(jù)流向進行開發(fā)贡必，即 ODS –> DWD –> DWS –> APP兔港。非穩(wěn)定業(yè)務(wù)或探索性需求庸毫，可以遵循 ODS -> DWD -> APP 或者 ODS -> DWD -> DWM ->APP 兩個模型數(shù)據(jù)流。在保障了數(shù)據(jù)鏈路的合理性之后衫樊，也必須保證模型分層引用原則：

• 正常流向：ODS -> DWD -> DWM -> DWS -> APP飒赃，當(dāng)出現(xiàn) ODS -> DWD -> DWS -> APP 這種關(guān)系時，說明主題域未覆蓋全科侈。應(yīng)將 DWD 數(shù)據(jù)落到 DWM 中载佳，對于使用頻度非常低的表允許 DWD -> DWS。
• 盡量避免出現(xiàn) DWS 寬表中使用 DWD 又使用（該 DWD 所歸屬主題域）DWM 的表臀栈。
• 同一主題域內(nèi)對于 DWM 生成 DWM 的表蔫慧，原則上要盡量避免，否則會影響 ETL 的效率权薯。
• DWM姑躲、DWS 和 APP 中禁止直接使用 ODS 的表， ODS 的表只能被 DWD 引用盟蚣。
• 禁止出現(xiàn)反向依賴黍析，例如 DWM 的表依賴 DWS 的表。

舉例：[圖片上傳失敗...(image-74b398-1649751533390)]

2.2. 數(shù)據(jù)類型規(guī)范

需統(tǒng)一規(guī)定不同的數(shù)據(jù)的數(shù)據(jù)類型屎开，嚴格按照規(guī)定的數(shù)據(jù)類型執(zhí)行：

1. 金額：double 或 使用 decimal(28,6) 控制精度等阐枣，明確單位是分還是元。
2. 字符串：string。
3. id類：bigint蔼两。
4. 時間：string甩鳄。
5. 狀態(tài)：string

2.3. 數(shù)據(jù)冗余規(guī)范

寬表的冗余字段要確保：

1. 冗余字段要使用高頻，下游3個或以上使用宪哩。
2. 冗余字段引入不應(yīng)造成本身數(shù)據(jù)產(chǎn)生過多的延后娩贷。
3. 冗余字段和已有字段的重復(fù)率不應(yīng)過大，原則上不應(yīng)超過60%锁孟，如需要可以選擇join或原表拓展彬祖。

2.4. NULL字段處理規(guī)范

• 對于維度字段，需設(shè)置為-1
• 對于指標(biāo)字段品抽，需設(shè)置為 0

2.5. 指標(biāo)口徑規(guī)范

保證主題域內(nèi)储笑，指標(biāo)口徑一致，無歧義圆恤。通過數(shù)據(jù)分層突倍，提供統(tǒng)一的數(shù)據(jù)出口，統(tǒng)一對外輸出的數(shù)據(jù)口徑盆昙，避免同一指標(biāo)不同口徑的情況發(fā)生羽历。

1) 指標(biāo)梳理

指標(biāo)口徑的不一致使得數(shù)據(jù)使用的成本極高，經(jīng)常出現(xiàn)口徑打架淡喜、反復(fù)核對數(shù)據(jù)的問題秕磷。在數(shù)據(jù)治理中，我們將需求梳理到的所有指標(biāo)進行進一步梳理炼团，明確其口徑澎嚣，如果存在兩個指標(biāo)名稱相同，但口徑不一致瘟芝，先判斷是否是進行合并易桃，如需要同時存在，那么在命名上必須能夠區(qū)分開锌俱。

2) 指標(biāo)管理

指標(biāo)管理分為原子指標(biāo)維護和派生指標(biāo)維護晤郑。原子指標(biāo)：

• 選擇原子指標(biāo)的歸屬產(chǎn)線、業(yè)務(wù)板塊贸宏、數(shù)據(jù)域造寝、業(yè)務(wù)過程
• 選擇原子指標(biāo)的統(tǒng)計數(shù)據(jù)來源于該業(yè)務(wù)過程下的原始數(shù)據(jù)源
• 錄入原子指標(biāo)的英文名稱、中文名稱锚赤、概述
• 填寫指標(biāo)函數(shù)
• 系統(tǒng)根據(jù)指標(biāo)函數(shù)自動生成原子指標(biāo)的定義表達式
• 系統(tǒng)根據(jù)指標(biāo)定義表達式以及數(shù)據(jù)源表生成原子指標(biāo)SQL

派生指標(biāo)：

• 在原子指標(biāo)的基礎(chǔ)之上選擇了一些維度或者修飾限定詞匹舞。

2.6. 數(shù)據(jù)表處理規(guī)范

1) 增量表

新增數(shù)據(jù)，增量數(shù)據(jù)是上次導(dǎo)出之后的新數(shù)據(jù)线脚。

1. 記錄每次增加的量赐稽，而不是總量叫榕；
2. 增量表，只報變化量姊舵，無變化不用報晰绎；
3. 每天一個分區(qū)。

2) 全量表

每天的所有的最新狀態(tài)的數(shù)據(jù)括丁。

1. 全量表荞下，有無變化，都要報史飞；
2. 每次上報的數(shù)據(jù)都是所有的數(shù)據(jù)（變化的 + 沒有變化的）尖昏；
3. 只有一個分區(qū)。

3) 快照表

按日分區(qū)构资，記錄截止數(shù)據(jù)日期的全量數(shù)據(jù)抽诉。

1. 快照表，有無變化吐绵，都要報迹淌；
2. 每次上報的數(shù)據(jù)都是所有的數(shù)據(jù)（變化的 + 沒有變化的）；
3. 一天一個分區(qū)己单。

4) 拉鏈表

記錄截止數(shù)據(jù)日期的全量數(shù)據(jù)唉窃。

1. 記錄一個事物從開始，一直到當(dāng)前狀態(tài)的所有變化的信息纹笼；
2. 拉鏈表每次上報的都是歷史記錄的最終狀態(tài)纹份，是記錄在當(dāng)前時刻的歷史總 量；
3. 當(dāng)前記錄存的是當(dāng)前時間之前的所有歷史記錄的最后變化量（總量）允乐；
4. 只有一個分區(qū)矮嫉。

2.7. 表的生命周期管理

這部分主要是要通過對歷史數(shù)據(jù)的等級劃分與對表類型的劃分生成相應(yīng)的生命周期管理矩陣削咆。

1) 歷史數(shù)據(jù)等級劃分

主要將歷史數(shù)據(jù)劃分P0牍疏、Pl、P2拨齐、P3 四個等級鳞陨，其具體定義如下：

• P0 ：非常重要的主題域數(shù)據(jù)和非常重要的應(yīng)用數(shù)據(jù)，具有不可恢復(fù)性瞻惋，如交易厦滤、日志、集團 KPI 數(shù)據(jù)歼狼、 IPO 關(guān)聯(lián)表掏导。
• Pl ：重要的業(yè)務(wù)數(shù)據(jù)和重要的應(yīng)用數(shù)據(jù)，具有不可恢復(fù)性羽峰，如重要的業(yè)務(wù)產(chǎn)品數(shù)據(jù)趟咆。
• P2 ：重要的業(yè)務(wù)數(shù)據(jù)和重要的應(yīng)用數(shù)據(jù)添瓷，具有可恢復(fù)性，如交易線 ETL 產(chǎn)生的中間過程數(shù)據(jù)值纱。
• P3 ：不重要的業(yè)務(wù)數(shù)據(jù)和不重要的應(yīng)用數(shù)據(jù)鳞贷，具有可恢復(fù)性，如某些 SNS 產(chǎn)品報表虐唠。

2) 表類型劃分

1. 事件型流水表（增量表）

事件型流水表（增量表）指數(shù)據(jù)無重復(fù)或者無主鍵數(shù)據(jù)搀愧，如日志。

2. 事件型鏡像表（增量表）

事件型鏡像表（增量表）指業(yè)務(wù)過程性數(shù)據(jù)疆偿，有主鍵咱筛，但是對于同樣主鍵的屬性會發(fā)生緩慢變化，如交易杆故、訂單狀態(tài)與時間會根據(jù)業(yè)務(wù)發(fā)生變更眷蚓。

3. 維表

維表包括維度與維度屬性數(shù)據(jù)，如用戶表反番、商品表沙热。

4. Merge 全量表

Merge 全量表包括業(yè)務(wù)過程性數(shù)據(jù)或者維表數(shù)據(jù)。由于數(shù)據(jù)本身有新增的或者發(fā)生狀態(tài)變更罢缸，對于同樣主鍵的數(shù)據(jù)可能會保留多份篙贸，因此可以對這些數(shù)據(jù)根據(jù)主鍵進行 Merge 操作，主鍵對應(yīng)的屬性只會保留最新狀態(tài)枫疆，歷史狀態(tài)保留在前一天分區(qū) 中爵川。例如，用戶表息楔、交易表等都可以進行 Merge 操作寝贡。

5. ETL 臨時表

ETL 臨時表是指 ETL 處理過程中產(chǎn)生的臨時表數(shù)據(jù)，一般不建議保留值依，最多7天圃泡。

6. TT 臨時數(shù)據(jù)

TT 拉取的數(shù)據(jù)和 DbSync 產(chǎn)生的臨時數(shù)據(jù)最終會流轉(zhuǎn)到 DS 層，ODS 層數(shù)據(jù)作為原始數(shù)據(jù)保留下來愿险，從而使得 TT&DbSync 上游數(shù)據(jù)成為臨時數(shù)據(jù)颇蜡。這類數(shù)據(jù)不建議保留很長時間，生命周期默認設(shè)置為 93天辆亏，可以根據(jù)實際情況適當(dāng)減少保留天數(shù)风秤。7. 普通全量表很多小業(yè)務(wù)數(shù)據(jù)或者產(chǎn)品數(shù)據(jù)，BI一般是直接全量拉取扮叨，這種方式效率快缤弦，對存儲壓力也不是很大，而且表保留很長時間彻磁，可以根據(jù)歷史數(shù)據(jù)等級確定保留策略碍沐。通過上述歷史數(shù)據(jù)等級劃分與表類型劃分惦费，生成相應(yīng)的生命周期管理矩陣，如下表所示：[圖片上傳失敗...(image-e49529-1649751533389)]

三抢韭、數(shù)倉各層開發(fā)規(guī)范

3.1. ODS層設(shè)計規(guī)范

同步規(guī)范：

1. 一個系統(tǒng)源表只允許同步一次薪贫；
2. 全量初始化同步和增量同步處理邏輯要清晰；
3. 以統(tǒng)計日期和時間進行分區(qū)存儲刻恭；
4. 目標(biāo)表字段在源表不存在時要自動填充處理瞧省。

表分類與生命周期：

1. ods流水全量表：

• 不可再生的永久保存；
• 日志可按留存要求鳍贾；
• 按需設(shè)置保留特殊日期數(shù)據(jù)鞍匾；
• 按需設(shè)置保留特殊月份數(shù)據(jù)；

2. ods鏡像型全量表：

• 推薦按天存儲骑科；
• 對歷史變化進行保留橡淑；
• 最新數(shù)據(jù)存儲在最大分區(qū)；
• 歷史數(shù)據(jù)按需保留咆爽；

3. ods增量數(shù)據(jù)：

• 推薦按天存儲梁棠；
• 有對應(yīng)全量表的，建議只保留14天數(shù)據(jù)斗埂；
• 無對應(yīng)全量表的符糊，永久保留；

4. ods的etl過程中的臨時表：

• 推薦按需保留呛凶；
• 最多保留7天男娄；
• 建議用完即刪，下次使用再生成漾稀；

5. BDSync非去重數(shù)據(jù)：

• 通過中間層保留模闲，默認用完即刪，不建議保留崭捍。

數(shù)據(jù)質(zhì)量：

1. 全量表必須配置唯一性字段標(biāo)識尸折；
2. 對分區(qū)空數(shù)據(jù)進行監(jiān)控；
3. 對枚舉類型字段缕贡，進行枚舉值變化和分布監(jiān)控翁授；
4. ods表數(shù)據(jù)量級和記錄數(shù)做環(huán)比監(jiān)控拣播；
5. ods全表都必須要有注釋晾咪；

3.2. 公共維度層設(shè)計規(guī)范

1) 設(shè)計準則

1. 一致性

共維度在不同的物理表中的字段名稱、數(shù)據(jù)類型贮配、數(shù)據(jù)內(nèi)容必須保持一致（歷史原因不一致谍倦，要做好版本控制）

2. 維度的組合與拆分

• 組合原則：

將維度與關(guān)聯(lián)性強的字段進行組合，一起查詢泪勒，一起展示昼蛀，兩個維度必須具有天然的關(guān)系宴猾，如：商品的基本屬性和所屬品牌。無相關(guān)性：如一些使用頻率較小的雜項維度叼旋，可以構(gòu)建一個集合雜項維度的特殊屬性仇哆。行為維度：經(jīng)過計算的度量，但下游當(dāng)維度處理夫植，例：點擊量 0-1000,100-1000等讹剔，可以做聚合分類。

• 拆分與冗余：

針對重要性详民，業(yè)務(wù)相關(guān)性延欠、源、使用頻率等可分為核心表沈跨、擴展表由捎。數(shù)據(jù)記錄較大的維度，可以適當(dāng)冗余一些子集饿凛。

2) 存儲及生命周期管理

建議按天分區(qū)狞玛。

1. 3個月內(nèi)最大訪問跨度<=4天時，建議保留最近7天分區(qū)涧窒；
2. 3個月內(nèi)最大訪問跨度<=12天時为居，建議保留最近15天分區(qū)；
3. 3個月內(nèi)最大訪問跨度<=30天時杀狡，建議保留最近33天分區(qū)蒙畴；
4. 3個月內(nèi)最大訪問跨度<=90天時，建議保留最近120天分區(qū)呜象；
5. 3個月內(nèi)最大訪問跨度<=180天時膳凝，建議保留最近240天分區(qū)；
6. 3個月內(nèi)最大訪問跨度<=300天時恭陡，建議保留最近400天分區(qū)蹬音；

3.3. DWD明細層設(shè)計規(guī)范

1) 存儲及生命周期管理

建議按天分區(qū)。

1. 3個月內(nèi)最大訪問跨度<=4天時休玩，建議保留最近7天分區(qū)著淆；
2. 3個月內(nèi)最大訪問跨度<=12天時，建議保留最近15天分區(qū)拴疤；
3. 3個月內(nèi)最大訪問跨度<=30天時永部，建議保留最近33天分區(qū)；
4. 3個月內(nèi)最大訪問跨度<=90天時呐矾，建議保留最近120天分區(qū)苔埋；
5. 3個月內(nèi)最大訪問跨度<=180天時，建議保留最近240天分區(qū)蜒犯；
6. 3個月內(nèi)最大訪問跨度<=300天時组橄，建議保留最近400天分區(qū)荞膘；

2) 事務(wù)型事實表設(shè)計準則

• 基于數(shù)據(jù)應(yīng)用需求的分析設(shè)計事務(wù)型事實表，結(jié)合下游較大的針對某個業(yè)務(wù)過程和分析指標(biāo)需求玉工，可考慮基于某個事件過程構(gòu)建事務(wù)型實時表羽资；
• 一般選用事件的發(fā)生日期或時間作為分區(qū)字段，便于掃描和裁剪遵班；
• 冗余子集原則削罩，有利于降低后續(xù)IO開銷；
• 明細層事實表維度退化费奸，減少后續(xù)使用join成本弥激。

3) 周期快照事實表

• 周期快照事實表中的每行匯總了發(fā)生在某一標(biāo)準周期，如某一天愿阐、某周微服、某月的多個度量事件。
• 粒度是周期性的缨历，不是個體的事務(wù)以蕴。
• 通常包含許多事實，因為任何與事實表粒度一致的度量事件都是被允許的辛孵。

4) 累積快照事實表

• 多個業(yè)務(wù)過程聯(lián)合分析而構(gòu)建的事實表丛肮，如采購單的流轉(zhuǎn)環(huán)節(jié)。
• 用于分析事件時間和時間之間的間隔周期魄缚。
• 少量的且當(dāng)前事務(wù)型不支持的宝与，如關(guān)閉、發(fā)貨等相關(guān)的統(tǒng)計冶匹。

3.4. DWS公共匯總層設(shè)計規(guī)范

數(shù)據(jù)倉庫的性能是數(shù)據(jù)倉庫建設(shè)是否成功的重要標(biāo)準之一习劫。聚集主要是通過匯總明細粒度數(shù)據(jù)來獲得改進查詢性能的效果。通過訪問聚集數(shù)據(jù)嚼隘，可以減少數(shù)據(jù)庫在響應(yīng)查詢時必須執(zhí)行的工作量诽里，能夠快速響應(yīng)用戶的查詢，同時有利于減少不同用訪問明細數(shù)據(jù)帶來的結(jié)果不一致問題飞蛹。

1) 聚集的基本原則

• 一致性谤狡。聚集表必須提供與查詢明細粒度數(shù)據(jù)一致的查詢結(jié)果。
• 避免單一表設(shè)計卧檐。不要在同一個表中存儲不同層次的聚集數(shù)據(jù)墓懂。
• 聚集粒度可不同。聚集并不需要保持與原始明細粒度數(shù)據(jù)一樣的粒度泄隔，聚集只關(guān)心所需要查詢的維度拒贱。

2) 聚集的基本步驟

第一步：確定聚集維度在原始明細模型中會存在多個描述事實的維度，如日期佛嬉、商品類別逻澳、賣家等，這時候需要確定根據(jù)什么維度聚集暖呕，如果只關(guān)心商品的交易額情況斜做，那么就可以根據(jù)商品維度聚集數(shù)據(jù)。第二步：確定一致性上鉆這時候要關(guān)心是按月匯總還是按天匯總湾揽，是按照商品匯總還是按照類目匯總瓤逼，如果按照類目匯總，還需要關(guān)心是按照大類匯總還是小類匯總库物。當(dāng)然霸旗，我們要做的只是了解用戶需要什么，然后按照他們想要的進行聚集戚揭。第三步：確定聚集事實在原始明細模型中可能會有多個事實的度量诱告，比如在交易中有交易額、交易數(shù)量等民晒，這時候要明確是按照交易額匯總還是按照成交數(shù)量匯總精居。

3) 公共匯總層設(shè)計原則

除了聚集基本的原則外，公共匯總層還必須遵循以下原則：

• 數(shù)據(jù)公用性潜必。匯總的聚集會有第三者使用嗎靴姿？基于某個維度的聚集是不是經(jīng)常用于數(shù)據(jù)分析中？如果答案是肯定的磁滚，那么就有必要把明細數(shù)據(jù)經(jīng)過匯總沉淀到聚集表中佛吓。
• 不跨數(shù)據(jù)域。數(shù)據(jù)域是在較高層次上對數(shù)據(jù)進行分類聚集的抽象垂攘。如以業(yè)務(wù)
• 區(qū)分統(tǒng)計周期辈毯。在表的命名上要能說明數(shù)據(jù)的統(tǒng)計周期，如 _Id表示最近1天搜贤，_td 表示截至當(dāng)天谆沃，_nd 表示最近N天。

四仪芒、數(shù)倉命名規(guī)范

4.1. 詞根設(shè)計規(guī)范

詞根屬于數(shù)倉建設(shè)中的規(guī)范唁影，屬于元數(shù)據(jù)管理的范疇，現(xiàn)在把這個劃到數(shù)據(jù)治理的一部分掂名。完整的數(shù)倉建設(shè)是包含數(shù)據(jù)治理的据沈，只是現(xiàn)在談到數(shù)倉偏向于數(shù)據(jù)建模， 而談到數(shù)據(jù)治理饺蔑，更多的是關(guān)于數(shù)據(jù)規(guī)范锌介、數(shù)據(jù)管理。表命名，其實在很大程度上是對元數(shù)據(jù)描述的一種體現(xiàn)孔祸，表命名規(guī)范越完善隆敢，我 們能從表名獲取到的信息就越多。比如：一部分業(yè)務(wù)是關(guān)于貨架的崔慧，英文名是：rack拂蝎， rack 就是一個詞根，那我們就在所有的表惶室、字段等用到的地方都叫 rack温自，不要叫成 別的什么。這就是詞根的作用皇钞，用來統(tǒng)一命名悼泌，表達同一個含義。指標(biāo)體系中有很多“率”的指標(biāo)夹界，都可以拆解成 XXX+率馆里，率可以叫 rate，那我 們所有的指標(biāo)都叫做 XXX+rate掉盅。詞根：可以用來統(tǒng)一表名也拜、字段名、主題域名等等趾痘。舉例：以流程圖的方式來展示慢哈，更加直觀和易懂，本圖側(cè)重 dwm 層表的命名 規(guī)范永票，其余命名是類似的道理：[圖片上傳失敗...(image-cbe835-1649751533389)]

第一個判斷條件是該表的用途卵贱，是中間表、原始日志還是業(yè)務(wù)展示用的表 如果該表被判斷為中間表侣集，就會走入下一個判斷條件：表是否有 group 操作 通過是否有 group 操作來判斷該表該劃分在 dwd 層還是 dwm 和 dws 層 如果不是 dwd 層键俱，則需要判斷該表是否是多個行為的匯總表（即寬表） 最后再分別填上事業(yè)群、部門世分、業(yè)務(wù)線编振、自定義名稱和更新頻率等信息即可。分層：表的使用范圍事業(yè)群和部門：生產(chǎn)該表或者該數(shù)據(jù)的團隊業(yè)務(wù)線：表明該數(shù)據(jù)是哪個產(chǎn)品或者業(yè)務(wù)線相關(guān)主題域：分析問題的角度臭埋，對象實體自定義：一般會盡可能多描述該表的信息踪央，比如活躍表、留存表等更新周期：比如說天級還是月級更新數(shù)倉表的命名規(guī)范如下：1. 數(shù)倉層次:公用維度：dimDM層：dmODS層：odsDWD層：dwdDWS層：dws2. 周期/數(shù)據(jù)范圍：日快照：d增量：i全量：f周：w拉鏈表：l非分區(qū)全量表：a

4.2. 表命名規(guī)范

1) 常規(guī)表

常規(guī)表是我們需要固化的表瓢阴，是正式使用的表畅蹂，是目前一段時間內(nèi)需要去維護去 完善的表。規(guī)范：分層前綴[dwd|dws|ads]_部門_業(yè)務(wù)域_主題域_XXX_更新周期|數(shù)據(jù)范圍業(yè)務(wù)域荣恐、主題域我們都可以用詞根的方式枚舉清楚液斜，不斷完善累贤。更新周期主要的是時間粒度、日少漆、月臼膏、年、周等检疫。

2) 中間表

中間表一般出現(xiàn)在 Job 中讶请，是 Job 中臨時存儲的中間數(shù)據(jù)的表祷嘶，中間表的作 用域只限于當(dāng)前 Job 執(zhí)行過程中屎媳，Job 一旦執(zhí)行完成，該中間表的使命就完 成了论巍，是可以刪除的（按照自己公司的場景自由選擇烛谊，以前公司會保留幾天 的中間表數(shù)據(jù)，用來排查問題）嘉汰。規(guī)范：mid_table_name_[0~9|dim]table_name 是我們?nèi)蝿?wù)中目標(biāo)表的名字丹禀，通常來說一個任務(wù)只有一個目標(biāo)表。這里加上表名鞋怀，是為了防止自由發(fā)揮的時候表名沖突双泪，而末尾大家可以選擇自由發(fā)揮，起一些有意義的名字密似，或者簡單粗暴焙矛，使用數(shù)字代替，各有優(yōu)劣吧残腌，謹慎選擇村斟。通常會遇到需要補全維度的表，這里使用 dim 結(jié)尾抛猫。如果要保留歷史的中間表蟆盹，可以加上日期或者時間戳。

3) 臨時表

臨時表是臨時測試的表闺金，是臨時使用一次的表逾滥，就是暫時保存下數(shù)據(jù)看看，后續(xù)一般不再使用的表败匹，是可以隨時刪除的表寨昙。規(guī)范：tmp_xxx只要加上 tmp 開頭即可，其他名字隨意哎壳，注意 tmp 開頭的表不要用來實際使用毅待，只是測試驗證而已。

4) 維度表

維度表是基于底層數(shù)據(jù)归榕，抽象出來的描述類的表尸红。維度表可以自動從底層表抽象出來，也可以手工來維護。規(guī)范：dim_xxx維度表外里，統(tǒng)一以 dim 開頭怎爵，后面加上，對該指標(biāo)的描述盅蝗。

5) 手工表

手工表是手工維護的表鳖链，手工初始化一次之后，一般不會自動改變墩莫，后面變更芙委，也是手工來維護。一般來說狂秦，手工的數(shù)據(jù)粒度是偏細的灌侣，所以暫時統(tǒng)一放在 dwd 層，后面如果有目標(biāo)值或者其他類型手工數(shù)據(jù)裂问，再根據(jù)實際情況分層侧啼。規(guī)范：dwd_業(yè)務(wù)域_manual_xxx手工表堪簿，增加特殊的主題域哪审，manual，表示手工維護表。

4.3. 指標(biāo)命名規(guī)范

1) 公共規(guī)則

• 所有單詞小寫
• 單詞之間下劃線分割（反例：appName 或 AppName）
• 可讀性優(yōu)于長度 (詞根，避免出現(xiàn)同一個指標(biāo)膀篮，命名一致性)
• 禁止使用 sql 關(guān)鍵字誓竿，如字段名與關(guān)鍵字沖突時 +col
• 數(shù)量字段后綴 _cnt 等標(biāo)識...
• 金額字段后綴 _price 標(biāo)識
• 天分區(qū)使用字段 dt涧偷，格式統(tǒng)一（yyyymmdd 或 yyyy-mm-dd）
• 小時分區(qū)使用字段 hh扼倘，范圍（00-23）
• 分鐘分區(qū)使用字段 mi，范圍（00-59）
• 布爾類型標(biāo)識：is_{業(yè)務(wù)}泛啸，不允許出現(xiàn)空值

2) 指標(biāo)命名規(guī)范

結(jié)合指標(biāo)的特性以及詞根管理規(guī)范，將指標(biāo)進行結(jié)構(gòu)化處理。

1. 基礎(chǔ)指標(biāo)詞根，即所有指標(biāo)必須包含以下基礎(chǔ)詞根：

[圖片上傳失敗...(image-fe8fc7-1649751533389)]

2. 業(yè)務(wù)修飾詞，用于描述業(yè)務(wù)場景的詞匯盖文，例如trade-交易洒敏。

3.日期修飾詞，用于修飾業(yè)務(wù)發(fā)生的時間區(qū)間铣卡。[圖片上傳失敗...(image-8b4869-1649751533389)]

4.聚合修飾詞踊谋，對結(jié)果進行聚集操作睦疫。[圖片上傳失敗...(image-979ac8-1649751533389)]

5.基礎(chǔ)指標(biāo)瓦糕，單一的業(yè)務(wù)修飾詞+基礎(chǔ)指標(biāo)詞根構(gòu)建基礎(chǔ)指標(biāo) 亥揖，例如：交易金額-trade_amt圣贸。6.派生指標(biāo)，多修飾詞+基礎(chǔ)指標(biāo)詞根構(gòu)建派生指標(biāo)凡傅。派生指標(biāo)繼承基礎(chǔ)指標(biāo)的特性，例如：安裝門店數(shù)量-install_poi_cnt肠缔。7.普通指標(biāo)命名規(guī)范夏跷，與字段命名規(guī)范一致哼转，由詞匯轉(zhuǎn)換即可以。

[圖片上傳失敗...(image-31ae05-1649751533390)]

參考

本文檔規(guī)范依據(jù)來源參考：

1. 《大數(shù)據(jù)之路：阿里巴巴大數(shù)據(jù)實踐》
2. 《數(shù)倉工具箱：維度建模權(quán)威指南》
3. 《OneData建設(shè)：美團SaaS數(shù)倉建設(shè)》

--END--[圖片上傳失敗...(image-da933e-1649751533390)]

福利時刻01. 后臺回復(fù)「數(shù)據(jù)」,即可領(lǐng)取大數(shù)據(jù)經(jīng)典資料槽华。02. 后臺回復(fù)「轉(zhuǎn)型」,即可領(lǐng)取企業(yè)數(shù)字化轉(zhuǎn)型經(jīng)典必學(xué)資料壹蔓。 03. 后臺回復(fù)「加群」,或添加數(shù)智俠微信ID：bigdata_master06，備注：昵稱-職位-城市猫态，通過審核會拉你入群（大數(shù)據(jù)|數(shù)倉|分析）或領(lǐng)取資料佣蓉。04. 后臺回復(fù)「知識星球」,加入數(shù)智俠免費技術(shù)共享協(xié)作知識星球庫，成員共建參與亲雪，旨在互聯(lián)網(wǎng)技術(shù)知識的傳遞與分享交流勇凭。 <mpprofile class="js_uneditable" data-pluginname="mpprofile" data-id="Mzg5NjYyMjI5NQ==" data-headimg="http://mmbiz.qpic.cn/mmbiz_png/89GsEFTSD2aLgs8RGCUXydxrgib7xGdicpFZDrVAzx1bn8X7G0gzlSk8WLZOyzt6qLsCbFe8iaOcUYibdtzqkyW5BQ/0?wx_fmt=png" data-nickname="行走的數(shù)據(jù)智能" data-alias="Walking_DI" data-signature="數(shù)智俠，計算機小碩义辕，目前通訊行業(yè)從事大數(shù)據(jù)研發(fā)工作虾标。專注于大數(shù)據(jù)平臺、日志系統(tǒng)、數(shù)據(jù)倉庫、數(shù)據(jù)中臺、實時數(shù)倉、企業(yè)數(shù)字化轉(zhuǎn)型等數(shù)據(jù)技術(shù)領(lǐng)域闽寡。公眾號分享大量干貨，包括數(shù)據(jù)中臺/數(shù)字化轉(zhuǎn)型方案和案例及刻、大數(shù)據(jù)架構(gòu)岂丘、數(shù)據(jù)治理、數(shù)據(jù)處理優(yōu)化技巧等销部。" data-from="0" wah-hotarea="click" mp-original-font-size="16" mp-original-line-height="25.600000381469727" style="margin: 0px; padding: 0px; outline: 0px; max-width: 100%; box-sizing: border-box !important; word-wrap: break-word !important; font-size: 14px; line-height: 22.40000033378601px;">[圖片上傳失敗...(image-48db10-1649751533388)]

**行走的數(shù)據(jù)智能 **

數(shù)智俠摸航，計算機小碩，目前通訊行業(yè)從事大數(shù)據(jù)研發(fā)工作舅桩。專注于大數(shù)據(jù)平臺酱虎、日志系統(tǒng)、數(shù)據(jù)倉庫擂涛、數(shù)據(jù)中臺读串、實時數(shù)倉、企業(yè)數(shù)字化轉(zhuǎn)型等數(shù)據(jù)技術(shù)領(lǐng)域撒妈。公眾號分享大量干貨恢暖，包括數(shù)據(jù)中臺/數(shù)字化轉(zhuǎn)型方案和案例、大數(shù)據(jù)架構(gòu)狰右、數(shù)據(jù)治理杰捂、數(shù)據(jù)處理優(yōu)化技巧等。

5篇原創(chuàng)內(nèi)容

公眾號</mpprofile> 棋蚌！關(guān)注不迷路~ 各種福利嫁佳、資源定期分享挨队！你點的每個在看，我都認真當(dāng)成了喜歡

閱讀 517

7 5