1惭嚣、數(shù)倉分層原則

優(yōu)秀可靠的數(shù)倉體系晚吞，往往需要清晰的數(shù)據(jù)分層結(jié)構(gòu)槽地，即要保證數(shù)據(jù)層的穩(wěn)定又要屏蔽對下游的影響捌蚊，并且要避免鏈路過長逢勾。那么問題來了溺拱，一直在講數(shù)倉要分層，那數(shù)倉分幾層最好沐扳？

目前市場上主流的分層方式眼花繚亂沪摄，不過看事情不能只看表面杨拐，還要看到內(nèi)在的規(guī)律哄陶，不能為了分層而分層，沒有最好的山宾，只有適合的资锰。

分層是以解決當(dāng)前業(yè)務(wù)快速的數(shù)據(jù)支撐為目的翎猛，為未來抽象出共性的框架并能夠賦能給其他業(yè)務(wù)線切厘，同時(shí)為業(yè)務(wù)發(fā)展提供穩(wěn)定疫稿、準(zhǔn)確的數(shù)據(jù)支撐遗座，并能夠按照已有的模型為新業(yè)務(wù)發(fā)展提供方向途蒋，也就是數(shù)據(jù)驅(qū)動和賦能号坡。

一個(gè)好的分層架構(gòu)，要有以下好處：

• 清晰數(shù)據(jù)結(jié)構(gòu)腌紧；

• 數(shù)據(jù)血緣追蹤壁肋；

• 減少重復(fù)開發(fā)浸遗；

• 數(shù)據(jù)關(guān)系條理化乙帮；

• 屏蔽原始數(shù)據(jù)的影響驾茴。

數(shù)倉分層要結(jié)合公司業(yè)務(wù)進(jìn)行锈至，并且需要清晰明確各層職責(zé)峡捡，一般采用如下分層結(jié)構(gòu)：

image.png

數(shù)倉建模在哪層建設(shè)呢稍途？我們以維度建模為例械拍，建模是在數(shù)據(jù)源層的下一層進(jìn)行建設(shè)坷虑，在上圖中迄损，就是在DW層進(jìn)行數(shù)倉建模芹敌，所以DW層是數(shù)倉建設(shè)的核心層。

下面詳細(xì)闡述下每層建設(shè)規(guī)范拗引，和上圖的分層稍微有些區(qū)別：

1）數(shù)據(jù)源層：ODS（Operational Data Store）

ODS 層矾削，是最接近數(shù)據(jù)源中數(shù)據(jù)的一層哼凯，為了考慮后續(xù)可能需要追溯數(shù)據(jù)問題断部，因此對于這一層就不建議做過多的數(shù)據(jù)清洗工作，原封不動地接入原始數(shù)據(jù)即可达址，至于數(shù)據(jù)的去噪沉唠、去重径簿、異常值處理等過程可以放在后面的 DWD 層來做篇亭。

2）數(shù)據(jù)倉庫層：DW（Data Warehouse）

數(shù)據(jù)倉庫層是我們在做數(shù)據(jù)倉庫時(shí)要核心設(shè)計(jì)的一層暗赶，在這里蹂随，從 ODS 層中獲得的數(shù)據(jù)按照主題建立各種數(shù)據(jù)模型岳锁。

DW 層又細(xì)分為 DWD（Data Warehouse Detail）層激率、DWM（Data WareHouse Middle）層和 DWS（Data WareHouse Servce） 層乒躺。

①數(shù)據(jù)明細(xì)層：DWD（Data Warehouse Detail）

該層一般保持和 ODS 層一樣的數(shù)據(jù)粒度嘉冒，并且提供一定的數(shù)據(jù)質(zhì)量保證讳推。DWD 層要做的就是將數(shù)據(jù)清理银觅、整合究驴、規(guī)范化纳胧、臟數(shù)據(jù)跑慕、垃圾數(shù)據(jù)核行、規(guī)范不一致的芝雪、狀態(tài)定義不一致的、命名不規(guī)范的數(shù)據(jù)都會被處理如筛。

同時(shí)杨刨，為了提高數(shù)據(jù)明細(xì)層的易用性芥颈，該層會采用一些維度退化手法，將維度退化至事實(shí)表中纠屋，減少事實(shí)表和維表的關(guān)聯(lián)售担。

另外灼舍，在該層也會做一部分的數(shù)據(jù)聚合骑素，將相同主題的數(shù)據(jù)匯集到一張表中献丑，提高數(shù)據(jù)的可用性 创橄。

②數(shù)據(jù)中間層：DWM（Data WareHouse Middle）

該層會在 DWD 層的數(shù)據(jù)基礎(chǔ)上妥畏，數(shù)據(jù)做輕度的聚合操作醉蚁，生成一系列的中間表，提升公共指標(biāo)的復(fù)用性妇智，減少重復(fù)加工巍棱。

直觀來講桨菜，就是對通用的核心維度進(jìn)行聚合操作倒得，算出相應(yīng)的統(tǒng)計(jì)指標(biāo)霞掺。

在實(shí)際計(jì)算中菩彬，如果直接從 DWD 或者 ODS 計(jì)算出寬表的統(tǒng)計(jì)指標(biāo)骗灶，會存在計(jì)算量太大并且維度太少的問題耙旦，因此一般的做法是锉罐，在 DWM 層先計(jì)算出多個(gè)小的中間表脓规，然后再拼接成一張 DWS 的寬表侨舆。由于寬和窄的界限不易界定态罪，也可以去掉 DWM 這一層，只留 DWS 層沥割，將所有的數(shù)據(jù)再放在 DWS 亦可机杜。

③數(shù)據(jù)服務(wù)層：DWS（Data WareHouse Servce）

DWS 層為公共匯總層椒拗，會進(jìn)行輕度匯總蚀苛，粒度比明細(xì)數(shù)據(jù)稍粗堵未，基于 DWD 層上的基礎(chǔ)數(shù)據(jù)块饺，整合匯總成分析某一個(gè)主題域的服務(wù)數(shù)據(jù)授艰，一般是寬表淮腾。DWS 層應(yīng)覆蓋 80% 的應(yīng)用場景来破。又稱數(shù)據(jù)集市或?qū)挶怼?/p>

按照業(yè)務(wù)劃分徘禁，如主題域流量送朱、訂單驶沼、用戶等回怜，生成字段比較多的寬表玉雾，用于提供后續(xù)的業(yè)務(wù)查詢复旬，OLAP 分析驹碍，數(shù)據(jù)分發(fā)等怔球。

一般來講庞溜，該層的數(shù)據(jù)表會相對比較少流码，一張表會涵蓋比較多的業(yè)務(wù)內(nèi)容漫试，由于其字段較多驾荣，因此一般也會稱該層的表為寬表播掷。

3）數(shù)據(jù)應(yīng)用層：APP（Application）

在這里歧匈，主要是提供給數(shù)據(jù)產(chǎn)品和數(shù)據(jù)分析使用的數(shù)據(jù)件炉，一般會存放在 ES斟冕、 PostgreSql磕蛇、Redis 等系統(tǒng)中供線上系統(tǒng)使用孤里，也可能會存在 Hive 或者 Druid 中供數(shù)據(jù)分析和數(shù)據(jù)挖掘使用。比如我們經(jīng)常說的報(bào)表數(shù)據(jù)炸枣，一般就放在這里适肠。

4）維表層（Dimension）

如果維表過多侯养，也可針對維表設(shè)計(jì)單獨(dú)一層逛揩，維表層主要包含兩部分?jǐn)?shù)據(jù)：

高基數(shù)維度數(shù)據(jù)：一般是用戶資料表惧笛、商品資料表類似的資料表患整。數(shù)據(jù)量可能是千萬級或者上億級別各谚。

低基數(shù)維度數(shù)據(jù)：一般是配置表昌渤，比如枚舉值對應(yīng)的中文含義愈涩，或者日期維表履婉。數(shù)據(jù)量可能是個(gè)位數(shù)或者幾千幾萬毁腿。

2已烤、主題域劃分原則

1. 按照業(yè)務(wù)或業(yè)務(wù)過程劃分

業(yè)務(wù)容易理解，就是指的功能模塊/業(yè)務(wù)線躁绸。

業(yè)務(wù)過程：指企業(yè)的業(yè)務(wù)活動事件，如下單硅则、支付怎虫、退款都是業(yè)務(wù)過程困介。不過需要注意的是饥努，一個(gè)業(yè)務(wù)過程是一個(gè)不可拆分的行為事件，通俗的講，業(yè)務(wù)過程就是企業(yè)活動中的事件溶浴。

image.png

2. 按照數(shù)據(jù)域劃分

數(shù)據(jù)域是指面向業(yè)務(wù)分析，將業(yè)務(wù)過程或者維度進(jìn)行抽象的集合谅将。其中饥臂，業(yè)務(wù)過程可以概括為一個(gè)個(gè)不可拆分的行為事件隅熙，在業(yè)務(wù)過程下囚戚，可以定義指標(biāo)驰坊，維度是指度量的環(huán)境庐橙，如買家下單事件，買家是維度。為保障整個(gè)體系的生命力浆竭，數(shù)據(jù)域是需要抽象提煉邦泄，并且長期維護(hù)和更新的顺囊，但不輕易變動特碳。在劃分?jǐn)?shù)據(jù)域時(shí)午乓，既能涵蓋當(dāng)前所有的業(yè)務(wù)需求益愈，又能在新業(yè)務(wù)進(jìn)入時(shí)無影響地被包含進(jìn)已有的數(shù)據(jù)域中和擴(kuò)展新的數(shù)據(jù)域蒸其。

3摸袁、數(shù)據(jù)模型設(shè)計(jì)原則

1. 高內(nèi)聚但惶、低耦合

即主題內(nèi)部高內(nèi)聚膀曾、 不同主題間低耦合添谊。明細(xì)層按照業(yè)務(wù)過程劃分主題斩狱，匯總層按照“實(shí)體+ 活動”劃分不同分析主題所踊，應(yīng)用層根據(jù)應(yīng)用需求劃分不同應(yīng)用主題秕岛。

2. 核心模型和擴(kuò)展模型要分離

建立核心模型與擴(kuò)展模型體系继薛，核心模型包括的字段支持常用的核心業(yè)務(wù)慈鸠，擴(kuò)展模型包括的字段支持個(gè)性化或少量應(yīng)用的需要青团，不能讓擴(kuò)展模型的字段過度侵入核心模型壶冒，以免破壞核心模型的架構(gòu)簡潔性與可維護(hù)性胖腾。

3. 公共處理邏輯下沉及單一

越是底層公用的處理邏輯越應(yīng)該在數(shù)據(jù)調(diào)度依賴的底層進(jìn)行封裝與實(shí)現(xiàn)咸作，不要讓公用的處理邏輯暴露給應(yīng)用實(shí)現(xiàn)，不要讓公共邏輯多處同時(shí)存在桐智。

4. 成本與性能平衡

適當(dāng)?shù)臄?shù)據(jù)冗余可換取查詢和刷新性能说庭，不宜過度冗余與數(shù)據(jù)復(fù)制刊驴。

5. 數(shù)據(jù)可回滾

處理邏輯不變舅柜，在不同時(shí)間多次運(yùn)行數(shù)據(jù)結(jié)果確定不變躲惰。

二知举、數(shù)倉公共開發(fā)規(guī)范

1、層次調(diào)用規(guī)范
穩(wěn)定業(yè)務(wù)按照標(biāo)準(zhǔn)的數(shù)據(jù)流向進(jìn)行開發(fā)僚焦，即 ODS –> DWD –> DWS –> APP芳悲。非穩(wěn)定業(yè)務(wù)或探索性需求名扛，可以遵循 ODS -> DWD -> APP 或者 ODS -> DWD -> DWM ->APP 兩個(gè)模型數(shù)據(jù)流。

在保障了數(shù)據(jù)鏈路的合理性之后弄企，也必須保證模型分層引用原則：

正常流向：ODS -> DWD -> DWM -> DWS -> APP拘领，當(dāng)出現(xiàn) ODS -> DWD -> DWS -> APP 這種關(guān)系時(shí)，說明主題域未覆蓋全笆凌。應(yīng)將 DWD 數(shù)據(jù)落到 DWM 中圣猎，對于使用頻度非常低的表允許 DWD -> DWS。

盡量避免出現(xiàn) DWS 寬表中使用 DWD 又使用（該 DWD 所歸屬主題域）DWM 的表菩颖。

同一主題域內(nèi)對于 DWM 生成 DWM 的表样漆，原則上要盡量避免，否則會影響 ETL 的效率晦闰。

DWM放祟、DWS 和 APP 中禁止直接使用 ODS 的表鳍怨， ODS 的表只能被 DWD 引用鞋喇。

禁止出現(xiàn)反向依賴，例如 DWM 的表依賴 DWS 的表。

image.png

2、數(shù)據(jù)類型規(guī)范
需統(tǒng)一規(guī)定不同的數(shù)據(jù)的數(shù)據(jù)類型，嚴(yán)格按照規(guī)定的數(shù)據(jù)類型執(zhí)行：

金額：double 或 使用 decimal(28,6) 控制精度等，明確單位是分還是元赁温。

字符串：string毁涉。

id類：bigint待牵。

時(shí)間：string。

狀態(tài)：string

3熄云、數(shù)據(jù)冗余規(guī)范
寬表的冗余字段要確保：

冗余字段要使用高頻练般，下游3個(gè)或以上使用。

冗余字段引入不應(yīng)造成本身數(shù)據(jù)產(chǎn)生過多的延后。

冗余字段和已有字段的重復(fù)率不應(yīng)過大势木，原則上不應(yīng)超過60%甫男，如需要可以選擇join或原表拓展又跛。

4礼烈、NULL字段處理規(guī)范
對于維度字段犀忱，需設(shè)置為-1

對于指標(biāo)字段鲫寄，需設(shè)置為 0

5、指標(biāo)口徑規(guī)范
保證主題域內(nèi)，指標(biāo)口徑一致，無歧義。

通過數(shù)據(jù)分層，提供統(tǒng)一的數(shù)據(jù)出口，統(tǒng)一對外輸出的數(shù)據(jù)口徑，避免同一指標(biāo)不同口徑的情況發(fā)生。

1. 指標(biāo)梳理

指標(biāo)口徑的不一致使得數(shù)據(jù)使用的成本極高，經(jīng)常出現(xiàn)口徑打架诞丽、反復(fù)核對數(shù)據(jù)的問題懂衩。在數(shù)據(jù)治理中法希，我們將需求梳理到的所有指標(biāo)進(jìn)行進(jìn)一步梳理，明確其口徑，如果存在兩個(gè)指標(biāo)名稱相同油啤，但口徑不一致，先判斷是否是進(jìn)行合并嗤栓，如需要同時(shí)存在，那么在命名上必須能夠區(qū)分開钮呀。

2. 指標(biāo)管理

指標(biāo)管理分為原子指標(biāo)維護(hù)和派生指標(biāo)維護(hù)形用。

原子指標(biāo)：

選擇原子指標(biāo)的歸屬產(chǎn)線、業(yè)務(wù)板塊哼鬓、數(shù)據(jù)域扣癣、業(yè)務(wù)過程

選擇原子指標(biāo)的統(tǒng)計(jì)數(shù)據(jù)來源于該業(yè)務(wù)過程下的原始數(shù)據(jù)源

錄入原子指標(biāo)的英文名稱垂涯、中文名稱、概述

填寫指標(biāo)函數(shù)

系統(tǒng)根據(jù)指標(biāo)函數(shù)自動生成原子指標(biāo)的定義表達(dá)式

系統(tǒng)根據(jù)指標(biāo)定義表達(dá)式以及數(shù)據(jù)源表生成原子指標(biāo)SQL

派生指標(biāo)：

在原子指標(biāo)的基礎(chǔ)之上選擇了一些維度或者修飾限定詞是掰。

6、數(shù)據(jù)表處理規(guī)范

1. 增量表

新增數(shù)據(jù)邑贴，增量數(shù)據(jù)是上次導(dǎo)出之后的新數(shù)據(jù)。

記錄每次增加的量封恰，而不是總量懂盐；

增量表俐银，只報(bào)變化量，無變化不用報(bào)市袖；

每天一個(gè)分區(qū)。

2. 全量表

每天的所有的最新狀態(tài)的數(shù)據(jù)仗扬。

全量表募壕，有無變化照棋，都要報(bào)；

每次上報(bào)的數(shù)據(jù)都是所有的數(shù)據(jù)（變化的 + 沒有變化的）丽蝎；

只有一個(gè)分區(qū)吧恃。

3. 快照表

按日分區(qū)筷凤，記錄截止數(shù)據(jù)日期的全量數(shù)據(jù)。

快照表融柬，有無變化翼雀，都要報(bào)；

每次上報(bào)的數(shù)據(jù)都是所有的數(shù)據(jù)（變化的 + 沒有變化的）赤炒；

一天一個(gè)分區(qū)尘执。

4. 拉鏈表

記錄截止數(shù)據(jù)日期的全量數(shù)據(jù)。

記錄一個(gè)事物從開始但绕，一直到當(dāng)前狀態(tài)的所有變化的信息拆座；

拉鏈表每次上報(bào)的都是歷史記錄的最終狀態(tài)散怖，是記錄在當(dāng)前時(shí)刻的歷史總 量；

當(dāng)前記錄存的是當(dāng)前時(shí)間之前的所有歷史記錄的最后變化量（總量）枚荣；

只有一個(gè)分區(qū)慌随。

7民效、表的生命周期管理
這部分主要是要通過對歷史數(shù)據(jù)的等級劃分與對表類型的劃分生成相應(yīng)的生命周期管理矩陣。

1. 歷史數(shù)據(jù)等級劃分

主要將歷史數(shù)據(jù)劃分P0素征、Pl嫌拣、P2酝润、P3 四個(gè)等級凳鬓，其具體定義如下：

P0 ：非常重要的主題域數(shù)據(jù)和非常重要的應(yīng)用數(shù)據(jù)，具有不可恢復(fù)性船侧，如交易、日志涝桅、集團(tuán) KPI 數(shù)據(jù)、 IPO 關(guān)聯(lián)表。

Pl ：重要的業(yè)務(wù)數(shù)據(jù)和重要的應(yīng)用數(shù)據(jù)拇派，具有不可恢復(fù)性，如重要的業(yè)務(wù)產(chǎn)品數(shù)據(jù)蝴猪。

P2 ：重要的業(yè)務(wù)數(shù)據(jù)和重要的應(yīng)用數(shù)據(jù)哼丈，具有可恢復(fù)性主卫，如交易線 ETL 產(chǎn)生的中間過程數(shù)據(jù)。

P3 ：不重要的業(yè)務(wù)數(shù)據(jù)和不重要的應(yīng)用數(shù)據(jù)吮蛹，具有可恢復(fù)性，如某些 SNS 產(chǎn)品報(bào)表。

2. 表類型劃分

①事件型流水表（增量表）

事件型流水表（增量表）指數(shù)據(jù)無重復(fù)或者無主鍵數(shù)據(jù)，如日志狈蚤。

②事件型鏡像表（增量表）

事件型鏡像表（增量表）指業(yè)務(wù)過程性數(shù)據(jù)靖避，有主鍵榛臼，但是對于同樣主鍵的屬性會發(fā)生緩慢變化，如交易庆锦、訂單狀態(tài)與時(shí)間會根據(jù)業(yè)務(wù)發(fā)生變更烁峭。

③維表

維表包括維度與維度屬性數(shù)據(jù)，如用戶表但两、商品表鬓梅。

④Merge 全量表

Merge 全量表包括業(yè)務(wù)過程性數(shù)據(jù)或者維表數(shù)據(jù)。由于數(shù)據(jù)本身有新增的或者發(fā)生狀態(tài)變更谨湘，對于同樣主鍵的數(shù)據(jù)可能會保留多份绽快，因此可以對這些數(shù)據(jù)根據(jù)主鍵進(jìn)行 Merge 操作，主鍵對應(yīng)的屬性只會保留最新狀態(tài)悲关，歷史狀態(tài)保留在前一天分區(qū) 中谎僻。例如娄柳，用戶表寓辱、交易表等都可以進(jìn)行 Merge 操作。

⑤ETL 臨時(shí)表

ETL 臨時(shí)表是指 ETL 處理過程中產(chǎn)生的臨時(shí)表數(shù)據(jù)赤拒，一般不建議保留秫筏，最多7天。

⑥TT 臨時(shí)數(shù)據(jù)

TT 拉取的數(shù)據(jù)和 DbSync 產(chǎn)生的臨時(shí)數(shù)據(jù)最終會流轉(zhuǎn)到 DS 層挎挖，ODS 層數(shù)據(jù)作為原始數(shù)據(jù)保留下來这敬，從而使得 TT&DbSync 上游數(shù)據(jù)成為臨時(shí)數(shù)據(jù)。這類數(shù)據(jù)不建議保留很長時(shí)間蕉朵，生命周期默認(rèn)設(shè)置為 93天崔涂，可以根據(jù)實(shí)際情況適當(dāng)減少保留天數(shù)。

⑦普通全量表

很多小業(yè)務(wù)數(shù)據(jù)或者產(chǎn)品數(shù)據(jù)始衅，BI一般是直接全量拉取冷蚂，這種方式效率快缭保，對存儲壓力也不是很大，而且表保留很長時(shí)間蝙茶，可以根據(jù)歷史數(shù)據(jù)等級確定保留策略艺骂。

image.png

三钳恕、數(shù)倉各層開發(fā)規(guī)范

1、ODS層設(shè)計(jì)規(guī)范
1）同步規(guī)范：

一個(gè)系統(tǒng)源表只允許同步一次蹄衷；

全量初始化同步和增量同步處理邏輯要清晰忧额；

以統(tǒng)計(jì)日期和時(shí)間進(jìn)行分區(qū)存儲；

目標(biāo)表字段在源表不存在時(shí)要自動填充處理愧口。

2）表分類與生命周期：

①ods流水全量表：

不可再生的永久保存宙址；

日志可按留存要求；

按需設(shè)置保留特殊日期數(shù)據(jù)调卑；

按需設(shè)置保留特殊月份數(shù)據(jù)抡砂；

②ods鏡像型全量表：

推薦按天存儲；

對歷史變化進(jìn)行保留恬涧；

最新數(shù)據(jù)存儲在最大分區(qū)注益；

歷史數(shù)據(jù)按需保留；

③ods增量數(shù)據(jù)：

推薦按天存儲溯捆；

有對應(yīng)全量表的丑搔，建議只保留14天數(shù)據(jù)；

無對應(yīng)全量表的提揍，永久保留啤月；

④ods的etl過程中的臨時(shí)表：

推薦按需保留；

最多保留7天劳跃；

建議用完即刪谎仲，下次使用再生成；

⑤BDSync非去重?cái)?shù)據(jù)：

通過中間層保留刨仑，默認(rèn)用完即刪郑诺，不建議保留。

3）數(shù)據(jù)質(zhì)量：

全量表必須配置唯一性字段標(biāo)識杉武；

對分區(qū)空數(shù)據(jù)進(jìn)行監(jiān)控辙诞；

對枚舉類型字段，進(jìn)行枚舉值變化和分布監(jiān)控轻抱；

ods表數(shù)據(jù)量級和記錄數(shù)做環(huán)比監(jiān)控飞涂；

ods全表都必須要有注釋；

2、公共維度層設(shè)計(jì)規(guī)范

1. 設(shè)計(jì)準(zhǔn)則

①一致性

共維度在不同的物理表中的字段名稱较店、數(shù)據(jù)類型志鹃、數(shù)據(jù)內(nèi)容必須保持一致（歷史原因不一致，要做好版本控制）

②維度的組合與拆分

組合原則：

將維度與關(guān)聯(lián)性強(qiáng)的字段進(jìn)行組合泽西，一起查詢曹铃，一起展示，兩個(gè)維度必須具有天然的關(guān)系捧杉，如：商品的基本屬性和所屬品牌陕见。

無相關(guān)性：如一些使用頻率較小的雜項(xiàng)維度，可以構(gòu)建一個(gè)集合雜項(xiàng)維度的特殊屬性味抖。

拆分與冗余：

針對重要性评甜，業(yè)務(wù)相關(guān)性、源仔涩、使用頻率等可分為核心表忍坷、擴(kuò)展表。

數(shù)據(jù)記錄較大的維度熔脂，可以適當(dāng)冗余一些子集佩研。

2. 存儲及生命周期管理

建議按天分區(qū)。

3個(gè)月內(nèi)最大訪問跨度<=4天時(shí)霞揉，建議保留最近7天分區(qū)旬薯；

3個(gè)月內(nèi)最大訪問跨度<=12天時(shí)，建議保留最近15天分區(qū)适秩；

3個(gè)月內(nèi)最大訪問跨度<=30天時(shí)绊序，建議保留最近33天分區(qū)；

3個(gè)月內(nèi)最大訪問跨度<=90天時(shí)秽荞，建議保留最近120天分區(qū)骤公；

3個(gè)月內(nèi)最大訪問跨度<=180天時(shí)，建議保留最近240天分區(qū)扬跋；

3個(gè)月內(nèi)最大訪問跨度<=300天時(shí)阶捆，建議保留最近400天分區(qū)；

3胁住、DWD明細(xì)層設(shè)計(jì)規(guī)范

1. 存儲及生命周期管理

建議按天分區(qū)趁猴。

3個(gè)月內(nèi)最大訪問跨度<=4天時(shí)刊咳，建議保留最近7天分區(qū)彪见；

3個(gè)月內(nèi)最大訪問跨度<=12天時(shí)，建議保留最近15天分區(qū)娱挨；

3個(gè)月內(nèi)最大訪問跨度<=30天時(shí)余指，建議保留最近33天分區(qū)；

3個(gè)月內(nèi)最大訪問跨度<=90天時(shí)，建議保留最近120天分區(qū)酵镜；

3個(gè)月內(nèi)最大訪問跨度<=180天時(shí)碉碉，建議保留最近240天分區(qū)；

3個(gè)月內(nèi)最大訪問跨度<=300天時(shí)淮韭，建議保留最近400天分區(qū)垢粮；

2. 事務(wù)型事實(shí)表設(shè)計(jì)準(zhǔn)則

基于數(shù)據(jù)應(yīng)用需求的分析設(shè)計(jì)事務(wù)型事實(shí)表，結(jié)合下游較大的針對某個(gè)業(yè)務(wù)過程和分析指標(biāo)需求靠粪，可考慮基于某個(gè)事件過程構(gòu)建事務(wù)型實(shí)時(shí)表蜡吧；

冗余子集原則，有利于降低后續(xù)IO開銷占键；

明細(xì)層事實(shí)表維度退化昔善，減少后續(xù)使用join成本。

3. 周期快照事實(shí)表

周期快照事實(shí)表中的每行匯總了發(fā)生在某一標(biāo)準(zhǔn)周期畔乙，如某一天君仆、某周、某月的多個(gè)度量事件牲距。

粒度是周期性的返咱，不是個(gè)體的事務(wù)。

通常包含許多事實(shí)牍鞠，因?yàn)槿魏闻c事實(shí)表粒度一致的度量事件都是被允許的洛姑。

4. 累積快照事實(shí)表

多個(gè)業(yè)務(wù)過程聯(lián)合分析而構(gòu)建的事實(shí)表，如采購單的流轉(zhuǎn)環(huán)節(jié)皮服。

用于分析事件時(shí)間和時(shí)間之間的間隔周期楞艾。

少量的且當(dāng)前事務(wù)型不支持的，如關(guān)閉龄广、發(fā)貨等相關(guān)的統(tǒng)計(jì)硫眯。

4、DWS公共匯總層設(shè)計(jì)規(guī)范
數(shù)據(jù)倉庫的性能是數(shù)據(jù)倉庫建設(shè)是否成功的重要標(biāo)準(zhǔn)之一择同。聚集主要是通過匯總明細(xì)粒度數(shù)據(jù)來獲得改進(jìn)查詢性能的效果两入。通過訪問聚集數(shù)據(jù)，可以減少數(shù)據(jù)庫在響應(yīng)查詢時(shí)必須執(zhí)行的工作量敲才，能夠快速響應(yīng)用戶的查詢裹纳，同時(shí)有利于減少不同用訪問明細(xì)數(shù)據(jù)帶來的結(jié)果不一致問題。

1. 聚集的基本原則

一致性紧武。聚集表必須提供與查詢明細(xì)粒度數(shù)據(jù)一致的查詢結(jié)果剃氧。

避免單一表設(shè)計(jì)。不要在同一個(gè)表中存儲不同層次的聚集數(shù)據(jù)阻星。

聚集粒度可不同朋鞍。聚集并不需要保持與原始明細(xì)粒度數(shù)據(jù)一樣的粒度，聚集只關(guān)心所需要查詢的維度。

2. 聚集的基本步驟

①第一步：確定聚集維度

在原始明細(xì)模型中會存在多個(gè)描述事實(shí)的維度滥酥，如日期更舞、商品類別、賣家等坎吻，這時(shí)候需要確定根據(jù)什么維度聚集缆蝉，如果只關(guān)心商品的交易額情況，那么就可以根據(jù)商品維度聚集數(shù)據(jù)瘦真。

②第二步：確定一致性上鉆

這時(shí)候要關(guān)心是按月匯總還是按天匯總返奉，是按照商品匯總還是按照類目匯總，如果按照類目匯總吗氏，還需要關(guān)心是按照大類匯總還是小類匯總芽偏。當(dāng)然，我們要做的只是了解用戶需要什么弦讽，然后按照他們想要的進(jìn)行聚集污尉。

③第三步：確定聚集事實(shí)

在原始明細(xì)模型中可能會有多個(gè)事實(shí)的度量，比如在交易中有交易額往产、交易數(shù)量等被碗，這時(shí)候要明確是按照交易額匯總還是按照成交數(shù)量匯總。

3. 公共匯總層設(shè)計(jì)原則

除了聚集基本的原則外仿村，公共匯總層還必須遵循以下原則：

數(shù)據(jù)公用性锐朴。匯總的聚集會有第三者使用嗎？基于某個(gè)維度的聚集是不是經(jīng)常用于數(shù)據(jù)分析中蔼囊？如果答案是肯定的焚志，那么就有必要把明細(xì)數(shù)據(jù)經(jīng)過匯總沉淀到聚集表中。

不跨數(shù)據(jù)域畏鼓。數(shù)據(jù)域是在較高層次上對數(shù)據(jù)進(jìn)行分類聚集的抽象酱酬。如以業(yè)務(wù)

區(qū)分統(tǒng)計(jì)周期。在表的命名上要能說明數(shù)據(jù)的統(tǒng)計(jì)周期云矫，如 _Id表示最近1天膳沽，_td 表示截至當(dāng)天，_nd 表示最近N天让禀。

四挑社、數(shù)倉命名規(guī)范

1、詞根設(shè)計(jì)規(guī)范
詞根屬于數(shù)倉建設(shè)中的規(guī)范巡揍，屬于元數(shù)據(jù)管理的范疇痛阻，現(xiàn)在把這個(gè)劃到數(shù)據(jù)治理的一部分。完整的數(shù)倉建設(shè)是包含數(shù)據(jù)治理的吼肥，只是現(xiàn)在談到數(shù)倉偏向于數(shù)據(jù)建模录平， 而談到數(shù)據(jù)治理麻车，更多的是關(guān)于數(shù)據(jù)規(guī)范缀皱、數(shù)據(jù)管理斗这。

表命名，其實(shí)在很大程度上是對元數(shù)據(jù)描述的一種體現(xiàn)啤斗，表命名規(guī)范越完善表箭，我 們能從表名獲取到的信息就越多。比如：一部分業(yè)務(wù)是關(guān)于貨架的钮莲，英文名是：rack免钻， rack 就是一個(gè)詞根，那我們就在所有的表崔拥、字段等用到的地方都叫 rack极舔，不要叫成 別的什么。這就是詞根的作用链瓦，用來統(tǒng)一命名拆魏，表達(dá)同一個(gè)含義。

指標(biāo)體系中有很多“率”的指標(biāo)慈俯，都可以拆解成 XXX+率渤刃，率可以叫 rate，那我 們所有的指標(biāo)都叫做 XXX+rate贴膘。

詞根：可以用來統(tǒng)一表名卖子、字段名、主題域名等等刑峡。

image.png

第一個(gè)判斷條件是該表的用途喊递，是中間表、原始日志還是業(yè)務(wù)展示用的表 如果該表被判斷為中間表阳似，就會走入下一個(gè)判斷條件：表是否有 group 操作 通過是否有 group 操作來判斷該表該劃分在 dwd 層還是 dwm 和 dws 層 如果不是 dwd 層骚勘，則需要判斷該表是否是多個(gè)行為的匯總表（即寬表） 最后再分別填上事業(yè)群、部門撮奏、業(yè)務(wù)線俏讹、自定義名稱和更新頻率等信息即可。

分層：表的使用范圍

事業(yè)群和部門：生產(chǎn)該表或者該數(shù)據(jù)的團(tuán)隊(duì)

業(yè)務(wù)線：表明該數(shù)據(jù)是哪個(gè)產(chǎn)品或者業(yè)務(wù)線相關(guān)

主題域：分析問題的角度畜吊，對象實(shí)體

自定義：一般會盡可能多描述該表的信息泽疆，比如活躍表、留存表等

更新周期：比如說天級還是月級更新

數(shù)倉表的命名規(guī)范如下：

1）數(shù)倉層次:

公用維度：dim

DM層：dm

ODS層：ods

DWD層：dwd

DWS層：dws

2）周期/數(shù)據(jù)范圍：

日快照：d

增量：i

全量：f

周：w

拉鏈表：l

非分區(qū)全量表：a

2玲献、表命名規(guī)范

1. 常規(guī)表

常規(guī)表是我們需要固化的表殉疼，是正式使用的表梯浪，是目前一段時(shí)間內(nèi)需要去維護(hù)去 完善的表。

規(guī)范：分層前綴[dwd|dws|ads]部門業(yè)務(wù)域_主題域XXX更新周期|數(shù)據(jù)范圍

業(yè)務(wù)域瓢娜、主題域我們都可以用詞根的方式枚舉清楚挂洛，不斷完善。

更新周期主要的是時(shí)間粒度眠砾、日虏劲、月、年褒颈、周等柒巫。

2. 中間表

中間表一般出現(xiàn)在 Job 中，是 Job 中臨時(shí)存儲的中間數(shù)據(jù)的表谷丸，中間表的作 用域只限于當(dāng)前 Job 執(zhí)行過程中堡掏，Job 一旦執(zhí)行完成，該中間表的使命就完 成了刨疼，是可以刪除的（按照自己公司的場景自由選擇泉唁，以前公司會保留幾天 的中間表數(shù)據(jù)，用來排查問題）币狠。

規(guī)范：mid_table_name_[0~9|dim]

table_name 是我們?nèi)蝿?wù)中目標(biāo)表的名字游两，通常來說一個(gè)任務(wù)只有一個(gè)目標(biāo)表。這里加上表名漩绵，是為了防止自由發(fā)揮的時(shí)候表名沖突贱案，而末尾大家可以選擇自由發(fā)揮，起一些有意義的名字止吐，或者簡單粗暴宝踪，使用數(shù)字代替，各有優(yōu)劣吧碍扔，謹(jǐn)慎選擇剖膳。

通常會遇到需要補(bǔ)全維度的表瓢棒，這里使用 dim 結(jié)尾。

3. 臨時(shí)表

臨時(shí)表是臨時(shí)測試的表，是臨時(shí)使用一次的表驼壶，就是暫時(shí)保存下數(shù)據(jù)看看谐区，后續(xù)一般不再使用的表茂翔，是可以隨時(shí)刪除的表涵但。

規(guī)范：tmp_xxx

只要加上 tmp 開頭即可，其他名字隨意百新，注意 tmp 開頭的表不要用來實(shí)際使用企软，只是測試驗(yàn)證而已。

4. 維度表

維度表是基于底層數(shù)據(jù)饭望，抽象出來的描述類的表仗哨。維度表可以自動從底層表抽象出來形庭，也可以手工來維護(hù)。

規(guī)范：dim_xxx

維度表厌漂，統(tǒng)一以 dim 開頭萨醒，后面加上，對該指標(biāo)的描述桩卵。

5. 手工表

手工表是手工維護(hù)的表验靡，手工初始化一次之后倍宾，一般不會自動改變雏节，后面變更，也是手工來維護(hù)高职。

一般來說钩乍，手工的數(shù)據(jù)粒度是偏細(xì)的，所以暫時(shí)統(tǒng)一放在 dwd 層怔锌，后面如果有目標(biāo)值或者其他類型手工數(shù)據(jù)寥粹，再根據(jù)實(shí)際情況分層。

規(guī)范：dwd_業(yè)務(wù)域_manual_xxx

手工表埃元，增加特殊的主題域涝涤，manual，表示手工維護(hù)表岛杀。

3阔拳、指標(biāo)命名規(guī)范

1. 公共規(guī)則

所有單詞小寫

單詞之間下劃線分割（反例：appName 或 AppName）

可讀性優(yōu)于長度 (詞根，避免出現(xiàn)同一個(gè)指標(biāo)类嗤，命名一致性)

禁止使用SQL關(guān)鍵字糊肠，如字段名與關(guān)鍵字沖突時(shí) +col

數(shù)量字段后綴 _cnt 等標(biāo)識...

金額字段后綴 _price 標(biāo)識

天分區(qū)使用字段 dt，格式統(tǒng)一（yyyymmdd 或 yyyy-mm-dd）

小時(shí)分區(qū)使用字段 hh遗锣，范圍（00-23）

分鐘分區(qū)使用字段 mi货裹，范圍（00-59）

布爾類型標(biāo)識：is_{業(yè)務(wù)}，不允許出現(xiàn)空值

2. 指標(biāo)命名規(guī)范

結(jié)合指標(biāo)的特性以及詞根管理規(guī)范精偿，將指標(biāo)進(jìn)行結(jié)構(gòu)化處理弧圆。

image.png

②業(yè)務(wù)修飾詞笔咽，用于描述業(yè)務(wù)場景的詞匯搔预，例如trade-交易。

③日期修飾詞拓轻，用于修飾業(yè)務(wù)發(fā)生的時(shí)間區(qū)間斯撮。

image.png

④聚合修飾詞，對結(jié)果進(jìn)行聚集操作扶叉。

image.png

⑥派生指標(biāo)溢十，多修飾詞+基礎(chǔ)指標(biāo)詞根構(gòu)建派生指標(biāo)垮刹。派生指標(biāo)繼承基礎(chǔ)指標(biāo)的特性，例如：安裝門店數(shù)量-install_poi_cnt张弛。

⑦普通指標(biāo)命名規(guī)范荒典，與字段命名規(guī)范一致，由詞匯轉(zhuǎn)換即可以吞鸭。

image.png