一.數(shù)據(jù)模型架構(gòu)原則
1. 數(shù)倉分層原則
優(yōu)秀可靠的數(shù)倉體系橙凳，往往需要清晰的數(shù)據(jù)分層結(jié)構(gòu)蕾殴，即要保證數(shù)據(jù)層的穩(wěn)定又要屏蔽對(duì)下游的影響，并且要避免鏈路過長(zhǎng)岛啸。那么問題來了钓觉，一直在講數(shù)倉要分層，那數(shù)倉分幾層最好坚踩？
目前市場(chǎng)上主流的分層方式眼花繚亂荡灾，不過看事情不能只看表面，還要看到內(nèi)在的規(guī)律瞬铸，不能為了分層而分層批幌，沒有最好的，只有適合的嗓节。
分層是以解決當(dāng)前業(yè)務(wù)快速的數(shù)據(jù)支撐為目的荧缘，為未來抽象出共性的框架并能夠賦能給其他業(yè)務(wù)線，同時(shí)為業(yè)務(wù)發(fā)展提供穩(wěn)定拦宣、準(zhǔn)確的數(shù)據(jù)支撐截粗，并能夠按照已有的模型為新業(yè)務(wù)發(fā)展提供方向，也就是數(shù)據(jù)驅(qū)動(dòng)和賦能鸵隧。
一個(gè)好的分層架構(gòu)桐愉，要有以下好處：
（1）清晰數(shù)據(jù)結(jié)構(gòu)；
（2）數(shù)據(jù)血緣追蹤掰派；
（3）減少重復(fù)開發(fā)从诲；
（4）數(shù)據(jù)關(guān)系條理化；
（5）屏蔽原始數(shù)據(jù)的影響靡羡。
數(shù)倉分層要結(jié)合公司業(yè)務(wù)進(jìn)行系洛，并且需要清晰明確各層職責(zé)俊性，一般采用如下分層結(jié)構(gòu)：
數(shù)倉建模在哪層建設(shè)呢？我們以維度建模為例描扯，建模是在數(shù)據(jù)源層的下一層進(jìn)行建設(shè)定页，在上圖中，就是在DW層進(jìn)行數(shù)倉建模绽诚，所以DW層是數(shù)倉建設(shè)的核心層典徊。
下面詳細(xì)闡述下每層建設(shè)規(guī)范，和上圖的分層稍微有些區(qū)別：
1.1數(shù)據(jù)源層：ODS（Operational Data Store）
ODS 層恩够，是最接近數(shù)據(jù)源中數(shù)據(jù)的一層卒落，為了考慮后續(xù)可能需要追溯數(shù)據(jù)問題，因此對(duì)于這一層就不建議做過多的數(shù)據(jù)清洗工作蜂桶，原封不動(dòng)地接入原始數(shù)據(jù)即可儡毕，至于數(shù)據(jù)的去噪、去重扑媚、異常值處理等過程可以放在后面的 DWD 層來做腰湾。
1.2數(shù)據(jù)倉庫層：DW（Data Warehouse）
數(shù)據(jù)倉庫層是我們?cè)谧鰯?shù)據(jù)倉庫時(shí)要核心設(shè)計(jì)的一層，在這里疆股，從ODS 層中獲得的數(shù)據(jù)按照主題建立各種數(shù)據(jù)模型费坊。
DW 層又細(xì)分為?DWD（Data Warehouse Detail）層、DWM（Data WareHouse Middle）層和?DWS（Data WareHouse Servce） 層旬痹。
1.2.1數(shù)據(jù)明細(xì)層：DWD（Data Warehouse Detail）
該層一般保持和ODS 層一樣的數(shù)據(jù)粒度附井，并且提供一定的數(shù)據(jù)質(zhì)量保證。DWD 層要做的就是將數(shù)據(jù)清理唱凯、整合羡忘、規(guī)范化谎痢、臟數(shù)據(jù)磕昼、垃圾數(shù)據(jù)、規(guī)范不一致的节猿、狀態(tài)定義不一致的票从、命名不規(guī)范的數(shù)據(jù)都會(huì)被處理。
同時(shí)滨嘱，為了提高數(shù)據(jù)明細(xì)層的易用性峰鄙，該層會(huì)采用一些維度退化手法，將維度退化至事實(shí)表中太雨，減少事實(shí)表和維表的關(guān)聯(lián)吟榴。
另外，在該層也會(huì)做一部分的數(shù)據(jù)聚合囊扳，將相同主題的數(shù)據(jù)匯集到一張表中吩翻，提高數(shù)據(jù)的可用性兜看。
1.2.2數(shù)據(jù)中間層：DWM（Data WareHouse Middle）
該層會(huì)在DWD 層的數(shù)據(jù)基礎(chǔ)上，數(shù)據(jù)做輕度的聚合操作狭瞎，生成一系列的中間表细移，提升公共指標(biāo)的復(fù)用性，減少重復(fù)加工熊锭。
直觀來講弧轧，就是對(duì)通用的核心維度進(jìn)行聚合操作，算出相應(yīng)的統(tǒng)計(jì)指標(biāo)碗殷。
在實(shí)際計(jì)算中精绎，如果直接從DWD 或者 ODS 計(jì)算出寬表的統(tǒng)計(jì)指標(biāo)，會(huì)存在計(jì)算量太大并且維度太少的問題亿扁，因此一般的做法是捺典，在 DWM 層先計(jì)算出多個(gè)小的中間表，然后再拼接成一張 DWS 的寬表从祝。由于寬和窄的界限不易界定襟己，也可以去掉 DWM 這一層，只留 DWS 層牍陌，將所有的數(shù)據(jù)再放在 DWS 亦可擎浴。
1.2.3數(shù)據(jù)服務(wù)層：DWS（Data WareHouse Servce）
DWS 層為公共匯總層，會(huì)進(jìn)行輕度匯總毒涧，粒度比明細(xì)數(shù)據(jù)稍粗贮预，基于 DWD 層上的基礎(chǔ)數(shù)據(jù)，整合匯總成分析某一個(gè)主題域的服務(wù)數(shù)據(jù)契讲，一般是寬表仿吞。DWS 層應(yīng)覆蓋 80% 的應(yīng)用場(chǎng)景。又稱數(shù)據(jù)集市或?qū)挶怼?/p>
按照業(yè)務(wù)劃分捡偏，如主題域流量唤冈、訂單、用戶等银伟，生成字段比較多的寬表你虹，用于提供后續(xù)的業(yè)務(wù)查詢，OLAP 分析彤避，數(shù)據(jù)分發(fā)等傅物。
一般來講，該層的數(shù)據(jù)表會(huì)相對(duì)比較少琉预，一張表會(huì)涵蓋比較多的業(yè)務(wù)內(nèi)容董饰，由于其字段較多，因此一般也會(huì)稱該層的表為寬表。
1.4數(shù)據(jù)應(yīng)用層：ADS（Application?Data Service）
在這里卒暂，主要是提供給數(shù)據(jù)產(chǎn)品和數(shù)據(jù)分析使用的數(shù)據(jù)贮缅，一般會(huì)存放在ClickHouse、Doris介却、ES谴供、 PostgreSql、Redis 等系統(tǒng)中供線上系統(tǒng)使用齿坷，也可能會(huì)存在 Hive 或者 Druid 中供數(shù)據(jù)分析和數(shù)據(jù)挖掘使用桂肌。比如我們經(jīng)常說的報(bào)表數(shù)據(jù)，一般就放在這里永淌。
1.5維表層（Dimension）
維表層主要包含兩部分?jǐn)?shù)據(jù)：
（1）高基數(shù)維度數(shù)據(jù)：一般是用戶資料表崎场、商品資料表類似的資料表。數(shù)據(jù)量可能是千萬級(jí)或者上億級(jí)別遂蛀。
（2）低基數(shù)維度數(shù)據(jù)：一般是配置表谭跨，比如枚舉值對(duì)應(yīng)的中文含義，或者日期維表李滴。數(shù)據(jù)量可能是個(gè)位數(shù)或者幾千幾萬螃宙。
2.主題域劃分原則
2.1按照業(yè)務(wù)或業(yè)務(wù)過程劃分
業(yè)務(wù)容易理解，就是指的功能模塊/業(yè)務(wù)線所坯。
業(yè)務(wù)過程：指企業(yè)的業(yè)務(wù)活動(dòng)事件谆扎，如下單、支付芹助、退款都是業(yè)務(wù)過程堂湖。不過需要注意的是，一個(gè)業(yè)務(wù)過程是一個(gè)不可拆分的行為事件状土，通俗的講无蜂，業(yè)務(wù)過程就是企業(yè)活動(dòng)中的事件。
2.2按照數(shù)據(jù)域劃分
數(shù)據(jù)域是指面向業(yè)務(wù)分析蒙谓，將業(yè)務(wù)過程或者維度進(jìn)行抽象的集合斥季。其中，業(yè)務(wù)過程可以概括為一個(gè)個(gè)不可拆分的行為事件彼乌，在業(yè)務(wù)過程下泻肯，可以定義指標(biāo)渊迁，維度是指度量的環(huán)境慰照，如買家下單事件，買家是維度琉朽。為保障整個(gè)體系的生命力毒租，數(shù)據(jù)域是需要抽象提煉，并且長(zhǎng)期維護(hù)和更新的，但不輕易變動(dòng)墅垮。在劃分?jǐn)?shù)據(jù)域時(shí)惕医，既能涵蓋當(dāng)前所有的業(yè)務(wù)需求，又能在新業(yè)務(wù)進(jìn)入時(shí)無影響地被包含進(jìn)已有的數(shù)據(jù)域中和擴(kuò)展新的數(shù)據(jù)域算色。
3.?數(shù)據(jù)模型設(shè)計(jì)原則
3.1高內(nèi)聚抬伺、低耦合
即主題內(nèi)部高內(nèi)聚、不同主題間低耦合灾梦。明細(xì)層按照業(yè)務(wù)過程劃分主題峡钓，匯總層按照“實(shí)體+ 活動(dòng)”劃分不同分析主題，應(yīng)用層根據(jù)應(yīng)用需求劃分不同應(yīng)用主題若河。
3.2核心模型和擴(kuò)展模型要分離
建立核心模型與擴(kuò)展模型體系能岩，核心模型包括的字段支持常用的核心業(yè)務(wù)，擴(kuò)展模型包括的字段支持個(gè)性化或少量應(yīng)用的需要萧福，不能讓擴(kuò)展模型的字段過度侵入核心模型拉鹃，以免破壞核心模型的架構(gòu)簡(jiǎn)潔性與可維護(hù)性。
3.3公共處理邏輯下沉及單一
越是底層公用的處理邏輯越應(yīng)該在數(shù)據(jù)調(diào)度依賴的底層進(jìn)行封裝與實(shí)現(xiàn)鲫忍，不要讓公用的處理邏輯暴露給應(yīng)用實(shí)現(xiàn)膏燕，不要讓公共邏輯多處同時(shí)存在。
3.4成本與性能平衡
適當(dāng)?shù)臄?shù)據(jù)冗余可換取查詢和刷新性能悟民，不宜過度冗余與數(shù)據(jù)復(fù)制煌寇。
3.5數(shù)據(jù)可回滾
處理邏輯不變，在不同時(shí)間多次運(yùn)行數(shù)據(jù)結(jié)果確定不變逾雄。
4.主題域劃分依據(jù)
按照業(yè)務(wù)或業(yè)務(wù)過程劃分：比如一個(gè)靠銷售廣告位置的門戶網(wǎng)站主題域可能會(huì)有廣告域阀溶，客戶域等，而廣告域可能就會(huì)有廣告的庫存鸦泳，銷售分析银锻、內(nèi)部投放分析等主題。
根據(jù)需求方劃分：比如需求方為財(cái)務(wù)部做鹰，就可以設(shè)定對(duì)應(yīng)的財(cái)務(wù)主題域击纬，而財(cái)務(wù)主題域里面可能就會(huì)有員工工資分析，投資回報(bào)比分析等主題钾麸。
按照功能或應(yīng)用劃分：比如微信中的朋友圈數(shù)據(jù)域更振、群聊數(shù)據(jù)域等，而朋友圈數(shù)據(jù)域可能就會(huì)有用戶動(dòng)態(tài)信息主題饭尝、廣告主題等肯腕。
按照部門劃分：比如可能會(huì)有運(yùn)營(yíng)域、技術(shù)域等钥平，運(yùn)營(yíng)域中可能會(huì)有工資支出分析实撒、活動(dòng)宣傳效果分析等主題。
二、數(shù)倉公共開發(fā)規(guī)范
1. 層次調(diào)用規(guī)范
穩(wěn)定業(yè)務(wù)按照標(biāo)準(zhǔn)的數(shù)據(jù)流向進(jìn)行開發(fā)知态，即ODS –> DWD –> DWS –> ADS捷兰。非穩(wěn)定業(yè)務(wù)或探索性需求，可以遵循ODS -> DWD -> ADS或者ODS -> DWD -> DWM ->ADS兩個(gè)模型數(shù)據(jù)流负敏。
在保障了數(shù)據(jù)鏈路的合理性之后贡茅，也必須保證模型分層引用原則：
（1）正常流向：ODS -> DWD -> DWM -> DWS -> ADS，當(dāng)出現(xiàn)ODS -> DWD -> DWS -> ADS這種關(guān)系時(shí)其做，說明主題域未覆蓋全友扰。應(yīng)將DWD 數(shù)據(jù)落到 DWM 中，對(duì)于使用頻度非常低的表允許 DWD -> DWS庶柿。
（2）盡量避免出現(xiàn)DWS 寬表中使用 DWD 又使用（該 DWD 所歸屬主題域）DWM 的表村怪。
（3）同一主題域內(nèi)對(duì)于DWM 生成 DWM 的表，原則上要盡量避免浮庐，否則會(huì)影響 ETL 的效率甚负。
（4）DWM、DWS 和 APP 中禁止直接使用 ODS 的表审残， ODS 的表只能被 DWD 引用梭域。
（5）禁止出現(xiàn)反向依賴，例如DWM 的表依賴 DWS 的表搅轿。
舉例：
2.?數(shù)據(jù)類型規(guī)范
需統(tǒng)一規(guī)定不同的數(shù)據(jù)的數(shù)據(jù)類型病涨，嚴(yán)格按照規(guī)定的數(shù)據(jù)類型執(zhí)行：
（1）金額：double 或使用 decimal(28,6) 控制精度等，明確單位是分還是元璧坟。
（2）字符串：string既穆。
（3）id類：bigint。
（4）時(shí)間：string雀鹃。
（5）狀態(tài)：string幻工。
3. 數(shù)據(jù)冗余規(guī)范
寬表的冗余字段要確保：
（1）冗余字段要使用高頻，下游3個(gè)或以上使用黎茎。
（2）冗余字段引入不應(yīng)造成本身數(shù)據(jù)產(chǎn)生過多的延后囊颅。
（3）冗余字段和已有字段的重復(fù)率不應(yīng)過大，原則上不應(yīng)超過60%傅瞻，如需要可以選擇join或原表拓展踢代。
4. NULL字段處理規(guī)范
（1）知曉默認(rèn)值情況下，將null值統(tǒng)一處理為默認(rèn)值
（2）string類型嗅骄，除狀態(tài)胳挎、時(shí)間以及其他枚舉值外，處理為‘’空字符串
（4）不可累加數(shù)值型（例如枚舉掸读、狀態(tài)等）:-1
5. 指標(biāo)口徑規(guī)范
保證主題域內(nèi)串远，指標(biāo)口徑一致，無歧義儿惫。
通過數(shù)據(jù)分層澡罚，提供統(tǒng)一的數(shù)據(jù)出口，統(tǒng)一對(duì)外輸出的數(shù)據(jù)口徑肾请，避免同一指標(biāo)不同口徑的情況發(fā)生留搔。
5.1指標(biāo)梳理
指標(biāo)口徑的不一致使得數(shù)據(jù)使用的成本極高，經(jīng)常出現(xiàn)口徑打架铛铁、反復(fù)核對(duì)數(shù)據(jù)的問題隔显。在數(shù)據(jù)治理中，我們將需求梳理到的所有指標(biāo)進(jìn)行進(jìn)一步梳理饵逐，明確其口徑括眠，如果存在兩個(gè)指標(biāo)名稱相同，但口徑不一致倍权，先判斷是否是進(jìn)行合并掷豺，如需要同時(shí)存在，那么在命名上必須能夠區(qū)分開薄声。
5.2指標(biāo)管理
指標(biāo)管理分為原子指標(biāo)維護(hù)和派生指標(biāo)維護(hù)当船。
（1）原子指標(biāo)：
&&選擇原子指標(biāo)的歸屬產(chǎn)線、業(yè)務(wù)板塊默辨、數(shù)據(jù)域德频、業(yè)務(wù)過程
&&選擇原子指標(biāo)的統(tǒng)計(jì)數(shù)據(jù)來源于該業(yè)務(wù)過程下的原始數(shù)據(jù)源
&&錄入原子指標(biāo)的英文名稱、中文名稱缩幸、概述
&&填寫指標(biāo)函數(shù)
&&系統(tǒng)根據(jù)指標(biāo)函數(shù)自動(dòng)生成原子指標(biāo)的定義表達(dá)式
&&系統(tǒng)根據(jù)指標(biāo)定義表達(dá)式以及數(shù)據(jù)源表生成原子指標(biāo)SQL
（2）派生指標(biāo)：
&&在原子指標(biāo)的基礎(chǔ)之上選擇了一些維度或者修飾限定詞壹置。
6. 數(shù)據(jù)表處理規(guī)范
6.1增量表
新增數(shù)據(jù)，增量數(shù)據(jù)是上次導(dǎo)出之后的新數(shù)據(jù)表谊。
（1）記錄每次增加的量蒸绩，而不是總量；
（2）增量表铃肯，只報(bào)變化量患亿，無變化不用報(bào)；
（3）每天一個(gè)分區(qū)押逼。
6.2全量表
每天的所有的最新狀態(tài)的數(shù)據(jù)步藕。
（1）全量表，有無變化挑格，都要報(bào)咙冗；
（2）每次上報(bào)的數(shù)據(jù)都是所有的數(shù)據(jù)（變化的+ 沒有變化的）；
（3）只有一個(gè)分區(qū)漂彤。
6.3快照表
按日分區(qū)雾消，記錄截止數(shù)據(jù)日期的全量數(shù)據(jù)灾搏。
（1）快照表，有無變化立润，都要報(bào)狂窑；
（2）每次上報(bào)的數(shù)據(jù)都是所有的數(shù)據(jù)（變化的+ 沒有變化的）；
（3）一天一個(gè)分區(qū)桑腮。
6.4拉鏈表
記錄截止數(shù)據(jù)日期的全量數(shù)據(jù)泉哈。
（1）記錄一個(gè)事物從開始，一直到當(dāng)前狀態(tài)的所有變化的信息破讨；
（2）拉鏈表每次上報(bào)的都是歷史記錄的最終狀態(tài)丛晦，是記錄在當(dāng)前時(shí)刻的歷史總量；
（3）當(dāng)前記錄存的是當(dāng)前時(shí)間之前的所有歷史記錄的最后變化量（總量）提陶；
（4）只有一個(gè)分區(qū)烫沙。
7. 表的生命周期管理
這部分主要是要通過對(duì)歷史數(shù)據(jù)的等級(jí)劃分與對(duì)表類型的劃分生成相應(yīng)的生命周期管理矩陣。
7.1歷史數(shù)據(jù)等級(jí)劃分
主要將歷史數(shù)據(jù)劃分P0隙笆、Pl斧吐、P2、P3 四個(gè)等級(jí)仲器，其具體定義如下：
（1）P0?：非常重要的主題域數(shù)據(jù)和非常重要的應(yīng)用數(shù)據(jù)煤率，具有不可恢復(fù)性，如交易乏冀、日志蝶糯、集團(tuán) KPI 數(shù)據(jù)、 IPO 關(guān)聯(lián)表辆沦。
（2）Pl?：重要的業(yè)務(wù)數(shù)據(jù)和重要的應(yīng)用數(shù)據(jù)昼捍，具有不可恢復(fù)性，如重要的業(yè)務(wù)產(chǎn)品數(shù)據(jù)肢扯。
（3）P2?：重要的業(yè)務(wù)數(shù)據(jù)和重要的應(yīng)用數(shù)據(jù)妒茬，具有可恢復(fù)性，如交易線 ETL 產(chǎn)生的中間過程數(shù)據(jù)。
（4）P3?：不重要的業(yè)務(wù)數(shù)據(jù)和不重要的應(yīng)用數(shù)據(jù)，具有可恢復(fù)性宫静，如某些 SNS 產(chǎn)品報(bào)表。
7.2表類型劃分
（1）事件型流水表（增量表）
事件型流水表（增量表）指數(shù)據(jù)無重復(fù)或者無主鍵數(shù)據(jù)银择，如日志。
（2）事件型鏡像表（增量表）
事件型鏡像表（增量表）指業(yè)務(wù)過程性數(shù)據(jù)累舷，有主鍵浩考，但是對(duì)于同樣主鍵的屬性會(huì)發(fā)生緩慢變化，如交易被盈、訂單狀態(tài)與時(shí)間會(huì)根據(jù)業(yè)務(wù)發(fā)生變更析孽。
（3）維表
維表包括維度與維度屬性數(shù)據(jù)搭伤，如用戶表、商品表袜瞬。
（4）Merge全量表
Merge 全量表包括業(yè)務(wù)過程性數(shù)據(jù)或者維表數(shù)據(jù)怜俐。由于數(shù)據(jù)本身有新增的或者發(fā)生狀態(tài)變更，對(duì)于同樣主鍵的數(shù)據(jù)可能會(huì)保留多份吞滞，因此可以對(duì)這些數(shù)據(jù)根據(jù)主鍵進(jìn)行 Merge 操作佑菩，主鍵對(duì)應(yīng)的屬性只會(huì)保留最新狀態(tài)盾沫，歷史狀態(tài)保留在前一天分區(qū) 中裁赠。例如，用戶表赴精、交易表等都可以進(jìn)行 Merge 操作佩捞。
（5）ETL 臨時(shí)表
ETL 臨時(shí)表是指 ETL 處理過程中產(chǎn)生的臨時(shí)表數(shù)據(jù)，一般不建議保留蕾哟，最多7天一忱。
（6）TT 臨時(shí)數(shù)據(jù)
TT 拉取的數(shù)據(jù)和 DbSync 產(chǎn)生的臨時(shí)數(shù)據(jù)最終會(huì)流轉(zhuǎn)到 DS 層，ODS 層數(shù)據(jù)作為原始數(shù)據(jù)保留下來谭确，從而使得 TT&DbSync 上游數(shù)據(jù)成為臨時(shí)數(shù)據(jù)帘营。這類數(shù)據(jù)不建議保留很長(zhǎng)時(shí)間，生命周期默認(rèn)設(shè)置為 93天逐哈，可以根據(jù)實(shí)際情況適當(dāng)減少保留天數(shù)芬迄。
（7）普通全量表
很多小業(yè)務(wù)數(shù)據(jù)或者產(chǎn)品數(shù)據(jù)，BI一般是直接全量拉取昂秃，這種方式效率快禀梳，對(duì)存儲(chǔ)壓力也不是很大，而且表保留很長(zhǎng)時(shí)間肠骆，可以根據(jù)歷史數(shù)據(jù)等級(jí)確定保留策略算途。
通過上述歷史數(shù)據(jù)等級(jí)劃分與表類型劃分，生成相應(yīng)的生命周期管理矩陣蚀腿，如下表所示：
三嘴瓤、數(shù)倉各層開發(fā)規(guī)范
1. ODS層設(shè)計(jì)規(guī)范
1.1同步規(guī)范：
（1）一個(gè)系統(tǒng)源表只允許同步一次；
（2）全量初始化同步和增量同步處理邏輯要清晰莉钙；
（3）以統(tǒng)計(jì)日期和時(shí)間進(jìn)行分區(qū)存儲(chǔ)纱注；
（4）目標(biāo)表字段在源表不存在時(shí)要自動(dòng)填充處理。
1.2表分類與生命周期：
（1）ods流水全量表：
a.不可再生的永久保存胆胰；
b.日志可按留存要求狞贱；
c.按需設(shè)置保留特殊日期數(shù)據(jù)；
d.按需設(shè)置保留特殊月份數(shù)據(jù)蜀涨；
（2）ods鏡像型全量表：
a.推薦按天存儲(chǔ)瞎嬉；
b.對(duì)歷史變化進(jìn)行保留蝎毡；
c.最新數(shù)據(jù)存儲(chǔ)在最大分區(qū)；
d.歷史數(shù)據(jù)按需保留氧枣；
（3）ods增量數(shù)據(jù)：
a.推薦按天存儲(chǔ)沐兵；
b.有對(duì)應(yīng)全量表的，建議只保留14天數(shù)據(jù)便监；
c.無對(duì)應(yīng)全量表的扎谎，永久保留；
（4）ods的etl過程中的臨時(shí)表：
a.推薦按需保留烧董；
b.最多保留7天毁靶；
c.建議用完即刪，下次使用再生成逊移；
（5）BDSync非去重?cái)?shù)據(jù)：
a.通過中間層保留预吆，默認(rèn)用完即刪，不建議保留胳泉。
1.3數(shù)據(jù)質(zhì)量：
（1）全量表必須配置唯一性字段標(biāo)識(shí)拐叉；
（2）對(duì)分區(qū)空數(shù)據(jù)進(jìn)行監(jiān)控；
（3）對(duì)枚舉類型字段扇商，進(jìn)行枚舉值變化和分布監(jiān)控凤瘦；
（4）ods表數(shù)據(jù)量級(jí)和記錄數(shù)做環(huán)比監(jiān)控；
（5）ods全表都必須要有注釋案铺；
2.DIM（公共維度層）設(shè)計(jì)規(guī)范
2.1設(shè)計(jì)準(zhǔn)則
（1）一致性
公共維度在不同的物理表中的字段名稱蔬芥、數(shù)據(jù)類型、數(shù)據(jù)內(nèi)容必須保持一致（歷史原因不一致红且，要做好版本控制）
（2）維度的組合與拆分
a.組合原則：
將維度與關(guān)聯(lián)性強(qiáng)的字段進(jìn)行組合坝茎，一起查詢，一起展示暇番，兩個(gè)維度必須具有天然的關(guān)系嗤放，如：商品的基本屬性和所屬品牌。
無相關(guān)性：如一些使用頻率較小的雜項(xiàng)維度壁酬，可以構(gòu)建一個(gè)集合雜項(xiàng)維度的特殊屬性次酌。
行為維度：經(jīng)過計(jì)算的度量，但下游當(dāng)維度處理舆乔，例：點(diǎn)擊量0-1000,100-1000等岳服，可以做聚合分類。
b.拆分與冗余：
針對(duì)重要性希俩，業(yè)務(wù)相關(guān)性吊宋、源、使用頻率等可分為核心表颜武、擴(kuò)展表璃搜。
數(shù)據(jù)記錄較大的維度拖吼，可以適當(dāng)冗余一些子集。
2.2存儲(chǔ)及生命周期管理
建議按天分區(qū)这吻。
（1）3個(gè)月內(nèi)最大訪問跨度<=4天時(shí)吊档，建議保留最近7天分區(qū)；
（2）3個(gè)月內(nèi)最大訪問跨度<=12天時(shí)唾糯，建議保留最近15天分區(qū)怠硼；
（3）3個(gè)月內(nèi)最大訪問跨度<=30天時(shí)，建議保留最近33天分區(qū)移怯；
（4）3個(gè)月內(nèi)最大訪問跨度<=90天時(shí)香璃，建議保留最近120天分區(qū)；
（5）3個(gè)月內(nèi)最大訪問跨度<=180天時(shí)芋酌，建議保留最近240天分區(qū)增显；
（6）3個(gè)月內(nèi)最大訪問跨度<=300天時(shí)雁佳，建議保留最近400天分區(qū)脐帝；
3. DWD明細(xì)層設(shè)計(jì)規(guī)范
3.1存儲(chǔ)及生命周期管理
建議按天分區(qū)。
（1）3個(gè)月內(nèi)最大訪問跨度<=4天時(shí)糖权，建議保留最近7天分區(qū)堵腹；
（2）3個(gè)月內(nèi)最大訪問跨度<=12天時(shí)，建議保留最近15天分區(qū)星澳；
（3）3個(gè)月內(nèi)最大訪問跨度<=30天時(shí)疚顷，建議保留最近33天分區(qū)；
（4）3個(gè)月內(nèi)最大訪問跨度<=90天時(shí)禁偎，建議保留最近120天分區(qū)腿堤；
（5）3個(gè)月內(nèi)最大訪問跨度<=180天時(shí)，建議保留最近240天分區(qū)如暖；
（6）3個(gè)月內(nèi)最大訪問跨度<=300天時(shí)笆檀，建議保留最近400天分區(qū)；
3.2事務(wù)型事實(shí)表設(shè)計(jì)準(zhǔn)則
（1）基于數(shù)據(jù)應(yīng)用需求的分析設(shè)計(jì)事務(wù)型事實(shí)表盒至，結(jié)合下游較大的針對(duì)某個(gè)業(yè)務(wù)過程和分析指標(biāo)需求酗洒，可考慮基于某個(gè)事件過程構(gòu)建事務(wù)型實(shí)時(shí)表；
（2）一般選用事件的發(fā)生日期或時(shí)間作為分區(qū)字段枷遂，便于掃描和裁剪樱衷；
（3）冗余子集原則，有利于降低后續(xù)IO開銷酒唉；
（4）明細(xì)層事實(shí)表維度退化矩桂，減少后續(xù)使用join成本。
3.3周期快照事實(shí)表
（1）周期快照事實(shí)表中的每行匯總了發(fā)生在某一標(biāo)準(zhǔn)周期痪伦，如某一天侄榴、某周阔籽、某月的多個(gè)度量事件。
（2）粒度是周期性的牲蜀，不是個(gè)體的事務(wù)笆制。
（3）通常包含許多事實(shí)，因?yàn)槿魏闻c事實(shí)表粒度一致的度量事件都是被允許的涣达。
3.4累積快照事實(shí)表
（1）多個(gè)業(yè)務(wù)過程聯(lián)合分析而構(gòu)建的事實(shí)表在辆，如采購單的流轉(zhuǎn)環(huán)節(jié)。
（2）用于分析事件時(shí)間和時(shí)間之間的間隔周期度苔。
（3）少量的且當(dāng)前事務(wù)型不支持的匆篓，如關(guān)閉、發(fā)貨等相關(guān)的統(tǒng)計(jì)寇窑。
4. DWS公共匯總層設(shè)計(jì)規(guī)范
數(shù)據(jù)倉庫的性能是數(shù)據(jù)倉庫建設(shè)是否成功的重要標(biāo)準(zhǔn)之一鸦概。聚集主要是通過匯總明細(xì)粒度數(shù)據(jù)來獲得改進(jìn)查詢性能的效果。通過訪問聚集數(shù)據(jù)甩骏，可以減少數(shù)據(jù)庫在響應(yīng)查詢時(shí)必須執(zhí)行的工作量窗市，能夠快速響應(yīng)用戶的查詢，同時(shí)有利于減少不同用訪問明細(xì)數(shù)據(jù)帶來的結(jié)果不一致問題饮笛。
4.1聚集的基本原則
（1）一致性咨察。聚集表必須提供與查詢明細(xì)粒度數(shù)據(jù)一致的查詢結(jié)果。
（2）避免單一表設(shè)計(jì)福青。不要在同一個(gè)表中存儲(chǔ)不同層次的聚集數(shù)據(jù)摄狱。
（3）聚集粒度可不同。聚集并不需要保持與原始明細(xì)粒度數(shù)據(jù)一樣的粒度无午，聚集只關(guān)心所需要查詢的維度媒役。
4.2聚集的基本步驟
（1）第一步：確定聚集維度
在原始明細(xì)模型中會(huì)存在多個(gè)描述事實(shí)的維度，如日期宪迟、商品類別酣衷、賣家等，這時(shí)候需要確定根據(jù)什么維度聚集踩验，如果只關(guān)心商品的交易額情況鸥诽，那么就可以根據(jù)商品維度聚集數(shù)據(jù)。
（2）第二步：確定一致性上鉆
這時(shí)候要關(guān)心是按月匯總還是按天匯總箕憾，是按照商品匯總還是按照類目匯總牡借，如果按照類目匯總，還需要關(guān)心是按照大類匯總還是小類匯總袭异。當(dāng)然钠龙，我們要做的只是了解用戶需要什么，然后按照他們想要的進(jìn)行聚集。
（3）第三步：確定聚集事實(shí)
在原始明細(xì)模型中可能會(huì)有多個(gè)事實(shí)的度量碴里，比如在交易中有交易額沈矿、交易數(shù)量等，這時(shí)候要明確是按照交易額匯總還是按照成交數(shù)量匯總咬腋。
4.3公共匯總層設(shè)計(jì)原則
除了聚集基本的原則外羹膳，公共匯總層還必須遵循以下原則：
（1）數(shù)據(jù)公用性。匯總的聚集會(huì)有第三者使用嗎根竿？基于某個(gè)維度的聚集是不是經(jīng)常用于數(shù)據(jù)分析中陵像？如果答案是肯定的，那么就有必要把明細(xì)數(shù)據(jù)經(jīng)過匯總沉淀到聚集表中寇壳。
（2）不跨數(shù)據(jù)域醒颖。數(shù)據(jù)域是在較高層次上對(duì)數(shù)據(jù)進(jìn)行分類聚集的抽象。如以業(yè)務(wù)
（3）區(qū)分統(tǒng)計(jì)周期壳炎。在表的命名上要能說明數(shù)據(jù)的統(tǒng)計(jì)周期泞歉，如_1d?表示最近1天，_td?表示截至當(dāng)天匿辩，_nd?表示最近N天腰耙。
四、數(shù)倉命名規(guī)范
1. 詞根設(shè)計(jì)規(guī)范
詞根屬于數(shù)倉建設(shè)中的規(guī)范撒汉，屬于元數(shù)據(jù)管理的范疇沟优，現(xiàn)在把這個(gè)劃到數(shù)據(jù)治理的一部分涕滋。完整的數(shù)倉建設(shè)是包含數(shù)據(jù)治理的睬辐，只是現(xiàn)在談到數(shù)倉偏向于數(shù)據(jù)建模，而談到數(shù)據(jù)治理宾肺，更多的是關(guān)于數(shù)據(jù)規(guī)范溯饵、數(shù)據(jù)管理。
表命名锨用，其實(shí)在很大程度上是對(duì)元數(shù)據(jù)描述的一種體現(xiàn)丰刊，表命名規(guī)范越完善，我們能從表名獲取到的信息就越多增拥。比如：一部分業(yè)務(wù)是關(guān)于貨架的啄巧，英文名是：rack， rack 就是一個(gè)詞根掌栅，那我們就在所有的表秩仆、字段等用到的地方都叫 rack，不要叫成 別的什么猾封。這就是詞根的作用澄耍，用來統(tǒng)一命名，表達(dá)同一個(gè)含義。
指標(biāo)體系中有很多“率”的指標(biāo)齐莲，都可以拆解成 XXX+率痢站，率可以叫 rate，那我 們所有的指標(biāo)都叫做 XXX+rate选酗。
詞根：可以用來統(tǒng)一表名阵难、字段名、主題域名等等芒填。
舉例：以流程圖的方式來展示多望，更加直觀和易懂，本圖側(cè)重dwm層表的命名規(guī)范氢烘，其余命名是類似的道理：
第一個(gè)判斷條件是該表的用途怀偷，是中間表、原始日志還是業(yè)務(wù)展示用的表如果該表被判斷為中間表播玖，就會(huì)走入下一個(gè)判斷條件：表是否有g(shù)roup 操作 通過是否有 group 操作來判斷該表該劃分在 dwd 層還是 dwm 和 dws 層 如果不是 dwd 層椎工，則需要判斷該表是否是多個(gè)行為的匯總表（即寬表） 最后再分別填上事業(yè)群、部門蜀踏、業(yè)務(wù)線维蒙、自定義名稱和更新頻率等信息即可。以下字段解釋：
分層：表的使用范圍
事業(yè)群和部門：生產(chǎn)該表或者該數(shù)據(jù)的團(tuán)隊(duì)
業(yè)務(wù)線：表明該數(shù)據(jù)是哪個(gè)產(chǎn)品或者業(yè)務(wù)線相關(guān)
主題域：分析問題的角度果覆，對(duì)象實(shí)體
自定義：一般會(huì)盡可能多描述該表的信息颅痊，比如活躍表、留存表等
更新周期：比如說天級(jí)還是月級(jí)更新
1.1數(shù)倉表的命名規(guī)范如下
（1）數(shù)倉層次:
公用維度：dim
DM層：dm
ODS層：ods
DWD層：dwd
DWS層：dws
（2）周期/數(shù)據(jù)范圍：
日快照：d
增量：i
全量：f
周：w
拉鏈表：l
非分區(qū)全量表：a
2. 表命名規(guī)范
2.1常規(guī)表
常規(guī)表是我們需要固化的表局待，是正式使用的表斑响，是目前一段時(shí)間內(nèi)需要去維護(hù)去完善的表。
規(guī)范：分層前綴[dwd|dws|ads]_部門_業(yè)務(wù)域_主題域_XXX_更新周期|數(shù)據(jù)范圍
業(yè)務(wù)域钳榨、主題域我們都可以用詞根的方式枚舉清楚舰罚，不斷完善。
更新周期主要的是時(shí)間粒度薛耻、日营罢、月、年饼齿、周等饲漾。
2.2中間表
中間表一般出現(xiàn)在Job 中，是 Job 中臨時(shí)存儲(chǔ)的中間數(shù)據(jù)的表缕溉，中間表的作 用域只限于當(dāng)前 Job 執(zhí)行過程中考传，Job 一旦執(zhí)行完成，該中間表的使命就完 成了倒淫，是可以刪除的（按照自己公司的場(chǎng)景自由選擇伙菊，以前公司會(huì)保留幾天 的中間表數(shù)據(jù)败玉，用來排查問題）。
規(guī)范：mid_table_name_[0~9|dim]
table_name 是我們?nèi)蝿?wù)中目標(biāo)表的名字镜硕，通常來說一個(gè)任務(wù)只有一個(gè)目標(biāo)表运翼。 這里加上表名，是為了防止自由發(fā)揮的時(shí)候表名沖突兴枯，而末尾大家可以選擇自由發(fā)揮血淌，起一些有意義的名字，或者簡(jiǎn)單粗暴财剖，使用數(shù)字代替悠夯，各有優(yōu)劣吧，謹(jǐn)慎選擇躺坟。
通常會(huì)遇到需要補(bǔ)全維度的表沦补，這里使用dim 結(jié)尾。
如果要保留歷史的中間表咪橙，可以加上日期或者時(shí)間戳夕膀。
2.3臨時(shí)表
臨時(shí)表是臨時(shí)測(cè)試的表，是臨時(shí)使用一次的表美侦，就是暫時(shí)保存下數(shù)據(jù)看看产舞，后續(xù)一般不再使用的表，是可以隨時(shí)刪除的表菠剩。
規(guī)范：tmp_xxx
只要加上tmp 開頭即可易猫，其他名字隨意，注意 tmp 開頭的表不要用來實(shí)際使用具壮，只是測(cè)試驗(yàn)證而已准颓。
2.4維度表
維度表是基于底層數(shù)據(jù)，抽象出來的描述類的表嘴办。維度表可以自動(dòng)從底層表抽象出來瞬场，也可以手工來維護(hù)。
規(guī)范：dim_xxx
維度表涧郊，統(tǒng)一以dim 開頭，后面加上眼五，對(duì)該指標(biāo)的描述妆艘。
2.5手工表
手工表是手工維護(hù)的表，手工初始化一次之后看幼，一般不會(huì)自動(dòng)改變批旺，后面變更，也是手工來維護(hù)诵姜。
一般來說汽煮，手工的數(shù)據(jù)粒度是偏細(xì)的，所以暫時(shí)統(tǒng)一放在dwd 層，后面如果有目標(biāo)值或者其他類型手工數(shù)據(jù)暇赤，再根據(jù)實(shí)際情況分層心例。
規(guī)范：dwd_業(yè)務(wù)域_manual_xxx
手工表，增加特殊的主題域鞋囊，manual止后，表示手工維護(hù)表。
3. 指標(biāo)命名規(guī)范
3.1公共規(guī)則
（1）所有單詞小寫
（2）單詞之間下劃線分割（反例：appName 或 AppName）
（3）可讀性優(yōu)于長(zhǎng)度(詞根溜腐，避免出現(xiàn)同一個(gè)指標(biāo)译株，命名一致性)
（4）禁止使用sql 關(guān)鍵字，如字段名與關(guān)鍵字沖突時(shí) +col
（5）數(shù)量字段后綴_cnt 等標(biāo)識(shí)...
（6）金額字段后綴_price 標(biāo)識(shí)
（7）天分區(qū)使用字段dt挺益，格式統(tǒng)一（yyyymmdd 或 yyyy-mm-dd）
（8）小時(shí)分區(qū)使用字段hh歉糜，范圍（00-23）
（9）分鐘分區(qū)使用字段mi，范圍（00-59）
（10）布爾類型標(biāo)識(shí)：is_{業(yè)務(wù)}望众，不允許出現(xiàn)空值
3.2指標(biāo)命名規(guī)范
結(jié)合指標(biāo)的特性以及詞根管理規(guī)范现恼，將指標(biāo)進(jìn)行結(jié)構(gòu)化處理。
（1）基礎(chǔ)指標(biāo)詞根黍檩，即所有指標(biāo)必須包含以下基礎(chǔ)詞根：
（2）業(yè)務(wù)修飾詞叉袍，用于描述業(yè)務(wù)場(chǎng)景的詞匯，例如trade-交易刽酱。
（3）日期修飾詞喳逛，用于修飾業(yè)務(wù)發(fā)生的時(shí)間區(qū)間。
（4）聚合修飾詞棵里，對(duì)結(jié)果進(jìn)行聚集操作润文。
（5）基礎(chǔ)指標(biāo)，單一的業(yè)務(wù)修飾詞+基礎(chǔ)指標(biāo)詞根構(gòu)建基礎(chǔ)指標(biāo) 殿怜，例如：交易金額-trade_amt典蝌。
（6）派生指標(biāo)，多修飾詞+基礎(chǔ)指標(biāo)詞根構(gòu)建派生指標(biāo)头谜。派生指標(biāo)繼承基礎(chǔ)指標(biāo)的特性骏掀，例如：安裝門店數(shù)量-install_poi_cnt。
（7）普通指標(biāo)命名規(guī)范柱告，與字段命名規(guī)范一致截驮，由詞匯轉(zhuǎn)換即可以。
參考
本文檔規(guī)范依據(jù)來源參考：
1.《大數(shù)據(jù)之路：阿里巴巴大數(shù)據(jù)實(shí)踐》
2. 《數(shù)倉工具箱：維度建模權(quán)威指南》
3.?最強(qiáng)最全面的數(shù)倉建設(shè)規(guī)范指南
4.?美團(tuán)數(shù)據(jù)平臺(tái)及數(shù)倉建設(shè)實(shí)踐际度，超十萬字總結(jié)
5. https://www.cnblogs.com/itlz/p/15539258.html
