整理的數(shù)倉的一些基本問題澎灸，不定期更新
0x01 什么是數(shù)據(jù)倉庫
數(shù)據(jù)倉庫是一個(gè)面向主題的、集成的遮晚、相對穩(wěn)定的性昭、反映歷史變化的數(shù)據(jù)集合
數(shù)據(jù)倉庫是將源系統(tǒng)數(shù)據(jù)抽取、轉(zhuǎn)化县遣、清洗糜颠，存儲(chǔ)到維度模型中的系統(tǒng)，為分析決策提供查詢萧求、分析的支持
上述兩個(gè)定義其兴，第一個(gè)是inmon書中的定義，第二個(gè)是kimball中的定義夸政，現(xiàn)在對數(shù)倉的定義一般結(jié)合兩者元旬，inmon的定義是數(shù)倉的定位，而具體的操作方法是按照kimball的定義來的
0x02 為什么建數(shù)倉
數(shù)倉是一個(gè)系統(tǒng)守问，當(dāng)數(shù)據(jù)問題到達(dá)一定規(guī)模匀归，都需要一個(gè)系統(tǒng)來幫助我們更有效率的完成問題，例如OA系統(tǒng)耗帕，CRM銷售系統(tǒng)都是類似的穆端，而數(shù)倉能幫助我們更有效率的完成整個(gè)數(shù)據(jù)的查詢、分析仿便、產(chǎn)出報(bào)表体啰、用數(shù)據(jù)驅(qū)動(dòng)業(yè)務(wù)等功能
0x03 維度模型和范式模型
范式模型也叫關(guān)系模型攒巍，遵循第三范式，構(gòu)建實(shí)體表和表之間的關(guān)系狡赐，能減少數(shù)據(jù)的冗余
維度模型窑业，將表的概念抽象成事實(shí)和維度表，面向業(yè)務(wù)過程枕屉，一般是寬表
范式建模的表一般比較分散常柄，能減少數(shù)據(jù)冗余，但是關(guān)聯(lián)查詢效率不是很高
維度模型的表一般將事實(shí)表做成寬表搀擂，按照業(yè)務(wù)過程西潘，易于構(gòu)造，靈活方便哨颂，所以現(xiàn)在互聯(lián)網(wǎng)公司為了快速響應(yīng)需求喷市，一般都使用維度建模構(gòu)建寬表
0x04 數(shù)據(jù)倉庫基本分層
一般分三層ODS、DW威恼、APP
ODS是操作型數(shù)據(jù)品姓，一般從源系統(tǒng)拉去數(shù)據(jù)直接導(dǎo)入ods層，為了方便追蹤箫措，一般不會(huì)做過多處理
DW是數(shù)據(jù)倉庫層腹备，一般分DWD、DWS斤蔓、DWM層
APP是應(yīng)用層植酥，一般直接供用戶查看、使用
DWD：數(shù)倉明細(xì)層弦牡，ods經(jīng)過清洗友驮，落地這一層，一般是最細(xì)粒度
DWS：數(shù)據(jù)匯總層驾锰，對dwd的輕微聚合卸留，對一些可累加的指標(biāo)進(jìn)行聚合，增加復(fù)用性
DWM：數(shù)據(jù)集市層椭豫，寬表艾猜，一般按照主題整合幾個(gè)匯總層，做成寬表捻悯，通常能滿足大部分的分析需求
一般不能跨層取數(shù)匆赃，即APP不能從ODS層取，可以從DW內(nèi)的任意層取今缚，但是一般DWM和DWS滿足不了需求時(shí)算柳，才會(huì)從DWD直接取數(shù)，并且需要評估DWM姓言、DWS的設(shè)計(jì)瞬项，這個(gè)需求是否能做到上層
0x05 為什么要用DWS
DWS是對dwd中可累加指標(biāo)進(jìn)行聚合蔗蹋，按業(yè)務(wù)過程來設(shè)計(jì)的，方便DWM后續(xù)的復(fù)用
0x06 數(shù)據(jù)倉庫和數(shù)據(jù)中臺(tái)的區(qū)別
數(shù)據(jù)中臺(tái)時(shí)包含數(shù)據(jù)倉庫的囱淋，倉庫一般是整合數(shù)據(jù)猪杭，為業(yè)務(wù)服務(wù)，提供的只是數(shù)據(jù)妥衣，而中臺(tái)是一種整合能力皂吮，為各產(chǎn)品提供數(shù)據(jù)能力的支持
0x07 數(shù)據(jù)庫三大范式
第一范式：字段的原子性，即每個(gè)字段都不能在分解税手，例如學(xué)生信息字段（學(xué)生id蜂筹、學(xué)生姓名）不滿足第一范式
第二范式：所有字段都依賴所有主鍵
第三范式：所有字段都直接依賴主鍵，不能間接依賴芦倒，例如學(xué)生表中艺挪，年級id、年級兵扬，年級字段就是間接依賴
通常范式模型滿足第三范式麻裳，主要消除冗余，例如每個(gè)學(xué)生都有年級器钟，年級就可以做成另一個(gè)實(shí)體掂器，通過年級id來關(guān)聯(lián)
0x08 CDM、LDM俱箱、PDM概念
CDM：概念模型，只是概念
LDM：邏輯模型灭必，具體到表的說明狞谱，表之間的邏輯關(guān)系
PDM：物理模型，具體的表設(shè)計(jì)模型
0x09 拉鏈表
拉鏈表是針對數(shù)據(jù)倉庫中表的存儲(chǔ)方式定義的禁漓，就是在一張表中以天為單位跟衅，記錄每條數(shù)據(jù)從開始到現(xiàn)在的所有狀態(tài)變化信息。
實(shí)際操作方法就是增加兩個(gè)字段start_time和end_time播歼，表示有效開始日期和有效結(jié)束日期伶跷，
| 用戶編號 | 手機(jī)號 | t_start_time | t_end_time |
|---|---|---|---|
| 1 | 111 | 2019-09-13 | 2019-09-14 |
| 1 | 123 | 2019-09-15 | 2019-09-15 |
| 1 | 113 | 2019-09-15 | 9999-01-01 |
| 2 | 222 | 2019-09-14 | 9999-01-01 |
| 3 | 333 | 2019-09-13 | 2019-09-15 |
| 3 | 313 | 2019-09-16 | 9999-01-01 |
根據(jù)start_time和end_time就可以取到每天當(dāng)時(shí)的歷史數(shù)據(jù)，
例如：用戶1在2019-09-13和2019-09-14的手機(jī)號是111秘狞，在2019-09-15的手機(jī)號是123叭莫，之后是113
要構(gòu)造這樣的拉鏈表，需要一張全量數(shù)據(jù)表和一張每天的增量數(shù)據(jù)表烁试，增量表包含每天新增的數(shù)據(jù)和每天更新的數(shù)據(jù)雇初，一般可以通過binlog解析
0x10 退化維度
退化維度指一些常用的維度屬性，直接放在事實(shí)表上减响，避免了查詢的關(guān)聯(lián)操作
0x11 多值維度
通常事實(shí)表和維度表都是多對一的關(guān)系靖诗，即一個(gè)維度對應(yīng)多個(gè)事實(shí)郭怪，一個(gè)事實(shí)對應(yīng)一個(gè)維度，多值維度指事實(shí)和維度是對多對多關(guān)系或一對多關(guān)系刊橘，即一個(gè)事實(shí)可能對應(yīng)多個(gè)維度鄙才。
這種情況一般要盡量避免，可以重新設(shè)計(jì)看能不能降低事實(shí)表粒度促绵，也可以設(shè)計(jì)橋接表（類似于多對多之間的關(guān)系表）
0x12 緩慢變化維度
維度表中隨著時(shí)間變化的維度字段稱為緩慢變化維度攒庵，例如用戶維度表，用戶名可能是變化的绞愚，對應(yīng)到事實(shí)表叙甸，是展示最新的用戶名還是歷史的用戶名，就是一個(gè)問題位衩。一般有以下幾種處理方式
1裆蒸、直接覆蓋，永遠(yuǎn)只保存最新的數(shù)據(jù)
2糖驴、增加新行僚祷，每次變化都用新行表示
3、增加字段贮缕，例如用戶維度表增加字段曾用名
0x13 數(shù)據(jù)總線
1辙谜、企業(yè)數(shù)據(jù)倉庫總線架構(gòu)
總線架構(gòu)是kimball的多維體系架構(gòu)三大關(guān)鍵性概念之一，另外兩個(gè)是一致性維度和一致性事實(shí)
多維體系架構(gòu)在設(shè)計(jì)之初感昼，需要由架構(gòu)師設(shè)計(jì)出在整個(gè)數(shù)倉體系內(nèi)具有統(tǒng)一解釋的標(biāo)準(zhǔn)化的維度和事實(shí)装哆，即一致性維度和一致性事實(shí)。一致性維度就好比企業(yè)范圍內(nèi)的一組總線定嗓，所以叫總線架構(gòu)
2蜕琴、企業(yè)數(shù)據(jù)倉庫總線矩陣
總線矩陣是實(shí)現(xiàn)總線架構(gòu)的工具，行表示業(yè)務(wù)過程宵溅，列表示一致性維度凌简，點(diǎn)標(biāo)記上業(yè)務(wù)過程是否與維度相關(guān)。
總線矩陣能清晰的表示業(yè)務(wù)過程與維度的關(guān)系恃逻，也能方便的添加業(yè)務(wù)過程和一致性維度
0x14 如何建數(shù)倉
這里參考阿里的建倉流程
1、業(yè)務(wù)調(diào)研寇损，需求分析（針對數(shù)據(jù)分析師凸郑、運(yùn)營、維護(hù)進(jìn)行調(diào)研）矛市，定義指標(biāo)（維度线椰、粒度），通常需要產(chǎn)出定義原子指標(biāo)和派生指標(biāo)的文檔
原子指標(biāo)=業(yè)務(wù)過程+度量
派生指標(biāo)=時(shí)間周期+修飾詞+原子指標(biāo)
2、劃分?jǐn)?shù)據(jù)域憨愉，數(shù)據(jù)域是面向分析的烦绳，將業(yè)務(wù)過程和維度進(jìn)行整合抽象的集合
| 數(shù)據(jù)域 | 業(yè)務(wù)過程 |
|---|---|
| 會(huì)員店鋪域 | 注冊、登錄配紫、裝修径密、開店、關(guān)店 |
| 商品域 | 發(fā)布躺孝、上架享扔、下架、重發(fā) |
| 日志域 | 曝光植袍、瀏覽惧眠、點(diǎn)擊 |
| 交易域 | 下單、支付于个、發(fā)貨氛魁、確認(rèn)收貨 |
| 服務(wù)域 | 商品收藏、拜訪厅篓、培訓(xùn)秀存、優(yōu)惠券領(lǐng)用 |
| 采購域 | 商品采購、供應(yīng)鏈管理 |
3羽氮、明確數(shù)據(jù)域下有哪些業(yè)務(wù)過程后或链，需要定義維度，并基于維度構(gòu)建總線矩陣
4档押、根據(jù)指標(biāo)設(shè)計(jì)明細(xì)層和匯總層
以一個(gè)實(shí)際例子說明澳盐，例如教材商城數(shù)倉，
1令宿、整理各業(yè)務(wù)方需求
| 業(yè)務(wù)方 | 大概需求 |
|---|---|
| 學(xué)科 | 學(xué)科老師主要需要統(tǒng)計(jì)各個(gè)學(xué)科叼耙、年級、版本的教材銷售量 |
| 供應(yīng)鏈 | 供應(yīng)鏈主要需要統(tǒng)計(jì)商品各個(gè)SKU銷售量掀淘，以及出庫、入庫量油昂、滯銷率等 |
| 營銷 | 營銷老師關(guān)心各個(gè)機(jī)構(gòu)革娄、機(jī)構(gòu)省份購買的教材量 |
| 三階課 | 三階課這邊關(guān)心三階課類教材的銷量 |
| 財(cái)務(wù) | 財(cái)務(wù)想要了解每種教材的收入，包括普通教材冕碟、定制教材拦惋、三階課教材等 |
2、整理數(shù)據(jù)域安寺，這里主要圍繞銷量來厕妖，所以都?xì)w為交易域
3、整理維度挑庶、構(gòu)建總線矩陣
| 業(yè)務(wù)過程\一致性維度 | sku_code | 學(xué)科 | 商品種類 | 機(jī)構(gòu) | 機(jī)構(gòu)所在省份 |
|---|---|---|---|---|---|
| 下單 | Y | Y | Y | Y | Y |
| 發(fā)貨 | Y | Y | Y | Y | Y |
| 確收 | Y | Y | Y | Y | Y |
根據(jù)總線矩陣可以設(shè)計(jì)言秸，DWD層以每筆訂單sku粒度软能，商品、機(jī)構(gòu)維度举畸，購買量為度量
DWS層可以設(shè)計(jì)成以查排，學(xué)科購買量、機(jī)構(gòu)購買量抄沮、商品各種類購買量
DWM層根據(jù)實(shí)際需求自由組裝
