1.數(shù)據(jù)倉(cāng)庫(kù)
1.1 什么是數(shù)據(jù)倉(cāng)庫(kù)
數(shù)據(jù)倉(cāng)庫(kù)，英文名為Data Warehouse饿凛，簡(jiǎn)寫為DW或DWH狞玛。數(shù)據(jù)倉(cāng)庫(kù)，是一個(gè)面向主題的涧窒、集成的心肪、隨時(shí)間變化的、但信息本身相對(duì)穩(wěn)定的數(shù)據(jù)集合纠吴，用于對(duì)管理決策過程的支持[1]硬鞍。它是單個(gè)數(shù)據(jù)存儲(chǔ)，出于分析性報(bào)告和決策支持目的而創(chuàng)建戴已。 為需要業(yè)務(wù)智能的企業(yè)固该，提供指導(dǎo)業(yè)務(wù)流程改進(jìn)、監(jiān)視時(shí)間糖儡、成本伐坏、質(zhì)量以及控制[2]。
1.2 數(shù)據(jù)倉(cāng)庫(kù)的四個(gè)特點(diǎn)
面向主題：數(shù)據(jù)倉(cāng)庫(kù)是按照一定的主題來組織握联，僅存儲(chǔ)與主題相關(guān)的數(shù)據(jù)桦沉。主題是指用戶在構(gòu)建數(shù)倉(cāng)時(shí)考慮決策時(shí)所關(guān)注的重點(diǎn)方面，方便以后的數(shù)據(jù)分析金闽。
集成：數(shù)倉(cāng)的數(shù)據(jù)來源是任意的纯露，可以是操作型數(shù)據(jù)庫(kù)，也可以是網(wǎng)絡(luò)爬蟲代芜，這些數(shù)據(jù)經(jīng)過加工與集成苔埋，統(tǒng)一成新的數(shù)據(jù)源。
隨時(shí)間變化：數(shù)倉(cāng)每天都會(huì)從不同數(shù)據(jù)渠道獲取大量數(shù)據(jù)蜒犯，關(guān)鍵數(shù)據(jù)會(huì)隱式或顯式的基于時(shí)間變化组橄。
數(shù)據(jù)相對(duì)穩(wěn)定：數(shù)據(jù)進(jìn)入后一般只進(jìn)行查詢操作，不會(huì)進(jìn)行刪改罚随。
1.3 數(shù)倉(cāng)分層
1.4 數(shù)倉(cāng)為什么要分層
把復(fù)雜問題簡(jiǎn)單化：將復(fù)雜的任務(wù)分解成多層來完成玉工，每一層只處理簡(jiǎn)單的任務(wù)，方便定位問題淘菩。
減少重復(fù)開發(fā)：規(guī)范數(shù)據(jù)分層遵班，通過中間層數(shù)據(jù)屠升，能夠減少重復(fù)的數(shù)據(jù)計(jì)算，增加計(jì)算結(jié)果的重用性狭郑；
隔離原始數(shù)據(jù)：使真實(shí)數(shù)據(jù)與統(tǒng)計(jì)數(shù)據(jù)隔離開腹暖。
1.5 數(shù)據(jù)倉(cāng)庫(kù)與數(shù)據(jù)庫(kù)的區(qū)別
| 功能 | 數(shù)據(jù)倉(cāng)庫(kù) | 數(shù)據(jù)庫(kù) |
|---|---|---|
| 數(shù)據(jù)范圍 | 存儲(chǔ)歷史的、完整的翰萨、反應(yīng)歷史變化的數(shù)據(jù) | 當(dāng)前狀態(tài)數(shù)據(jù) |
| 數(shù)據(jù)變化 | 可添加脏答、無刪除、無變更亩鬼、反應(yīng)歷史變化 | 支持頻繁的增刪改查 |
| 應(yīng)用場(chǎng)景 | 面向分析殖告、支持戰(zhàn)略決策 | 面向業(yè)務(wù)流程 |
| 設(shè)計(jì)理論 | 偽范式、適當(dāng)冗余 | 遵照范式（一雳锋、二黄绩、三范式），避免冗余 |
| 處理量 | 非頻繁玷过、大批量爽丹、高吞吐、有延遲 | 頻繁辛蚊、小批次粤蝎、高并發(fā)、低延遲 |
2.關(guān)系建模與維度建模
2.1 關(guān)系建模
關(guān)系模型如圖所示嚼隘，嚴(yán)格遵循第三范式（3NF），從圖中可以看出袒餐，較為松散飞蛹、零碎，物理表數(shù)量多灸眼，而數(shù)據(jù)冗余程度低卧檐。由于數(shù)據(jù)分布于眾多的表中，這些數(shù)據(jù)可以更為靈活地被應(yīng)用焰宣，功能性較強(qiáng)霉囚。關(guān)系模型主要應(yīng)用與OLTP系統(tǒng)中，為了保證數(shù)據(jù)的一致性以及避免冗余匕积，所以大部分業(yè)務(wù)系統(tǒng)的表都是遵循第三范式的盈罐。
2.2 維度建模
維度模型如圖所示，主要應(yīng)用于OLAP系統(tǒng)中闪唆，通常以某一個(gè)事實(shí)表為中心進(jìn)行表的組織盅粪，主要面向業(yè)務(wù)，特征是可能存在數(shù)據(jù)的冗余悄蕾，但是能方便的得到數(shù)據(jù)票顾。
關(guān)系模型雖然冗余少，但是在大規(guī)模數(shù)據(jù)，跨表分析統(tǒng)計(jì)查詢過程中奠骄，會(huì)造成多表關(guān)聯(lián)豆同，這會(huì)大大降低執(zhí)行效率。所以通常我們采用維度模型建模含鳞，把相關(guān)各種表整理成兩種：事實(shí)表和維度表兩種影锈。
在維度建模的基礎(chǔ)上還可以分為三種模型：星型模型、雪花模型民晒、星座模型精居。
2.2.1星型模型
標(biāo)準(zhǔn)的星型模型周圍只有一層，即一個(gè)事實(shí)表周圍只有一層維度表與之對(duì)應(yīng)潜必。
2.2.2雪花模型
雪花模型的維度層級(jí)比星型模型多靴姿，雪花模型比較靠近3NF，但無法完全遵守磁滚，因?yàn)樽袷?NF的新能成本太高佛吓。
2.2.3 星座模型
星座模型與前兩個(gè)模型的區(qū)別在于事實(shí)表的數(shù)量，星座模型中的事實(shí)表要多垂攘。而且事實(shí)表之間也有可能會(huì)共享維度表维雇。
2.2.4 模型的選擇
首先星座與否與數(shù)據(jù)和需求有關(guān)系，與設(shè)計(jì)無關(guān)晒他，不用抉擇吱型。
星型還是雪花，取決于性能優(yōu)先陨仅，還是靈活優(yōu)先津滞。
實(shí)際開發(fā)中，不會(huì)只選擇一種灼伤，根據(jù)情況靈活組合触徐，甚至并存。但是整體來看狐赡，更傾向于維度更少的星型模型撞鹉。尤其是Hadoop體系，減少join就是減少shuffle,性能差別很大颖侄。
3.數(shù)倉(cāng)建模
3.1 數(shù)倉(cāng)建模的目的
為什么要進(jìn)行數(shù)據(jù)倉(cāng)庫(kù)建模鸟雏？大數(shù)據(jù)的數(shù)倉(cāng)建模是通過建模的方法更好的組織、存儲(chǔ)數(shù)據(jù)览祖，以便在 性能崔慧、成本、效率和數(shù)據(jù)質(zhì)量之間找到最佳平衡點(diǎn)穴墅。一般主要從下面四點(diǎn)考慮
訪問性能：能夠快速查詢所需的數(shù)據(jù)惶室，減少數(shù)據(jù)I/O
數(shù)據(jù)成本：減少不必要的數(shù)據(jù)冗余温自，實(shí)現(xiàn)計(jì)算結(jié)果數(shù)據(jù)復(fù)用，降低大數(shù) 據(jù)系統(tǒng)中的存儲(chǔ)成本和計(jì)算成本
使用效率：改善用戶應(yīng)用體驗(yàn)皇钞，提高使用數(shù)據(jù)的效率
數(shù)據(jù)質(zhì)量：改善數(shù)據(jù)統(tǒng)計(jì)口徑的不一致性悼泌，減少數(shù)據(jù)計(jì)算錯(cuò)誤 的可能性，提供高質(zhì)量的夹界、一致的數(shù)據(jù)訪問平臺(tái)[3]馆里。
3.2 ODS層
保持?jǐn)?shù)據(jù)原貌不做任何修改，起到備份數(shù)據(jù)的作用可柿；
數(shù)據(jù)采用壓縮存儲(chǔ)鸠踪，減少磁盤空間；
創(chuàng)建分區(qū)表复斥，防止全盤掃描
3.3 DWD層
DWD層需構(gòu)建維度模型营密，一般采用星型模型，呈現(xiàn)的狀態(tài)一般為星座模型目锭。
維度建模一般按照以下四個(gè)步驟：
3.4 DWS層
統(tǒng)計(jì)各個(gè)主題對(duì)象的當(dāng)天行為评汰，服務(wù)于DWT層的主題寬表，以及一些業(yè)務(wù)明細(xì)數(shù)據(jù)痢虹，應(yīng)對(duì)特殊需求（例如被去，購(gòu)買行為，統(tǒng)計(jì)商品復(fù)購(gòu)率）奖唯。
3.5 DWT層
以分析的主題對(duì)象為建模驅(qū)動(dòng)惨缆，基于上層的應(yīng)用和產(chǎn)品的指標(biāo)需求，構(gòu)建主題對(duì)象的全量寬表丰捷。
3.6 ADS層
對(duì)電商系統(tǒng)各大主題指標(biāo)分別進(jìn)行分析坯墨。
更多首發(fā)文章請(qǐng)關(guān)注公眾號(hào)【鄙人王道長(zhǎng)】
[ 1 ] http://www.reibang.com/p/0b6414f92442
[ 2 ] http://www.databi.cn/article-76-1.html
[ 3 ] https://blog.csdn.net/qq_26442553/article/details/105506364
