前言
一植旧、為什么要分層
???????? 分層的主要原因是在管理數(shù)據(jù)的時候揉抵，能對數(shù)據(jù)有一個更加清晰的掌控松逊，詳細(xì)來講秘狞，主要有下面幾個原因：
清晰數(shù)據(jù)結(jié)構(gòu)：
???????? 每一個數(shù)據(jù)分層都有它的作用域，這樣我們在使用表的時候能更方便地定位和理解蹈集。
方便數(shù)據(jù)血緣追蹤：
???????? ?簡單來說烁试，我們最終給業(yè)務(wù)呈現(xiàn)的是一個能直接使用業(yè)務(wù)表，但是它的來源有很多拢肆，如果有一張來源表出問題了减响，我們希望能夠快速準(zhǔn)確地定位到問題，并清楚它的危害范圍郭怪。
減少重復(fù)開發(fā)：
???????? ?規(guī)范數(shù)據(jù)分層支示，開發(fā)一些通用的中間層數(shù)據(jù)，能夠減少極大的重復(fù)計算鄙才。
把復(fù)雜問題簡單化：
???????? 將一個復(fù)雜的任務(wù)分解成多個步驟來完成颂鸿，每一層只處理單一的步驟，比較簡單和容易理解攒庵。而且便于維護(hù)數(shù)據(jù)的準(zhǔn)確性嘴纺，當(dāng)數(shù)據(jù)出現(xiàn)問題之后，可以不用修復(fù)所有的數(shù)據(jù)浓冒，只需要從有問題的步驟開始修復(fù)栽渴。
屏蔽原始數(shù)據(jù)的異常:
???????? 屏蔽業(yè)務(wù)的影響，不必改一次業(yè)務(wù)就需要重新接入數(shù)據(jù)
二稳懒、數(shù)倉分層思想
???????? 數(shù)據(jù)分層每個企業(yè)根據(jù)自己的業(yè)務(wù)需求可以分成不同的層次闲擦，但是最基礎(chǔ)的分層思想，理論上數(shù)據(jù)分為三個層，數(shù)據(jù)運(yùn)營層墅冷、數(shù)據(jù)倉庫層和數(shù)據(jù)服務(wù)層纯路。基于這個基礎(chǔ)分層之上添加新的層次俺榆，來滿足不同的業(yè)務(wù)需求感昼。
數(shù)據(jù)運(yùn)營層(ODS)
???????? Operate data store（操作數(shù)據(jù)-存儲），是最接近數(shù)據(jù)源中數(shù)據(jù)的一層罐脊，數(shù)據(jù)源中的數(shù)據(jù)定嗓，經(jīng)過抽取、洗凈萍桌、傳輸宵溅，也就說傳說中的ETL之后，裝入ODS層上炎。本層的數(shù)據(jù)恃逻，總體上大多是按照源頭業(yè)務(wù)系統(tǒng)的分類方式而分類的。例如：MySQL里面的一張表可以通過sqoop之間抽取到ODS層ODS層數(shù)據(jù)的來源方式：
- 業(yè)務(wù)庫????????? ? ? ? 經(jīng)常會使用sqoop來抽取藕施，比如我們每天定時抽取一次寇损。在實時方面， 可以考慮用canal監(jiān)聽mysql的binlog裳食，實時接入即可矛市。
- 埋點日志????????? ? ? ? ?線上系統(tǒng)會打入各種日志，這些日志一般以文件的形式保存诲祸，我們可以選擇用flume定時抽取浊吏，也可以用用spark streaming或者Flink來實時接入，當(dāng)然救氯，kafka也會是一個關(guān)鍵的角色找田。
- 消息隊列????????? ? ? ? 來自ActiveMQ、Kafka的數(shù)據(jù)等
數(shù)據(jù)倉庫層（DW）
???????? Data warehouse（數(shù)據(jù)倉庫）着憨。在這里墩衙，從ODS層中獲得的數(shù)據(jù)按照主題建立各種數(shù)據(jù)模型。例如以研究人的旅游消費(fèi)為主題的數(shù)據(jù)集中甲抖，便可以結(jié)合航空公司的登機(jī)出行信息底桂，以及銀聯(lián)系統(tǒng)的刷卡記錄，進(jìn)行結(jié)合分析惧眠，產(chǎn)生數(shù)據(jù)集籽懦。在這里，我們需要了解四個概念：維（dimension）氛魁、事實（Fact）暮顺、指標(biāo)（Index）和粒度（ Granularity）厅篓。
DW數(shù)據(jù)分層，由下到上為 DWD,DWB,DWSDWD：data warehouse detail 細(xì)節(jié)數(shù)據(jù)層捶码，是業(yè)務(wù)層與數(shù)據(jù)倉庫的隔離層羽氮。DWB：data warehouse base 基礎(chǔ)數(shù)據(jù)層，存儲的是客觀數(shù)據(jù)惫恼，一般用作中間層档押，可以認(rèn)為是大量指標(biāo)的數(shù)據(jù)層。DWS：data warehouse service 服務(wù)數(shù)據(jù)層祈纯，基于DWB上的基礎(chǔ)數(shù)據(jù)令宿，整合匯總成分析某一個主題域的服務(wù)數(shù)據(jù)，一般是寬表
數(shù)據(jù)服務(wù)層/應(yīng)用層（ADS）：????????
Application Data Service(應(yīng)用數(shù)據(jù)服務(wù))腕窥。該層主要是提供數(shù)據(jù)產(chǎn)品和數(shù)據(jù)分析使用的數(shù)據(jù)粒没，一般會存放在ES、MySQL等系統(tǒng)中供線上系統(tǒng)使用簇爆，也可能會存在Hive或者Druid中供數(shù)據(jù)分析和數(shù)據(jù)挖掘使用癞松。例如：我們經(jīng)常說的報表數(shù)據(jù)，或者說那種大寬表入蛆，一般就放在這里响蓉。
三、阿里數(shù)據(jù)倉庫分層架構(gòu)
ODS 數(shù)據(jù)準(zhǔn)備層
功能：?????????
? ? ? ??ODS層是數(shù)據(jù)倉庫準(zhǔn)備區(qū)哨毁，為DWD層提供基礎(chǔ)原始數(shù)據(jù)厕妖，可減少對業(yè)務(wù)系統(tǒng)的影響
建模方式及原則：? ? ?
? ? ? ?從業(yè)務(wù)系統(tǒng)增量抽取、保留時間由業(yè)務(wù)需求決定挑庶、可分表進(jìn)行周期存儲、數(shù)據(jù)不做清洗轉(zhuǎn)換與業(yè)務(wù)系統(tǒng)數(shù)據(jù)模型保持一致软能、按主題邏輯劃分
DWD 數(shù)據(jù)明細(xì)層
功能：???????
? ? ??為DW層提供來源明細(xì)數(shù)據(jù)迎捺，提供業(yè)務(wù)系統(tǒng)細(xì)節(jié)數(shù)據(jù)的長期沉淀，為未來分析類需求的擴(kuò)展提供歷史數(shù)據(jù)支撐
建模方式及原則：???????
? ? ? ? 數(shù)據(jù)模型與ODS層一致查排，不做清洗轉(zhuǎn)換處理凳枝、為支持?jǐn)?shù)據(jù)重跑可額外增加數(shù)據(jù)業(yè)務(wù)日期字段、可按年月日進(jìn)行分表跋核、用增量ODS層數(shù)據(jù)和前一天DWD相關(guān)表進(jìn)行merge處理
DW(B/S) 數(shù)據(jù)匯總層
功能：?????????
? ? ? ?為DW岖瑰、ST層提供細(xì)粒度數(shù)據(jù)，細(xì)化成DWB和DWS砂代；???????
? ? ???DWB是根據(jù)DWD明細(xì)數(shù)據(jù)進(jìn)行轉(zhuǎn)換蹋订，如維度轉(zhuǎn)代理鍵、身份證清洗刻伊、會員注冊來源清晰露戒、字段合并椒功、空值處理、臟數(shù)據(jù)處理智什、IP清晰轉(zhuǎn)換动漾、賬號余額清洗、資金來源清洗等荠锭；??????
? ? ? ??DWS是根據(jù)DWB層數(shù)據(jù)按各個維度ID進(jìn)行高粒度匯總聚合旱眯，如按交易來源，交易類型進(jìn)行匯合
建模方式及原則：
???????? 聚合证九、匯總增加派生事實删豺；
???????? 關(guān)聯(lián)其它主題的事實表，DW層可能會跨主題域甫贯；
???????? DWB保持低粒度匯總加工數(shù)據(jù)吼鳞，DWS保持高粒度匯總數(shù)據(jù)；
???????? 數(shù)據(jù)模型可能采用反范式設(shè)計叫搁，合并信息等赔桌。
Data Market (數(shù)據(jù)集市)層
功能：????????
? ? ? ?可以是一些寬表，是根據(jù)DW層數(shù)據(jù)按照各種維度或多種維度組合把需要查詢的一些事實字段進(jìn)行匯總統(tǒng)計并作為單獨的列進(jìn)行存儲渴逻；?????????
? ? ? ? 滿足一些特定查詢疾党、數(shù)據(jù)挖掘應(yīng)用????????
? ? ? ???應(yīng)用集市數(shù)據(jù)存儲
建模方式及原則：?????????
? ? ?盡量減少數(shù)據(jù)訪問時計算(優(yōu)化檢索)????????
? ? ?維度建模，星型模型惨奕；? ? ? ??
? ? ?分表存儲
ST 數(shù)據(jù)應(yīng)用層（ADS層）
功能：????????
? ? ? ?ST層面向用戶應(yīng)用和分析需求雪位，包括前端報表、分析圖表梨撞、KPI雹洗、儀表盤、OLAP卧波、專題等分析时肿，面向最終結(jié)果用戶?????????
? ? ?適合做OLAP、報表模型港粱，如ROLAP,MOLAP
聯(lián)機(jī)事務(wù)處理OLTP螃成、聯(lián)機(jī)分析處理OLAP。
OLTP是傳統(tǒng)的關(guān)系型數(shù)據(jù)庫的主要應(yīng)用查坪，主要是基本的寸宏、日常的事務(wù)處理，例如銀行交易偿曙。
OLAP是數(shù)據(jù)倉庫系統(tǒng)的主要應(yīng)用氮凝，支持復(fù)雜的分析操作，側(cè)重決策支持望忆，并且提供直觀易懂的查詢結(jié)果覆醇。? ?聯(lián)機(jī)分析處理的用戶是企業(yè)中的專業(yè)分析人員及管理決策人員朵纷，他們在分析業(yè)務(wù)經(jīng)營的數(shù)據(jù)時，從不同的角度來審視業(yè)務(wù)的衡量指標(biāo)是一種很自然的思考模式永脓。例如分析銷售數(shù)據(jù)袍辞，可能會綜合時間周期、產(chǎn)品類別常摧、分銷渠道搅吁、地理分布、客戶群類等多種因素來考量落午。
???????? 根據(jù)DW層經(jīng)過聚合匯總統(tǒng)計后的粗粒度事實表
建模方式及原則：?????????
保持?jǐn)?shù)據(jù)量谢雅场；????? ???維度建模溃斋，星形模型界拦；???????? ??各位維度代理鍵+度量；??????????增加數(shù)據(jù)業(yè)務(wù)日期字段梗劫，支持?jǐn)?shù)據(jù)重跑享甸；????????不分表存儲小結(jié)
???????? 本篇文章主要講解數(shù)倉項目中為什么分層，比如我們在完成一個需要的需求的時候也許只需要一個復(fù)雜的SQL語句就可以完成梳侨。但一個復(fù)雜的SQL語句方便后面維護(hù)嗎蛉威？當(dāng)出現(xiàn)了問題方便追蹤嗎？ 這時候就體現(xiàn)出分層的好處走哺。順便給大家分享阿里的數(shù)倉模型是什么樣的蚯嫌。信自己，努力和汗水總會能得到回報的丙躏。我是大數(shù)據(jù)老哥择示，我們下期見~~~
獲取Flink面試題，Spark面試題晒旅，程序員必備軟件栅盲，hive面試題，Hadoop面試題敢朱，Docker面試題，簡歷模板等資源請去GitHub自行下載 https://github.com/lhh2002/Framework-Of-BigData
