簡單點兒，直接ODS+DM就可以了宦言，將所有數(shù)據(jù)同步過來扇单，然后直接開發(fā)些應(yīng)用層的報表，這是最簡單的了奠旺；當DM層的內(nèi)容多了以后蜘澜，想要重用，就會再拆分一個公共層出來响疚，變成3層架構(gòu),這個過程有點類似代碼重構(gòu)鄙信，就是在實踐中不斷的進行抽象、總結(jié)忿晕。

數(shù)倉的建淖肮睿或者分層，其實都是為了更好的去組織践盼、管理鸦采、維護數(shù)據(jù),所以當你站在更高的維度去看的話，所有的劃分都是為了更好的管理咕幻。小到JVM 內(nèi)存區(qū)域的劃分渔伯，JVM 中堆空間的劃分(年輕代、老年代谅河、方法區(qū)等)咱旱，大到國家的省市區(qū)的劃分，無一例外的都是為了更好的組織管理绷耍。

所以數(shù)倉分層是數(shù)據(jù)倉庫設(shè)計中十分重要的一個環(huán)節(jié)，優(yōu)秀的分層設(shè)計能夠讓整個數(shù)據(jù)體系更容易理解和使用鲜侥。

這一節(jié)褂始，我們主要是從整體上出發(fā)進行分析和介紹，就和上一節(jié)數(shù)倉建模方法論一樣描函，進度對比分析崎苗，更多細節(jié)的東西我們后面會單獨拆分出來，用案例進行演示舀寓，例如維度建模胆数，維度表的設(shè)計，事實表的設(shè)計互墓、以及如何設(shè)計標簽必尼、如何管理標簽等等。

分層的意義

清晰數(shù)據(jù)結(jié)構(gòu)體系

每一個數(shù)據(jù)分層都有它的作用域，這樣在使用表的時候能更方便的定位和理解判莉。

數(shù)據(jù)血緣追蹤

由于最終給業(yè)務(wù)呈現(xiàn)的是一個能直接使用的業(yè)務(wù)表豆挽，但是表的數(shù)據(jù)來源有很多，如果有一張來源表出問題了券盅，我們希望能夠快速準確的定位到問題帮哈，并清楚它的影響范圍，從而及時給到業(yè)務(wù)方反饋锰镀，從而將損失降到最低娘侍。

減少重復(fù)開發(fā)和資源浪費

規(guī)范數(shù)據(jù)分層，開發(fā)一些通用的中間層數(shù)據(jù)泳炉，能夠減少極大的重復(fù)計算憾筏；

清晰明了的結(jié)構(gòu)使得開發(fā)、維護的成本降低胡桃；

減少重復(fù)計算和存儲的資源浪費踩叭；

復(fù)雜問題簡單化

將一個復(fù)雜的任務(wù)分解成多個步驟來完成，每一層只處理單一的步驟翠胰，比較簡單和容易理解容贝。而且便于維護數(shù)據(jù)的準確性，當數(shù)據(jù)出現(xiàn)問題之后之景，可以不用修復(fù)所有的數(shù)據(jù)斤富，只需要從有問題的步驟開始修復(fù)。

在實際的建設(shè)過程中锻狗，由于業(yè)務(wù)使用數(shù)據(jù)非常緊急以及統(tǒng)一數(shù)倉層建設(shè)跟不上業(yè)務(wù)的需要满力，所以DIM和ADS層可能直接使用ODS層進行快速的業(yè)務(wù)響應(yīng)，但是這種不規(guī)范的操作可能導(dǎo)致數(shù)據(jù)口徑不一致轻纪，所以待數(shù)倉建設(shè)完畢油额，要切換到統(tǒng)一數(shù)倉層和DIM層。

統(tǒng)一數(shù)據(jù)口徑

過數(shù)據(jù)分層提供統(tǒng)一的數(shù)據(jù)出口刻帚，統(tǒng)一對外輸出的數(shù)據(jù)口徑潦嘶，這往往就是我們說的數(shù)據(jù)應(yīng)用層。

關(guān)于分層的一點思考

前面我們說到分層其實是為了更好更快更準的組織管理崇众，但是這個是從宏觀上來說的掂僵，接下來我們從微觀上也來看一下分層。

越靠上的層次顷歌，對應(yīng)用越友好,比如ADS層锰蓬，基本是完全為應(yīng)用設(shè)計,從數(shù)據(jù)聚合程度來講，越上層的聚合程度越高眯漩，當然聚合程度越高可理解程度就越低芹扭。

數(shù)倉層內(nèi)部的劃分不是為了分層而分層，分層是為了解決 ETL 任務(wù)及工作流的組織、數(shù)據(jù)的流向冯勉、讀寫權(quán)限的控制澈蚌、不同需求的滿足等各類問題，當然我們常說的分層也是面向行業(yè)而言的灼狰，也是我們常用分層方法宛瞄，但是你需要注意的是分層僅僅是手段而已。

數(shù)倉的分層：

ods 操作數(shù)據(jù)層

ODS 全稱是 OperationalDataStore交胚，操作數(shù)據(jù)層存儲的是面向業(yè)務(wù)系統(tǒng)的數(shù)據(jù)份汗，也是最接近數(shù)據(jù)源中數(shù)據(jù)的一層，數(shù)據(jù)源中的數(shù)據(jù)蝴簇，經(jīng)過抽取杯活、洗凈、傳輸熬词，也就說傳說中的 ETL 之后旁钧，裝入本層。

其實這里說ETL 有點不合適了互拾，其實更準確的是ELT,你可以細細品品

本層的數(shù)據(jù)歪今，總體上大多是按照源頭業(yè)務(wù)系統(tǒng)的分類方式而分類的，前面我們說到為什么在數(shù)倉主要用維度建模的情況下颜矿，我們依然要學(xué)習范式建模呢寄猩，因為我們的數(shù)據(jù)源是范式建模的，所以學(xué)習范式建钠锝可以幫助我們更好的理解業(yè)務(wù)系統(tǒng)田篇，理解業(yè)務(wù)數(shù)據(jù)，所以你可以認為我們的ODS 層其實就是用的實范式建模箍铭。

但是泊柬，這一層面的數(shù)據(jù)卻不等同于原始數(shù)據(jù)。在源數(shù)據(jù)裝入這一層時诈火，要進行諸如去噪(例如有一條數(shù)據(jù)中人的年齡是300歲彬呻，這種屬于異常數(shù)據(jù)，就需要提前做一些處理)柄瑰、去重(例如在個人資料表中，同一ID卻有兩條重復(fù)數(shù)據(jù)剪况，在接入的時候需要做一步去重)教沾、字段命名規(guī)范等一系列操作。

這里的數(shù)據(jù)處理译断，并不涉及業(yè)務(wù)邏輯授翻，僅僅是針對數(shù)據(jù)完整性以及重復(fù)值和空值的處理，其實就是做的是數(shù)據(jù)規(guī)約，數(shù)據(jù)清洗堪唐，但是為了考慮后續(xù)可能追溯數(shù)據(jù)源問題巡语，因此對這一層不建議做過多的數(shù)據(jù)清洗工作，原封不動接入源數(shù)據(jù)即可淮菠，至于數(shù)據(jù)的去噪男公，去重，異常值處理等過程可以放在后面的DW層

其實關(guān)于這一層合陵，很多人的理解不太一樣枢赔，那就是是否要進行數(shù)據(jù)清洗，其實還是取決于公司的使用習慣踏拜，其實有很多公司在這一層之前也會形成一個層，名字千奇百怪速梗，但是它的目的是數(shù)據(jù)緩沖，然后進行清洗姻锁，清洗之后的數(shù)據(jù)存入ODS ,而這個時候緩沖層數(shù)據(jù)存放一般為一周左右蕊唐，幾乎不會超過一個月；而ODS則永久存放替梨。

設(shè)計原則

表名的設(shè)計?ODS_業(yè)務(wù)系統(tǒng)_表名_標記，這樣的設(shè)計可以保持與業(yè)務(wù)表名一致副瀑，又可以有清晰的層次，還可以區(qū)分來源糠睡。標記一般指的是其他數(shù)倉特有的屬性，例如表是天級的還是小時的狈孔，是全量的還是增量的信认。

ods 層不做字段名歸一和字段類型統(tǒng)一的操作，如果需要則使用兼容的數(shù)據(jù)類型均抽；

對于增量表嫁赏，需要設(shè)計增量表(ODS_業(yè)務(wù)系統(tǒng)_表名_delta)和全量表,然后將增量表合并成全量表數(shù)據(jù)；

對于半結(jié)構(gòu)化數(shù)據(jù)需要設(shè)計解析油挥；

由于業(yè)務(wù)數(shù)據(jù)庫（OLTP）基本按照維度模型建模潦蝇，因此ODS層中的建模方式也是維度模型款熬；

ods?的設(shè)計可以保證所有的數(shù)據(jù)按照統(tǒng)一的規(guī)范進行存儲。

DW 統(tǒng)一數(shù)倉層

DW是數(shù)據(jù)倉庫的核心攘乒，從ODS層中獲得的數(shù)據(jù)按照主題建立各種數(shù)據(jù)模型贤牛。DW又細分數(shù)據(jù)明細層DWD 和輕度匯總層DWS

這一層和維度建模會有比較深的聯(lián)系，業(yè)務(wù)數(shù)據(jù)是按照業(yè)務(wù)流程方便操作的角度來組織數(shù)據(jù)的则酝，而統(tǒng)一數(shù)倉層是按照業(yè)務(wù)易理解的角度或者是業(yè)務(wù)分析的角度進行數(shù)據(jù)組織的殉簸，定義了一致的指標、維度堤魁，各業(yè)務(wù)板塊喂链、數(shù)據(jù)域都是按照統(tǒng)一的規(guī)范來建設(shè)，從而形成統(tǒng)一規(guī)范的標準業(yè)務(wù)數(shù)據(jù)體系妥泉，它們通常都是基于Kimball的維度建模理論來構(gòu)建的椭微，并通過一致性維度和數(shù)據(jù)總線來保證各個子主題的維度一致性。

如果 ods 層的數(shù)據(jù)就非常規(guī)整盲链，基本能滿足我們絕大部分的需求蝇率，這當然是好的，這時候dwd層其實就簡單了很多刽沾，但是現(xiàn)實中接觸的情況是 ods 層的數(shù)據(jù)很難保證質(zhì)量本慕，畢竟數(shù)據(jù)的來源多種多樣，推送方也會有自己的推送邏輯侧漓，在這種情況下锅尘，我們就需要通過額外的一層 dwd 來屏蔽一些底層的差異。有沒有很像JVM布蔗。

設(shè)計原則

一致性維度規(guī)范

公共層的維度表中相同維度屬性在不同物理表中的字段名稱藤违、數(shù)據(jù)類型、數(shù)據(jù)內(nèi)容必須保持一致纵揍，因為這樣可以降低我們在使用過程中犯錯誤的概率，例如使用了不正確的字段泽谨，或者因為數(shù)據(jù)類型的原因?qū)е铝艘恍┢婀值腻e誤

維度的組合與拆分

將維度所描述業(yè)務(wù)相關(guān)性強的字段在一個物理維表實現(xiàn)吧雹。相關(guān)性強是指經(jīng)常需要一起查詢或進行報表展現(xiàn)雄卷、兩個維度屬性間是否存在天然的關(guān)系等龙亲。例如鳄炉，商品基本屬性和所屬品牌拂盯。

DWD 明細數(shù)據(jù)層

公告明細數(shù)據(jù)層团驱，可以說是我們數(shù)倉建設(shè)的核心了嚎花。

DWD層要做的就是將數(shù)據(jù)清理呀洲、整合道逗、規(guī)范化滓窍、臟數(shù)據(jù)、垃圾數(shù)據(jù)此蜈、規(guī)范不一致的舶替、狀態(tài)定義不一致的杠园、命名不規(guī)范的數(shù)據(jù)都會被處理。然后加工成面向數(shù)倉的基礎(chǔ)明細表陈醒，這個時候可以加工一些面向分析的大寬表钉跷。

DWD層應(yīng)該是覆蓋所有系統(tǒng)的肚逸、完整的、干凈的栓始、具有一致性的數(shù)據(jù)層血当。在DWD層會根據(jù)維度模型臊旭，設(shè)計事實表和維度表离熏，也就是說DWD層是一個非常規(guī)范的撤奸、高質(zhì)量的、可信的數(shù)據(jù)明細層矢棚。

DWS 輕度匯總層

DWS層為公共匯總層蒲肋，這一層會進行輕度匯總兜粘，粒度比明細數(shù)據(jù)稍粗孔轴，基于DWD層上的基礎(chǔ)數(shù)據(jù)路鹰，整合匯總成分析某一個主題域的服務(wù)數(shù)據(jù)晋柱，一般是也是面向分析寬表或者是面向某個注意的匯總表雁竞。DWS層應(yīng)覆蓋80%的應(yīng)用場景碑诉，這樣我們才能快速響應(yīng)數(shù)據(jù)需求，否則的話漫仆，如果很多需求都要從ods開始做的話，那說明我們的數(shù)倉建設(shè)是不完善的署照。

例如按照業(yè)務(wù)劃分，例如流量没隘，訂單右蒲，用戶等瑰妄，生成字段比較多的寬表间坐，用于后續(xù)的業(yè)務(wù)查詢竹宋，OLAP分析蜈七，數(shù)據(jù)分析等飒硅。

一般采用維度模型方法作為理論基礎(chǔ)狡相，更多的采用一些維度退化手法尽棕，將維度退化至事實表中滔悉，減少維度表與事實表的關(guān)聯(lián)回官，提高明細數(shù)據(jù)表的易用性笛坦；同時在匯總數(shù)據(jù)層要加強指標的維度退化版扩，采用更多的寬表化手段構(gòu)建公共指標數(shù)據(jù)層礁芦，提升公共指標的復(fù)用性柿扣，減少重復(fù)加工未状。

DIM 維度層

維表層娩践，所以其實維度層就是大量維表構(gòu)成的翻伺，為了統(tǒng)一管理這些維度表沮焕，所以我們就建設(shè)維度層峦树，維度表本身也有很多類型，例如穩(wěn)定維度維表谷遂，漸變維度維表畴嘶。

維度指的是觀察事物的角度蛋逾，提供某一業(yè)務(wù)過程事件涉及用什么過濾和分類的描述屬性，"誰窗悯、什么時候区匣、什么地點、為什么蒋院、如何"干了什么亏钩，維度表示維度建模的基礎(chǔ)和靈魂。

比如欺旧，"小王早上在小賣部花費5元錢購買了包子"铸屉，時間維度——早上，地點維度——小賣部切端，商品維度——包子 ?那么事實表呢茵瀑？

所以可以看出扛施，維度表包含了業(yè)務(wù)過程記錄的業(yè)務(wù)過程度量的上下文和環(huán)境泼菌。維度表都包含單一的主鍵列焊刹，維度表設(shè)計的核心是確定維度字段非凌，維度字段是查詢約束條件(where)、分組條件(group)、排序(order)勺像，與報表標簽的基本來源殃姓。

維度表一般為單一主鍵宛篇，在ER模型中，實體為客觀存在的事務(wù)，會帶有自己的描述性屬性桥嗤，屬性一般為文本性、描述性的渊鞋，這些描述被稱為維度特恬。維度建模的核心是數(shù)據(jù)可以抽象為事實和維度，維度即觀察事物的角度，事實某一粒度下的度量詞，維度一定是針對實體而言的。

每個維度表都包含單一的主鍵列。維度表的主鍵可以作為與之關(guān)聯(lián)的任何事實表的外鍵宜咒，當然，維度表行的描述環(huán)境應(yīng)與事實表行完全對應(yīng)诗轻。維度表通常比較寬侦高，是扁平型非規(guī)范表，包含大量的低粒度的文本屬性秦忿。例如customer（客戶表）胎许、goods(商品表)朽缎、d_time(時間表)這些都屬于維度表北秽，這些表都有一個唯一的主鍵辙培，然后在表中存放了詳細的數(shù)據(jù)信息尾抑。

設(shè)計原則

維度表通常比較寬，包含多個屬性、是扁平的規(guī)范表欣舵，實際應(yīng)用中包含幾十個或者上百個屬性的維度并不少見，所以維度表應(yīng)該包括一些有意義的描述缀磕，方便下游使用缘圈。

維度表的維度屬性劣光，應(yīng)該盡可能的豐富，所以維度表中糟把，經(jīng)常出現(xiàn)一些反范式的設(shè)計绢涡，把其他維度屬性并到主維度屬性中，達到易用少關(guān)聯(lián)的效果遣疯。

維度表的設(shè)計包括維度選擇雄可，主維表的確定，梳理關(guān)聯(lián)維度缠犀，定義維度屬性的過程数苫。

維度的選擇一般從報表需求和從業(yè)務(wù)人員的交談中發(fā)現(xiàn)，主要用于過濾辨液、分組虐急、排序，主維度表一般從業(yè)務(wù)庫直接同步室梅，比如用戶表戏仓，但是數(shù)倉的本身也會有自己的維度，這是因為數(shù)倉是面向分析的亡鼠，所以會有很多從分析的角度出發(fā)的維度赏殃。

關(guān)聯(lián)維度主要是不同業(yè)務(wù)系統(tǒng)或者同一業(yè)務(wù)系統(tǒng)的表之間存在關(guān)聯(lián)性(范式建模)，根據(jù)對業(yè)務(wù)表的梳理间涵，確定哪些表和主維度表之間存在關(guān)聯(lián)關(guān)系仁热，并選擇其中的某些表用于生成維度屬性。

TDM 標簽數(shù)據(jù)層

隨著互聯(lián)網(wǎng)的普及勾哩，獲客成本越來越高抗蠢，這也使得公司對用戶運營提出了更高的要求，不僅需要精細化更需要個性化思劳。解決這一問題的辦法之一就是建立相對完備的標簽系統(tǒng)迅矛，而數(shù)倉的標簽層對于標簽系統(tǒng)而言就像數(shù)據(jù)倉庫對于數(shù)據(jù)系統(tǒng)一樣，有著舉足輕重的地位潜叛，這樣的標簽系統(tǒng)需要與業(yè)務(wù)進行緊密結(jié)合秽褒，從業(yè)務(wù)中獲取養(yǎng)分—用戶標簽，同時也要服務(wù)于業(yè)務(wù)—給用戶提供更加精準和個性的服務(wù)威兜。

底層的標簽系統(tǒng)就像一個索引销斟，層層展示大千世界，而用戶就從這大千世界中不斷選擇一些東西表明自己的身份和喜好椒舵，也不斷反哺蚂踊，使得這個大千世界更加豐富多彩。其實到最后用戶就是一些標簽的集合笔宿。

對跨業(yè)務(wù)板塊犁钟、跨數(shù)據(jù)域的特定對象進行數(shù)據(jù)整合棱诱，通過統(tǒng)一的ID-Mapping 把各個業(yè)務(wù)板塊，各個業(yè)務(wù)過程中同一對象的數(shù)據(jù)打通特纤，形成對象的全域數(shù)據(jù)標簽體系军俊，方便深度分析、挖掘捧存、應(yīng)用粪躬。ID-Mapping 可以認為是通過對象的標識對不同數(shù)據(jù)體系下相同對象進行關(guān)聯(lián)和識別。對象的標識可以標識一個對象昔穴，一般是對象的ID,比如手機號镰官，身份證，登錄賬號

一個自然人他有身份證號碼進行唯一標識吗货，但是在醫(yī)保的時候他使用的實醫(yī)保賬號泳唠，繳納水電費的時候又是不同的賬號，使用手機的時候又是設(shè)備賬號宙搬，上網(wǎng)的時候是網(wǎng)商賬號笨腥。在確認對象后，由于同一對象在不同的業(yè)務(wù)體系中的對象標識是不一樣的勇垛，因此需要將同一對象上的不同ID ?標識打通，以便所有的業(yè)務(wù)數(shù)據(jù)都能夠在該對象上打通闲孤。這就是ID-Mapping谆级。

完成對象的ID 打通需要給對象設(shè)置一個超級ID,需要根據(jù)對象當前業(yè)務(wù)體系的ID和獲取得到或者計算得到超級ID,進而完成所有業(yè)務(wù)標識的ID打通一般來說ID打通是建設(shè)標簽體系的前提，如果沒有ID打通就無法收集到一個對象的全面信息讼积，也就無法對這個對象進行全面的標簽刻畫肥照。

傳統(tǒng)的計算方法要有 ID-ID之間的兩兩關(guān)系，例如郵箱和手機號可以打通勤众，手機號和身份證號可以打通舆绎，那么郵箱就和身份證號可以打通，但是當數(shù)據(jù)量非常大们颜，且業(yè)務(wù)板塊非常多的時候吕朵，例如有上一個對象，每個對象有數(shù)十種ID,這個時候打通就需要非常漫長的計算

那么什么是標簽?zāi)卣谱迷紨?shù)據(jù)，通過一定的邏輯加工產(chǎn)出直接能被業(yè)務(wù)所直接使用的姑食、可閱讀的波岛，有價值的數(shù)據(jù)。標簽類目音半，是標簽的分類組織方式则拷，是標簽信息的一種結(jié)構(gòu)化描述贡蓖，目的是管理、查找煌茬，一般采用多級類目斥铺，一般當一個對象的標簽個數(shù)超過50個的時候，業(yè)務(wù)人員查找標簽就會變得非常麻煩坛善，這個時候我們往往會通過標簽類目進行組織管理

標簽的分類

標簽按照產(chǎn)生和計算方式的不同可分為屬性標簽晾蜘，統(tǒng)計標簽，算法標簽眠屎，關(guān)聯(lián)標簽剔交。

屬性標簽

對象本身的性質(zhì)就是屬性標簽，例如用戶畫像的時候打到用戶身上的標簽改衩。

統(tǒng)計標簽

對象在業(yè)務(wù)過程中產(chǎn)生的原子指標岖常，通過不同的計算方法可以生成統(tǒng)計標簽。

算法標簽

對象在多個業(yè)務(wù)過程中的特征規(guī)律通過一定的算法產(chǎn)出的標簽葫督。

關(guān)聯(lián)標簽

對象在特定的業(yè)務(wù)過程會和其他對象關(guān)聯(lián)竭鞍，關(guān)聯(lián)對象的標簽也可以打在主對象上。

設(shè)計原則

我們的標簽一定是針對用戶的橄镜，而不是一些虛假偎快、高大上、無用的標簽蛉鹿，一定要真實反映用戶行為喜好的滨砍，所以我們不能只依賴人工智能算法的分析，來完成對一個用戶標簽的建立與定期維護妖异，我們需要走出去和用戶交互惋戏，引導(dǎo)用戶使用，要抓住用戶痛點他膳，及時獲取用戶反饋响逢，形成閉環(huán)。

如何引導(dǎo)使用呢棕孙？這個方式有很多我們就不再這里介紹了舔亭，后面我們會專門介紹這一層的建設(shè)細節(jié)。

ADS 層

數(shù)據(jù)應(yīng)用層ApplicationDataService面向業(yè)務(wù)定制的應(yīng)用數(shù)據(jù)蟀俊，主要提供給數(shù)據(jù)產(chǎn)品和數(shù)據(jù)分析使用的數(shù)據(jù)钦铺，一般會放在ES，MYSQL肢预，Redis等系統(tǒng)供線上系統(tǒng)使用矛洞，也可以放在Hive中供數(shù)據(jù)分析和數(shù)據(jù)挖掘使用，或者使用一下其他的大數(shù)據(jù)工具進行存儲和使用烫映。

數(shù)倉層沼本，DIM 層噩峦，TDM 層是相對穩(wěn)定的，所以無法滿足靈活多變業(yè)務(wù)需求抽兆，所以這和數(shù)倉層的規(guī)范和劃分相矛盾识补，所以我們在此基礎(chǔ)上建立了另外一個層，這就是ADS 層辫红，解決了規(guī)劃穩(wěn)定和靈活多變之間的矛盾凭涂。其實到這里你也就慢慢的看明白了，分層和分類其實沒多大差別厉熟，其實就是相似的放在一起导盅，有點代碼重構(gòu)的意味啊。

數(shù)據(jù)應(yīng)用層揍瑟，按照業(yè)務(wù)的需要白翻，然后從統(tǒng)一數(shù)倉層和DIM進行取數(shù)，并面向業(yè)務(wù)的特殊需求對數(shù)據(jù)進行加工,以滿足業(yè)務(wù)和性能的需求绢片。ADS 層因為面向的實眾多的需求滤馍，所以這一層沒有太多的規(guī)范，只需要按照命名規(guī)范來進行就可以了底循。

設(shè)計原則

前面也說了巢株，ADS 層因為面向的實眾多的需求，所以這一層沒有太多的規(guī)范熙涤，但是ADS 層的建設(shè)是強業(yè)務(wù)推動的阁苞，業(yè)務(wù)部門需要參與到ADS 的建設(shè)中來，至少我們得了解用戶的痛點才能對癥施藥啊祠挫。

實現(xiàn)流程

理清需求那槽，了解業(yè)務(wù)方對數(shù)據(jù)內(nèi)容、使用方式(怎么交互的等舔，報表骚灸、接口、即席查詢慌植、在線查詢甚牲、指標查詢、搜索)蝶柿、性能的要求丈钙。

盤點現(xiàn)有的數(shù)倉表是否可以支持，看以前有沒有類似的需求交汤，有沒有可以復(fù)用的接口雏赦、報表什么的。

代碼實現(xiàn)，選擇合適的存儲引擎和查詢引擎喉誊，配置線上監(jiān)控然后交付。

使用場景與性能

針對業(yè)務(wù)方的使用場景纵顾，我們需要設(shè)計出高效伍茄，滿足要求的ADS 層表；

如果是多維分析施逾，為了減少連接敷矫，提升性能，我們一般采用大寬表設(shè)計汉额，使用高性能引擎支撐曹仗；

如果是特定指標查詢，一般采用KV的形式組織蠕搜；

如果是搜索場景怎茫，一般采用搜索引擎；

DM 數(shù)據(jù)集市層

主要是提供數(shù)據(jù)產(chǎn)品和數(shù)據(jù)分析的數(shù)據(jù)妓灌，一般會存放在ES轨蛤、Mysql、也可能直接存儲在hive中或者druid供數(shù)據(jù)分析和數(shù)據(jù)挖掘使用虫埂。主要解決部門用戶報表和分析需求而建立數(shù)據(jù)庫祥山，數(shù)據(jù)集市就代表數(shù)據(jù)倉庫的主題域。

DM 是面向單個主題的掉伏，所以它不會從全局考慮進行建設(shè)缝呕，只專注于自己的數(shù)據(jù)、往往是某個業(yè)務(wù)線斧散，例如流量主題供常、社交主題、電商主題等等颅湘。