數(shù)據(jù)倉庫介紹
????數(shù)據(jù)倉庫是集成的确镊、面向主題的臂容、反應歷史的數(shù)據(jù)的集合科雳。它需要具有高效查詢、高質量的策橘、可擴展的的特性炸渡。數(shù)據(jù)倉庫是協(xié)助運營及管理人員及時做出策略調整的最有效的依據(jù)。
數(shù)據(jù)倉庫簡單架構
????通常情況下丽已，數(shù)據(jù)倉庫可大體分為三個層次：數(shù)據(jù)來源蚌堵、數(shù)據(jù)處理、數(shù)據(jù)應用沛婴。
????如上圖吼畏，ODS 層通常存放的是最原始的數(shù)據(jù)，包括從業(yè)務庫同步過來的業(yè)務數(shù)據(jù)嘁灯、客戶端通過 SDK 打點過來的數(shù)據(jù)泻蚊、服務生成的原始日志文件等數(shù)據(jù)。
- 業(yè)務庫同步數(shù)據(jù)：這里的數(shù)據(jù)是會發(fā)生 update 操作的丑婿，因此通常情況下會使用全同步的方案性雄。然而没卸，當數(shù)據(jù)量過大時采用全量同步很明顯不太合適，這時可以采用拉量表的方式進行處理秒旋。業(yè)務庫表同步工具：sqoop约计、datax 等。
- 客戶端通過 SDK 打點數(shù)據(jù)：通常情況下迁筛，打點數(shù)據(jù)會發(fā)送到 Kafka 集群中煤蚌，然后通過 flink、spark细卧、mapreduce 等從 kafka 中消費數(shù)據(jù)并寫入 hdfs尉桩、hbase 等存儲中。
- 原始日志文件：通常情況下贪庙，使用 flume 等工具進行數(shù)據(jù)處理蜘犁，然后寫入我們的倉庫中。
????中間層包括：DWD（明細數(shù)據(jù)）插勤、DWM（維度）沽瘦、報表預處理革骨、對外提供數(shù)據(jù)的 API 接口农尖。
????應用層：事實上，應用層建立數(shù)據(jù)倉庫最終的目的良哲，如果不同很好的進行數(shù)據(jù)應用盛卡，一切數(shù)倉都是花拳繡腿。
數(shù)據(jù)倉庫建模方法
????目前為止筑凫，數(shù)據(jù)倉庫采用的建模方法主流的有維度建模滑沧、范式建模。
維度建模
????維度模型是數(shù)據(jù)倉庫領域大師Ralph Kimball 所倡導的巍实。維度建模以分析決策的需求出發(fā)構建模型滓技，構建的數(shù)據(jù)模型為分析需求服務，它解決了用戶如何更快速完成分析需求棚潦，同時還有較好的大規(guī)模復雜查詢的響應性能令漂，更直接面向業(yè)務。典型的代表有：星形模型丸边、雪花模型叠必。
1. 星形模型
????所謂星形模型是指以事實表為中心，關聯(lián)各個維度表妹窖，以獲取我們所需要的數(shù)據(jù)結果纬朝。如下圖，在事實表中有各個明細的數(shù)據(jù)骄呼，通過其周圍不同的維度來構建上層的數(shù)據(jù)結果共苛。在該情況下判没，維表中會有部分的冗余數(shù)據(jù)。
2. 雪花模型
????雪花模型是在星形模型的基礎上隅茎，將維度表進一步細化哆致，得到維表的維度表。如下圖患膛，在該模式下摊阀，維度表的深度更深一些，在進行數(shù)據(jù)分析時踪蹬，我們進行關聯(lián)維表更多一些胞此。因此，與星形模型相比跃捣，其分析查詢的速度稍微更弱一些漱牵，但是由于維表的細化，得到的各個維度表的冗余較少一些疚漆。
???? 無論是星形模型還是雪花模型酣胀，最根本的是要在理解業(yè)務的基礎上，建立服務業(yè)務的數(shù)據(jù)倉庫娶聘。通常情況下闻镶，星形模型具有更快的分析效率，也是建模時比較傾向的丸升。
元數(shù)據(jù)管理
???? 元數(shù)據(jù)（metadate）：數(shù)據(jù)字典铆农，也即數(shù)據(jù)的數(shù)據(jù)。主要記錄數(shù)據(jù)倉庫中各層級間的映射關系狡耻、監(jiān)控數(shù)據(jù)倉庫的數(shù)據(jù)狀態(tài)墩剖。一般會通過元數(shù)據(jù)資料庫來統(tǒng)一地存儲和管理元數(shù)據(jù)，其主要目的是使數(shù)據(jù)倉庫的設計夷狰、操作和管理能達成協(xié)同和一致岭皂。
小結
???? 數(shù)據(jù)倉庫是大數(shù)據(jù)時代所不可或缺的，易用沼头、穩(wěn)定的數(shù)據(jù)倉庫對企業(yè)來講是事半功倍的爷绘。
