實(shí)習(xí)過后需要學(xué)習(xí)一下才能更有體會~~~

學(xué)習(xí)來源：https://blog.csdn.net/huanggang028/article/details/52168092

問題：數(shù)據(jù)爆炸式地增長梯啤，各種結(jié)構(gòu)化级及、半結(jié)構(gòu)化悬垃、非結(jié)構(gòu)化數(shù)據(jù)的產(chǎn)生赏殃，越來越多的企業(yè)開始在大數(shù)據(jù)平臺下進(jìn)行數(shù)據(jù)處理漾肮。

總體思路

新環(huán)境下的數(shù)據(jù)應(yīng)用特征：

• 業(yè)務(wù)變化快
• 數(shù)據(jù)來源多
• 應(yīng)用深度深
• 系統(tǒng)耦合多

大數(shù)據(jù)平臺特征

• 強(qiáng)大的計(jì)算和存儲能力：使得更扁平化的數(shù)據(jù)流程設(shè)計(jì)成為可能路星，簡化計(jì)算過程席镀；
• 多樣的編程接口和框架：豐富了數(shù)據(jù)加工的手段；
• 豐富的數(shù)據(jù)采集通道：實(shí)現(xiàn)非結(jié)構(gòu)化數(shù)據(jù)和半結(jié)構(gòu)化數(shù)據(jù)的采集杈女；
• 各種安全和管理措施：保障了平臺的可用性朱浴。

對于數(shù)據(jù)倉庫的構(gòu)建要求

• 穩(wěn)定：數(shù)據(jù)的產(chǎn)出穩(wěn)定、有保障达椰；
• 可信：數(shù)據(jù)的質(zhì)量要足夠高赊琳；
• 豐富：數(shù)據(jù)涵蓋的業(yè)務(wù)面要足夠豐富；
• 透明：數(shù)據(jù)構(gòu)成流程體系透明砰碴，讓用戶放心使用。

倉庫架構(gòu)設(shè)計(jì)原則

• 自下而上+自上而下：保證數(shù)據(jù)搜集的全面性
• 高容錯板丽；
• 數(shù)據(jù)質(zhì)量監(jiān)控觀察整個數(shù)據(jù)流程呈枉；
• 不怕數(shù)據(jù)冗余，利用存儲換易用埃碱。

數(shù)據(jù)模型

模型設(shè)計(jì)

• 維度建模
  結(jié)構(gòu)簡單猖辫，便于事實(shí)數(shù)據(jù)分析，適合業(yè)務(wù)分析報(bào)表和BI砚殿；
• 實(shí)體關(guān)系建模
  結(jié)構(gòu)較復(fù)雜啃憎，但它便于主體數(shù)據(jù)打通，適合復(fù)雜數(shù)據(jù)內(nèi)容的深度挖掘似炎。

每個企業(yè)在構(gòu)建自己數(shù)倉時辛萍，應(yīng)該根據(jù)業(yè)務(wù)形態(tài)和需求場景選擇合適的建模方式。對于應(yīng)用復(fù)雜性企業(yè)羡藐，可以采用多種建模結(jié)合的方式贩毕，例如在基礎(chǔ)層采用維度建模的方式，讓維度更加清晰;中間層采用實(shí)體關(guān)系建模方式仆嗦，使得中間層更容易被上層應(yīng)用使用辉阶。

數(shù)據(jù)分層

數(shù)據(jù)分層可以使得數(shù)據(jù)構(gòu)建體系更加清晰，便于數(shù)據(jù)使用者快速對數(shù)據(jù)進(jìn)行定位;同時數(shù)據(jù)分層也可以簡化數(shù)據(jù)加工處理流程，降低計(jì)算復(fù)雜度谆甜。

• 基礎(chǔ)數(shù)據(jù)層（存）
  • 數(shù)據(jù)采集：把不同數(shù)據(jù)源的數(shù)據(jù)統(tǒng)一采集到一個平臺上;
  • 數(shù)據(jù)清洗垃僚，清洗不符合質(zhì)量要求的數(shù)據(jù)，避免臟數(shù)據(jù)參與后續(xù)數(shù)據(jù)計(jì)算;
  • 數(shù)據(jù)歸類规辱，建立數(shù)據(jù)目錄谆棺，在基礎(chǔ)層一般按照來源系統(tǒng)和業(yè)務(wù)域進(jìn)行分類;
  • 數(shù)據(jù)結(jié)構(gòu)化，對于半結(jié)構(gòu)化和非結(jié)構(gòu)化的數(shù)據(jù)按摘，進(jìn)行結(jié)構(gòu)化;
  • 數(shù)據(jù)規(guī)范化包券，包括規(guī)范維度標(biāo)識、統(tǒng)一計(jì)量單位等規(guī)范化操作炫贤。
• 中間層（通）
  • 打通同一實(shí)體不同來源的數(shù)據(jù)
  • 從行為中提取關(guān)系
  • 可適當(dāng)增加數(shù)據(jù)冗余溅固，以保障主題的完整性和數(shù)據(jù)的易用性
• 集市層（用）
  • 場景驅(qū)動建設(shè)，各及時之間垂直構(gòu)建
  • 集市層深度挖掘數(shù)據(jù)價值
  • 能夠快速試錯

數(shù)據(jù)架構(gòu)

• 數(shù)據(jù)整合
  • 結(jié)構(gòu)化數(shù)據(jù)采集
    • 全量采集：每日采集數(shù)據(jù)庫表的快照
    • 增量采集：采集數(shù)據(jù)集每日變化的數(shù)據(jù)
    • 實(shí)時采集：實(shí)時采集數(shù)據(jù)集的變化數(shù)據(jù)
  • 非結(jié)構(gòu)化數(shù)據(jù)特征提取
    例如語音轉(zhuǎn)文本兰珍、圖片識別侍郭、自然語言處理等...
  • 日志結(jié)構(gòu)化
    • 日志采集到平臺之前不做結(jié)構(gòu)化
    • 通過UDF和MR計(jì)算框架實(shí)現(xiàn)日志結(jié)構(gòu)化
    • 日志原始結(jié)構(gòu)越規(guī)范，解析成本越低
• 數(shù)據(jù)體系
• 數(shù)據(jù)服務(wù)
  • 統(tǒng)計(jì)服務(wù)：偏傳統(tǒng)的報(bào)表服務(wù)掠河，利用大數(shù)據(jù)平臺將數(shù)據(jù)加工后的結(jié)果放入關(guān)系型數(shù)據(jù)庫中亮元，供前端的報(bào)表系統(tǒng)或業(yè)務(wù)系統(tǒng)查詢；
  • 分析服務(wù)：提供明細(xì)的事實(shí)數(shù)據(jù)唠摹，利用大數(shù)據(jù)平臺的實(shí)時計(jì)算能力爆捞，允許操作人員自主靈活的進(jìn)行各種維度的交叉組合查詢。
  • 標(biāo)簽服務(wù)：大數(shù)據(jù)的應(yīng)用場景下勾拉，經(jīng)常會對主體進(jìn)行特征刻畫煮甥，比如客戶的消費(fèi)能力、興趣習(xí)慣藕赞、物理特征等等成肘，這些數(shù)據(jù)通過打標(biāo)簽轉(zhuǎn)換成KV的數(shù)據(jù)服務(wù)，用于前端應(yīng)用查詢斧蜕。

架構(gòu)中一些實(shí)用的點(diǎn)

• 巧用虛擬節(jié)點(diǎn)：實(shí)現(xiàn)多系統(tǒng)數(shù)據(jù)源同步双霍，實(shí)現(xiàn)跨系統(tǒng)間的數(shù)據(jù)傳輸，實(shí)現(xiàn)多應(yīng)用間數(shù)據(jù)交互批销。通過巧用虛擬節(jié)點(diǎn)減少運(yùn)維人員在實(shí)際出現(xiàn)問題時的運(yùn)維成本洒闸。
• 采用強(qiáng)制分區(qū)：在所有的表都上都加上時間分區(qū)。通過分區(qū)风钻，保證每個任務(wù)都能夠獨(dú)立重跑顷蟀，而不產(chǎn)生數(shù)據(jù)質(zhì)量問題，降低了數(shù)據(jù)修復(fù)成本;此外通過分區(qū)裁剪骡技，還可以降低計(jì)算成本鸣个。
• 計(jì)算框架應(yīng)用：完成日志結(jié)構(gòu)化羞反、同類數(shù)據(jù)計(jì)算過程、減少數(shù)據(jù)掃描次數(shù)等操作囤萤，減輕了開發(fā)人員的負(fù)擔(dān)昼窗，同時更容易維護(hù)。
• 優(yōu)化關(guān)鍵路徑：每份數(shù)據(jù)的產(chǎn)出都有一個關(guān)鍵數(shù)據(jù)加工路徑涛舍；優(yōu)化關(guān)鍵路徑中耗時最長的任務(wù)是最有效的保障數(shù)據(jù)產(chǎn)出時間的手段澄惊；對重要數(shù)據(jù)產(chǎn)出增加基線監(jiān)控。

數(shù)據(jù)治理

數(shù)據(jù)質(zhì)量

• 事前：制定每份數(shù)據(jù)的數(shù)據(jù)質(zhì)量監(jiān)控規(guī)則
• 事中：監(jiān)控和影響數(shù)據(jù)生產(chǎn)過程富雅，不符合質(zhì)量要求的數(shù)據(jù)不算產(chǎn)出數(shù)據(jù)掸驱；
• 事后：數(shù)據(jù)質(zhì)量情況分析和打分，兔絨數(shù)據(jù)質(zhì)量提升

數(shù)據(jù)生命周期管理

• 對重要的基礎(chǔ)數(shù)據(jù)長期保留
• 對數(shù)據(jù)中間計(jì)算過程數(shù)據(jù)没佑，在保障滿足絕大部分應(yīng)用訪問歷史的前提下毕贼，縮短數(shù)據(jù)保留周期，有助于降低存儲成本蛤奢；