這次主要是將基于Doris的數(shù)據(jù)中臺建設(shè)內(nèi)容及系統(tǒng)架構(gòu)設(shè)計
圍繞著上次將的我們要解決的五個問題：找數(shù)璃赡，理解數(shù)據(jù)嚼蚀，問題評估导而，取數(shù)及數(shù)據(jù)可視化忱叭，給出一個概要的設(shè)計及框架
數(shù)據(jù)中臺建設(shè)內(nèi)容
- 數(shù)據(jù)規(guī)范統(tǒng)一：采用維度事實建模理論進行嚴格的，規(guī)范化嗡载、標準化的定義洼滚，保障數(shù)據(jù)質(zhì)量遥巴，避免數(shù)據(jù)指標的二義性铲掐。
- 一站式研發(fā)體驗：從數(shù)據(jù)接入摆霉、建模、研發(fā)咳秉、運維澜建、數(shù)據(jù)查找及探查等過程提供高效一站式統(tǒng)一的研發(fā)立案率炕舵。
- 系統(tǒng)化構(gòu)建數(shù)據(jù)體系：以標準的技術(shù)框架咽筋，系統(tǒng)地構(gòu)建規(guī)范可讀的業(yè)務(wù)化數(shù)據(jù)體系晤硕，形成數(shù)據(jù)資產(chǎn)舞箍，方便業(yè)務(wù)查找及應(yīng)用疏橄。
- 可視化數(shù)據(jù)資產(chǎn)：系統(tǒng)化構(gòu)建業(yè)務(wù)數(shù)據(jù)資產(chǎn)大圖捎迫，還原業(yè)務(wù)系統(tǒng)窄绒，提取業(yè)務(wù)知識，快速提取業(yè)務(wù)關(guān)鍵環(huán)節(jié)及業(yè)務(wù)位谋。
- 數(shù)據(jù)使用簡單可依賴：定義及服務(wù)掏父，研發(fā)構(gòu)建的業(yè)務(wù)主題式數(shù)據(jù)邏輯表可被直接爵政，快速查詢及訪問茂卦，簡化查詢代碼。
數(shù)據(jù)中臺架構(gòu)
數(shù)據(jù)中臺系統(tǒng)架構(gòu)
image-20210327145957837
數(shù)據(jù)中臺技術(shù)架構(gòu)
對用戶來說，Doris 的優(yōu)點是功能強大黍衙，易用性好琅翻。 功能強大指可以滿足我們用戶的需求，易用性好主要指 兼容 Mysql 協(xié)議和語法钧嘶，以及 Online Schema Change闸拿。 兼容 Mysql 協(xié)議和語法讓用戶的學(xué)習(xí)成本和開發(fā)成本很低新荤， Online Schema Change 也是一個很吸引人的 feature苛骨，因為在業(yè)務(wù)快速發(fā)展和頻繁迭代的情況下，Schema 變更會是一個高頻的操作吼野。
對平臺側(cè)來說瞳步，Doris 的優(yōu)點是易運維抱怔，易擴展和高可用：
- 易運維指 Doris 無外部系統(tǒng)依賴屈留，部署和配置都很簡單。
- 易擴展指 Doris 可以一鍵加減節(jié)點勇蝙，并自動均衡數(shù)據(jù)味混。
- 高可用值 Dors 的 FE 和 BE 都可以容忍少數(shù)節(jié)點掛掉。
所以這里數(shù)倉是使用Doris作為核心組件來構(gòu)建
image-20210327145957837
架構(gòu)說明：
- 數(shù)倉整體以Doris為核心構(gòu)建公司企業(yè)級數(shù)據(jù)倉庫，（后期會根據(jù)實際需要還可能會引進Hive、ClickHouse等其他組件）
- 通過統(tǒng)一的數(shù)據(jù)采集系統(tǒng)开镣，多種數(shù)據(jù)采集手段，包括Mysql binlog解析（Cannal）树埠，日志采集Flume（Doris審計日志）、埋點接口等實現(xiàn)多種異構(gòu)數(shù)據(jù)的采集绊袋，針對Mysql癌别，Kafka數(shù)據(jù)源我們封裝了零代碼入倉躁垛，可視化完成
- 將采集的數(shù)據(jù)統(tǒng)一通過消息隊列（Kafka）完成高并發(fā)的數(shù)據(jù)吞吐教馆，同時實現(xiàn)數(shù)倉及計算引擎的解耦
- Flink計算引擎完成數(shù)據(jù)的ETL處理及實時數(shù)據(jù)的統(tǒng)計涣狗，并將數(shù)據(jù)推送到Kafka及Doris（Stream Load）
- 對外通過doris和消息隊列對外提供數(shù)據(jù)服務(wù)
- 數(shù)據(jù)質(zhì)量管理是實現(xiàn)對從數(shù)據(jù)采集到數(shù)據(jù)ETL處理穗熬，數(shù)據(jù)存儲及數(shù)據(jù)服務(wù)全生命周期的數(shù)據(jù)管理，包括元數(shù)據(jù)，數(shù)據(jù)質(zhì)量，數(shù)據(jù)規(guī)范作煌、數(shù)據(jù)安全
- 血緣關(guān)系的構(gòu)建是基于Doris的審計日志，這塊我會在后面數(shù)據(jù)資產(chǎn)的元數(shù)據(jù)管理里講解
系統(tǒng)架構(gòu)數(shù)據(jù)管理及數(shù)據(jù)流向
image-20210327145957837
數(shù)據(jù)中臺功能整體規(guī)劃
數(shù)據(jù)中臺功能整體規(guī)劃
這是我們數(shù)據(jù)中臺的整體功能規(guī)劃获诈，我會在后續(xù)展開每個功能
image-20210327145957837
下一講會基于這個整體功能規(guī)劃進行逐一展開講解
