原創(chuàng)?顏博?DBAplus社群?4月27日
收錄于話題
#十萬(wàn)技術(shù)人都在關(guān)注的干貨內(nèi)容
13個(gè)
本文根據(jù)顏博老師在〖Deeplus直播第218期〗線上分享演講內(nèi)容整理而成萨螺。（文末有獲取本期PPT&回放的途徑，不要錯(cuò)過(guò)）
顏博
馬蜂窩數(shù)倉(cāng)研發(fā)總監(jiān)
現(xiàn)任馬蜂窩數(shù)據(jù)倉(cāng)庫(kù)團(tuán)隊(duì)負(fù)責(zé)人愧驱，曾供職于京東慰技、IBM、亞信等公司组砚。
數(shù)據(jù)行業(yè)老兵一名吻商，歷經(jīng)傳統(tǒng)數(shù)據(jù)倉(cāng)庫(kù)、大數(shù)據(jù)平臺(tái)到數(shù)據(jù)中臺(tái)的發(fā)展糟红。
大家好艾帐，今天分享的議題主要包括幾大內(nèi)容：
帶大家回顧一下大數(shù)據(jù)在國(guó)內(nèi)的發(fā)展，從傳統(tǒng)數(shù)倉(cāng)到當(dāng)前數(shù)據(jù)中臺(tái)的演進(jìn)過(guò)程盆偿；
我個(gè)人認(rèn)為數(shù)據(jù)中臺(tái)的核心組成柒爸，以及一些技術(shù)選型參考；
數(shù)據(jù)研發(fā)是數(shù)據(jù)中臺(tái)很重要的一環(huán)事扭，會(huì)分享一些我們?cè)跀?shù)據(jù)研發(fā)方面的實(shí)踐捎稚，主要是數(shù)據(jù)倉(cāng)庫(kù)架構(gòu)與研發(fā)方面。
一句旱、大數(shù)據(jù)演進(jìn)阳藻，從數(shù)據(jù)倉(cāng)庫(kù)到數(shù)據(jù)中臺(tái)
第一階段
21世紀(jì)的第一個(gè)10年，企業(yè)級(jí)數(shù)據(jù)倉(cāng)庫(kù)（EDW）從萌芽到蓬勃發(fā)展谈撒，“IOT”( IBM腥泥、Oracle、Teradata)占領(lǐng)了大部分市場(chǎng)啃匿，提供數(shù)據(jù)倉(cāng)庫(kù)建設(shè)從硬件蛔外、軟件到實(shí)施的整體方案蛆楞。
這個(gè)時(shí)代的數(shù)據(jù)倉(cāng)庫(kù)實(shí)施不僅需要購(gòu)買(mǎi)大（中、屑醒帷）型機(jī)豹爹，配套商用的關(guān)系型數(shù)據(jù)庫(kù)（Oracle、DB2矛纹、SQL Server）以及一些ETL/OLAP套件臂聋，實(shí)施成本相對(duì)高昂，數(shù)據(jù)倉(cāng)庫(kù)建設(shè)主要集中在金融或南、電信孩等、大型零售與制造等行業(yè)。
數(shù)據(jù)倉(cāng)庫(kù)的應(yīng)用主要通過(guò)為企業(yè)提供報(bào)表采够、分析等數(shù)據(jù)肄方，輔助企業(yè)的經(jīng)營(yíng)決策。像電信行業(yè)的經(jīng)營(yíng)分析系統(tǒng)蹬癌、銀行的風(fēng)控管理等权她，都是這個(gè)期間比較典型的應(yīng)用。
第二階段
2010-2015年逝薪，大數(shù)據(jù)平臺(tái)階段隅要，移動(dòng)互聯(lián)網(wǎng)的飛速發(fā)展帶動(dòng)Bigdata(大數(shù)據(jù))的發(fā)展。其中Hadoop生態(tài)技術(shù)開(kāi)始逐步在國(guó)內(nèi)大范圍使用翼闽，企業(yè)只要基于Hadoop分布式的計(jì)算框架拾徙，使用相對(duì)廉價(jià)的PC服務(wù)器就能搭建起大數(shù)據(jù)集群。
數(shù)據(jù)湖的概念也是這個(gè)階段誕生（主要是為降低傳統(tǒng)數(shù)倉(cāng)較為復(fù)雜的中間建模過(guò)程感局，通過(guò)接入業(yè)務(wù)系統(tǒng)的原始數(shù)據(jù)，包括結(jié)構(gòu)化暂衡、非結(jié)構(gòu)數(shù)據(jù)询微，借助hadoop生態(tài)強(qiáng)大計(jì)算引擎，將數(shù)據(jù)直接服務(wù)于應(yīng)用）狂巢。這個(gè)階段不只是金融撑毛、電信這些行業(yè)，國(guó)內(nèi)主流互聯(lián)網(wǎng)企業(yè)也紛紛搭建起大數(shù)據(jù)平臺(tái)唧领。
大數(shù)據(jù)應(yīng)用更為豐富藻雌，不僅限于決策分析，基于APP/門(mén)戶站點(diǎn)的搜索推薦斩个、以及通過(guò)A/B Test來(lái)對(duì)產(chǎn)品進(jìn)行升級(jí)迭代等是這個(gè)階段常規(guī)的應(yīng)用點(diǎn)胯杭，用戶畫(huà)像在這個(gè)階段也得到重視，主要應(yīng)用于企業(yè)的營(yíng)銷(xiāo)受啥、運(yùn)營(yíng)等場(chǎng)景做个。
第三階段
就是我們現(xiàn)在所處的階段鸽心，數(shù)據(jù)中臺(tái)以及云上大數(shù)據(jù)階段，通過(guò)前10多年不斷的技術(shù)積累居暖，大數(shù)據(jù)在方法和組織的變革上也有了新的沉淀顽频，主要體現(xiàn)在幾個(gè)方面：
1）數(shù)據(jù)統(tǒng)一化
其核心思想是數(shù)據(jù)流轉(zhuǎn)的所有環(huán)節(jié)進(jìn)行統(tǒng)一化，如從采集到存儲(chǔ)到加工等過(guò)程太闺，在這些過(guò)程中通過(guò)建立統(tǒng)一的公共數(shù)據(jù)模型體系糯景、統(tǒng)一的指標(biāo)與標(biāo)簽體系，提高數(shù)據(jù)的標(biāo)準(zhǔn)性省骂、易用性蟀淮，讓數(shù)據(jù)本身更好地連通，提升使用效率冀宴。
2）工具組件化
數(shù)據(jù)在采集灭贷、計(jì)算、存儲(chǔ)略贮、應(yīng)用過(guò)程中涉及多業(yè)務(wù)線條甚疟，多場(chǎng)景，將這些場(chǎng)景與工具（采集工具逃延、管道工具览妖、計(jì)算&調(diào)度工具、數(shù)據(jù)服務(wù)工具揽祥，數(shù)據(jù)管理工具讽膏、可視化工具等）進(jìn)行沉淀，研發(fā)出通用拄丰、高效的組件化工具府树，避免重復(fù)開(kāi)發(fā)，降低研發(fā)成本料按。
3）應(yīng)用服務(wù)化
之前大數(shù)據(jù)應(yīng)用的數(shù)據(jù)調(diào)用比較混雜奄侠，有些直接訪問(wèn)數(shù)倉(cāng)數(shù)據(jù)表，有些調(diào)用臨時(shí)接口等载矿。通過(guò)數(shù)據(jù)中臺(tái)應(yīng)用服務(wù)化建設(shè)垄潮，提供標(biāo)準(zhǔn)的應(yīng)用服務(wù)，以數(shù)據(jù)可視化產(chǎn)品闷盔、數(shù)據(jù)API工具等服務(wù)弯洗，支撐應(yīng)用的靈活調(diào)用。
4）組織清晰化
數(shù)據(jù)中臺(tái)團(tuán)隊(duì)專注于數(shù)據(jù)內(nèi)容&數(shù)據(jù)平臺(tái)開(kāi)發(fā)逢勾，提供各種基于數(shù)據(jù)的能力模塊牡整，而其他部門(mén)人員如業(yè)務(wù)產(chǎn)品、運(yùn)營(yíng)敏沉、分析等角色果正，只需要借助工具/產(chǎn)品有效地使用數(shù)據(jù)炎码，發(fā)揮其價(jià)值，無(wú)需關(guān)注數(shù)據(jù)加工的過(guò)程秋泳，做到各盡其職潦闲，充分發(fā)揮各自專長(zhǎng)，同樣也能達(dá)到降本提效目的迫皱。大數(shù)據(jù)團(tuán)隊(duì)內(nèi)部本身組織和職責(zé)也傾于清晰化歉闰，比如按照職責(zé)分為平臺(tái)（工具）研發(fā)、數(shù)據(jù)研發(fā)卓起、數(shù)據(jù)產(chǎn)品和敬、數(shù)據(jù)分析等不同組織。
當(dāng)前階段
數(shù)據(jù)應(yīng)用到各個(gè)角落戏阅，除了之前可以支撐的決策分析以外昼弟，大數(shù)據(jù)與線上事務(wù)系統(tǒng)（OLTP）的聯(lián)動(dòng)場(chǎng)景非常多，比如我們?cè)陔娚唐脚_(tái)查詢個(gè)人所有歷史訂單奕筐，再比如一些刷單舱痘、反作弊的實(shí)時(shí)攔截，以及一些實(shí)時(shí)推薦等离赫，這些都是通過(guò)將數(shù)據(jù)的運(yùn)算交給數(shù)據(jù)中臺(tái)部門(mén)處理芭逝，前臺(tái)部門(mén)直接通過(guò)API進(jìn)行結(jié)果調(diào)用。數(shù)據(jù)中臺(tái)的集中化建設(shè)也更好地支撐起創(chuàng)新業(yè)務(wù)渊胸，比如通過(guò)大數(shù)據(jù)+分析建立起商業(yè)化數(shù)據(jù)變現(xiàn)產(chǎn)品旬盯，進(jìn)行數(shù)據(jù)售賣(mài)，把數(shù)據(jù)變成新的業(yè)務(wù)翎猛。
大家知道共享復(fù)用是中臺(tái)建設(shè)中很關(guān)鍵的一個(gè)詞胖翰，這也是為什么我們很多數(shù)據(jù)中臺(tái)下面會(huì)包括共享數(shù)據(jù)組，公共數(shù)據(jù)組等切厘。實(shí)際上共享復(fù)用并不是大數(shù)據(jù)發(fā)展的一個(gè)新詞泡态，在早期數(shù)據(jù)倉(cāng)庫(kù)（建立公共數(shù)據(jù)模型）、大數(shù)據(jù)平臺(tái)（研發(fā)一些組件化工具）的建設(shè)中迂卢，也是滿足共享復(fù)用的。
如上提到桐汤，數(shù)據(jù)中臺(tái)本身是組織而克，方法的升級(jí)與變革，更多是利用技術(shù)的進(jìn)步更好地支持這些升級(jí)變革怔毛，如果你當(dāng)前的建設(shè)還是數(shù)據(jù)平臺(tái)+數(shù)倉(cāng)（數(shù)據(jù)湖等）但是已經(jīng)具備這些方法和特性员萍，我個(gè)人認(rèn)為也是合理的。
數(shù)據(jù)中臺(tái)的建設(shè)也需要相應(yīng)的成本與門(mén)檻拣度，例如集群搭建碎绎、工具建設(shè)等螃壤。云計(jì)算的發(fā)展可以快速提供數(shù)據(jù)中臺(tái)建設(shè)的能力，例如企業(yè)無(wú)需自己搭建機(jī)房筋帖，使用云計(jì)算的彈性計(jì)算存儲(chǔ)能力以及豐富的工具奸晴，可以支撐數(shù)據(jù)中臺(tái)的快速搭建。
關(guān)于數(shù)據(jù)中臺(tái)的合理性也一直頗有爭(zhēng)議日麸，大型（集團(tuán)型）公司有相互獨(dú)立的子公司寄啼，數(shù)據(jù)之間不需要太多連接與共享，分別構(gòu)建自己子數(shù)據(jù)中臺(tái)也是合理的架構(gòu)代箭，集團(tuán)層面可以利用數(shù)據(jù)子中臺(tái)進(jìn)行數(shù)據(jù)上報(bào)解決集團(tuán)層面數(shù)據(jù)大盤(pán)墩划、統(tǒng)計(jì)、分析嗡综、財(cái)務(wù)等訴求乙帮。再比如一些小型公司是否需要在一開(kāi)始就按照數(shù)據(jù)中臺(tái)的架構(gòu)進(jìn)行建設(shè)，也是存有一些爭(zhēng)議极景。
數(shù)據(jù)中臺(tái)是2015年阿里提出來(lái)的雙中臺(tái)的概念其中的一個(gè)重要組成察净，阿里作為先驅(qū)者，提供了數(shù)據(jù)中臺(tái)架構(gòu)戴陡、以及非常多的建設(shè)思路供大家參考荡陷。從目前的建設(shè)效果來(lái)看噪伊，很多公司在數(shù)據(jù)中臺(tái)建設(shè)中有不錯(cuò)的成效（尤其是大中型公司），數(shù)據(jù)中臺(tái)整體思路得到了驗(yàn)證。但是數(shù)據(jù)中臺(tái)本身還算一個(gè)新鮮事務(wù)迈窟，這個(gè)新鮮事務(wù)目前還沒(méi)有標(biāo)準(zhǔn)答案，只有參考答案谎痢。
二终娃、數(shù)據(jù)中臺(tái)架構(gòu)與技術(shù)選型
1、數(shù)據(jù)中臺(tái)架構(gòu)核心組成
我認(rèn)為的數(shù)據(jù)中臺(tái)核心架構(gòu)包括四大組成部分延都，具體是：
底座是數(shù)據(jù)基礎(chǔ)平臺(tái)雷猪，包括數(shù)據(jù)采集平臺(tái)&計(jì)算平臺(tái)&存儲(chǔ)平臺(tái)，這些可以自建也可以使用云計(jì)算服務(wù)晰房；
中間部分兩大塊是中臺(tái)的公共數(shù)據(jù)區(qū)求摇，公共數(shù)據(jù)區(qū)包括數(shù)據(jù)倉(cāng)庫(kù)(數(shù)據(jù)湖) ，主要負(fù)責(zé)公共數(shù)據(jù)模型研發(fā)殊者，還包括統(tǒng)一指標(biāo)（標(biāo)簽）平臺(tái)与境，負(fù)責(zé)把模型組織成可以對(duì)外服務(wù)的數(shù)據(jù)，例如數(shù)據(jù)指標(biāo)猖吴、數(shù)據(jù)標(biāo)簽摔刁；
上層是數(shù)據(jù)應(yīng)用服務(wù)層，主要將公共數(shù)據(jù)區(qū)的數(shù)據(jù)對(duì)外包裝并提供服務(wù)海蔽，包括數(shù)據(jù)接口平臺(tái)共屈、多維查詢平臺(tái)绑谣，數(shù)據(jù)可視化平臺(tái)、數(shù)據(jù)分析平臺(tái)等拗引。
另外借宵，數(shù)據(jù)研發(fā)平臺(tái)和數(shù)據(jù)管理平臺(tái)貫穿始終，其中：
1）數(shù)據(jù)開(kāi)發(fā)平臺(tái)包括數(shù)據(jù)開(kāi)發(fā)的各類(lèi)工具組合寺擂，例如：數(shù)據(jù)管道工具（比如數(shù)據(jù)接入暇务、數(shù)據(jù)導(dǎo)出）、模型設(shè)計(jì)工具怔软、腳本開(kāi)發(fā)工具垦细、數(shù)據(jù)調(diào)度工具等。
2）數(shù)據(jù)管理平臺(tái)包括統(tǒng)一元數(shù)據(jù)管理挡逼、數(shù)據(jù)質(zhì)量管理括改、數(shù)據(jù)生命周期管理。針對(duì)數(shù)據(jù)全鏈路的數(shù)據(jù)管理家坎，保證數(shù)據(jù)中臺(tái)可以監(jiān)控?cái)?shù)據(jù)鏈路中的數(shù)據(jù)流向嘱能、數(shù)據(jù)使用效果、數(shù)據(jù)生命周期虱疏，以衡量數(shù)據(jù)的價(jià)值與成本惹骂。
以上是數(shù)據(jù)中臺(tái)的核心部分，數(shù)據(jù)中臺(tái)的組成也可以更加豐富做瞪，比如包括：數(shù)據(jù)資產(chǎn)平臺(tái)对粪、算法平臺(tái)等等。
在數(shù)據(jù)中臺(tái)的建設(shè)中一定不要忽視的是與業(yè)務(wù)的銜接装蓬，因?yàn)閿?shù)據(jù)來(lái)源于業(yè)務(wù)并最終應(yīng)用于業(yè)務(wù)著拭，在數(shù)據(jù)中臺(tái)的建設(shè)中需要有一系列的流程制度明確與業(yè)務(wù)的充分銜接，以保障數(shù)據(jù)源&數(shù)據(jù)產(chǎn)出的質(zhì)量牍帚。
2儡遮、數(shù)據(jù)中臺(tái)技術(shù)選型參考
在搭建數(shù)據(jù)中臺(tái)方面，基于開(kāi)源技術(shù)的選型暗赶，尤其是Hadoop生態(tài)圈有非常多的選擇鄙币，從數(shù)據(jù)整體流向來(lái)看各大層級(jí)的選型。
數(shù)據(jù)抽取層：sqoop和flume是兩大主流工具蹂随，其中sqoop作為結(jié)構(gòu)化數(shù)據(jù)（關(guān)系型數(shù)據(jù)庫(kù)）離線抽取爱榔，flume作為非結(jié)構(gòu)化日志接入；
數(shù)據(jù)存儲(chǔ)層：Hadoop文件系統(tǒng)Hdfs大家都比較了解糙及，而kafka作為流式數(shù)據(jù)總線應(yīng)用也非常廣泛；
計(jì)算與調(diào)度層筛欢，包括：
離線計(jì)算：離線計(jì)算主要是hive浸锨，spark唇聘，也有部分選用tez
實(shí)時(shí)計(jì)算：前些年storm，spark比較流行柱搜，最近幾年大家紛紛往Flink轉(zhuǎn)型
數(shù)據(jù)調(diào)度：除了像Airflow Azkaban Oozie等迟郎，易觀開(kāi)源的Dolphin-scheduler也非常活躍?
數(shù)據(jù)引擎層：也就是我們常說(shuō)的OLAP層聪蘸，我們看到這一層里的選擇非常多宪肖，就不一一列舉了，（業(yè)務(wù)需求帶動(dòng)技術(shù)進(jìn)步的典型健爬，選擇豐富主要是可以適配不同的數(shù)據(jù)應(yīng)用場(chǎng)景）控乾。從概念上講分為ROLAP、MOLAP以及兩者混搭娜遵。MOLAP提前做一些預(yù)計(jì)算蜕衡，以生成Cube的方式，達(dá)到空間換取查詢效率设拟；而ROLAP是即查即用慨仿，效率完全取決于查詢引擎的性能，我個(gè)人認(rèn)為從將來(lái)看纳胧，ROLAP的趨勢(shì)會(huì)更加明顯镰吆，因?yàn)闆](méi)有中間的數(shù)據(jù)鏈路。但目前看來(lái)跑慕，沒(méi)有一個(gè)統(tǒng)一的引擎足以支撐各類(lèi)數(shù)據(jù)場(chǎng)景（這或許是將來(lái)的機(jī)會(huì)~）万皿；
數(shù)據(jù)可視化層：比較主流的有Metabase、Superset相赁、Redash相寇，也可以選擇阿里、百度的一些開(kāi)源控件钮科。
在開(kāi)源技術(shù)的選擇里唤衫，我們看到各層里都有越來(lái)越多國(guó)內(nèi)開(kāi)源的工具（也充分體現(xiàn)了我們?cè)诖髷?shù)據(jù)技術(shù)領(lǐng)域的進(jìn)步）。除了以上列舉的這些绵脯，整個(gè)Hadoop生態(tài)圈的技術(shù)選擇非常多佳励，可以結(jié)合自己的實(shí)際場(chǎng)景選擇自己的架構(gòu)，在選型層面可以參照的一些原則蛆挫，比如：
是否有鮮活的成功案例赃承，優(yōu)先找自己類(lèi)似業(yè)務(wù)場(chǎng)景；
接口的開(kāi)放性悴侵，與其他組件的兼容性瞧剖；
社區(qū)活躍性度&發(fā)展趨勢(shì)。
當(dāng)然，數(shù)據(jù)中臺(tái)的選型不只是開(kāi)源技術(shù)抓于，開(kāi)源本身也不是完美的做粤，例如維護(hù)開(kāi)發(fā)成本較高，升級(jí)迭代不好把控捉撮，通過(guò)開(kāi)源技術(shù)去建立數(shù)據(jù)中臺(tái)還是有一定研發(fā)門(mén)檻怕品。
所以也有很多商業(yè)化的套件、以及基于云的數(shù)據(jù)組件可以選擇巾遭，包括數(shù)據(jù)采集肉康、處理、分析灼舍、數(shù)據(jù)可視化全過(guò)程吼和，國(guó)內(nèi)外有很多廠商都提供了豐富的選擇。尤其在大數(shù)據(jù)可視化這塊片仿，國(guó)內(nèi)有許多非常專業(yè)的商業(yè)套件纹安。
三、數(shù)據(jù)研發(fā)實(shí)踐
1砂豌、數(shù)據(jù)處理架構(gòu)
下面是一個(gè)簡(jiǎn)單的數(shù)據(jù)處理架構(gòu)演進(jìn)過(guò)程：
最早數(shù)據(jù)倉(cāng)庫(kù)的計(jì)算只支持批處理厢岂，通常是按天定時(shí)處理數(shù)據(jù)，在后期逐步進(jìn)化到準(zhǔn)實(shí)時(shí)阳距，本質(zhì)上還是批處理塔粒，只是處理頻度上得有提升，到小時(shí)級(jí)筐摘，或者15分鐘這種卒茬。
隨著技術(shù)不斷進(jìn)步，后期演化出一條新的流處理鏈路咖熟，這個(gè)鏈路和之前的批處理分別處理圃酵，然后在服務(wù)層面利用大數(shù)據(jù)的計(jì)算能力進(jìn)行合并，向外提供離線+實(shí)時(shí)數(shù)據(jù)服務(wù)馍管，這也是著名的lambda架構(gòu)郭赐。
最近幾年隨著Flink等技術(shù)的發(fā)展，有一個(gè)趨勢(shì)是流批一體化确沸，在接入層統(tǒng)一采用流式接入捌锭，計(jì)算層采用統(tǒng)一套框架支持實(shí)時(shí)計(jì)算+離線計(jì)算，批處理僅僅作為流處理的一個(gè)特殊場(chǎng)景進(jìn)行支持罗捎。整體上可以做到流處理观谦、批處理的自由切換。
流計(jì)算和批處理在需求場(chǎng)景上有一些本質(zhì)區(qū)別桨菜，前者主要用于支持線上業(yè)務(wù)場(chǎng)景（比如互聯(lián)網(wǎng)的推薦豁状、搜索捉偏、風(fēng)控等），而批處理更多是支持離線統(tǒng)計(jì)分析替蔬。
日出而作告私，日落而息，大家針對(duì)大數(shù)據(jù)的統(tǒng)計(jì)分析習(xí)慣不會(huì)發(fā)生根本性變化承桥，最簡(jiǎn)單的T+1批處理方式也還是數(shù)據(jù)應(yīng)用必不可少的環(huán)節(jié)。在使用同一套架構(gòu)上根悼，由于數(shù)據(jù)源變化&維度變化的多樣性凶异，批處理往往面臨一些復(fù)雜場(chǎng)景，這是采用同一套框架上的一些難點(diǎn)挤巡，充分支持好批處理也是將來(lái)流批一體框架的發(fā)展方向剩彬。
2、數(shù)倉(cāng)分層與主題分類(lèi)
1）數(shù)倉(cāng)分層
與傳統(tǒng)ETL不同的矿卑，我們采用的是ELT的數(shù)據(jù)架構(gòu)喉恋，較為適合在互聯(lián)網(wǎng)，總體分為業(yè)務(wù)數(shù)據(jù)層母廷、公共數(shù)據(jù)層轻黑、應(yīng)用數(shù)據(jù)層三大層次。
① 業(yè)務(wù)數(shù)據(jù)層（ODS層）
原始數(shù)據(jù)經(jīng)過(guò)緩沖層（STG）的加載琴昆，會(huì)進(jìn)入數(shù)倉(cāng)的業(yè)務(wù)數(shù)據(jù)層氓鄙，這一層采用范式建模，基本保持與數(shù)據(jù)源完全一致的結(jié)構(gòu)业舍，對(duì)于變化的數(shù)據(jù)抖拦，使用數(shù)據(jù)拉鏈加工與存儲(chǔ)。
這一層選用范式建模舷暮，是指保持源系統(tǒng)（例如關(guān)系數(shù)據(jù)庫(kù)）的范式結(jié)構(gòu)态罪，好處主要是：
一次性接入數(shù)據(jù)源結(jié)構(gòu)，針對(duì)需求的變動(dòng)不用頻繁去與數(shù)據(jù)源對(duì)接下面；
便于業(yè)務(wù)研發(fā)更好地理解數(shù)據(jù)复颈，同時(shí)是也是公司的原始數(shù)據(jù)資產(chǎn)。
針對(duì)變化數(shù)據(jù)采用數(shù)據(jù)拉鏈的好處：
保留歷史數(shù)據(jù)的同時(shí)诸狭，盡可能少占用存儲(chǔ)空間券膀，長(zhǎng)期來(lái)看，拉鏈存儲(chǔ)比起每天全量保留歷史節(jié)約大概90%空間驯遇；
快速芹彬、高效地獲取歷史任意一天業(yè)務(wù)系統(tǒng)的快照數(shù)據(jù)。
② 公共數(shù)據(jù)層（包括公共明細(xì)層DWD叉庐，公共匯總層DWS）
公共數(shù)據(jù)層是數(shù)據(jù)倉(cāng)庫(kù)的核心層舒帮，是整個(gè)數(shù)倉(cāng)中使用率最高的，這一層主要采用的維度建模思路進(jìn)行設(shè)計(jì)，類(lèi)型包括事務(wù)事實(shí)玩郊、周期快照肢执、累積快照。同時(shí)為了方便下游對(duì)數(shù)據(jù)的使用译红，我們會(huì)設(shè)計(jì)一系列的寬表模型预茄，將不同業(yè)務(wù)過(guò)程中的事實(shí)進(jìn)行統(tǒng)一整合，包括縱向整合&橫向整合侦厚；對(duì)于商品耻陕、用戶主數(shù)據(jù)類(lèi)可能分散在不同的源系統(tǒng)中采用縱向整合；橫向整合主要包括交易刨沦、內(nèi)容等行為數(shù)據(jù)不同業(yè)務(wù)過(guò)程的整合诗宣，比如：用戶（用戶信息、注冊(cè)信息）購(gòu)買(mǎi)（下單想诅、支付召庞、結(jié)算、覆約来破、完成）商品（商品信息篮灼，商家信息，等）讳癌，我們會(huì)把訂單流轉(zhuǎn)業(yè)務(wù)過(guò)程整合放到一張明細(xì)表里穿稳，同時(shí)會(huì)研發(fā)一些基于用戶、或者商品視角的輕度匯總寬表晌坤。
寬表非常便于理解和易用逢艘，下游應(yīng)用調(diào)用也方便。我們之前也做過(guò)一些統(tǒng)計(jì)骤菠，在調(diào)用分布來(lái)看它改，寬表的使用占到70%以上。
雖然寬表的使用在數(shù)倉(cāng)建模中非常普遍商乎，但是也有一些缺陷：
數(shù)據(jù)冗余較多央拖，在存儲(chǔ)、計(jì)算鹉戚、調(diào)用較為占資源鲜戒，建議盡量還是按場(chǎng)景去使用；
寬表整合的信息較多抹凳，數(shù)據(jù)權(quán)限不好控制遏餐。建議可以根據(jù)需求，在有限范圍內(nèi)開(kāi)放整體寬表權(quán)限赢底，或者通過(guò)視圖或者子表的方式建立不同權(quán)限的數(shù)據(jù)范圍失都，適應(yīng)不同組織的需求柏蘑；
寬表通常依賴比較多，會(huì)影響數(shù)據(jù)的產(chǎn)出的時(shí)效粹庞。
③ 應(yīng)用數(shù)據(jù)層（DWA層）
顧名思義咳焚，就是偏向應(yīng)用的數(shù)據(jù)加工，也可以叫集市層庞溜，這一層的設(shè)計(jì)可以相對(duì)靈活革半，貼近應(yīng)用即可，總體設(shè)計(jì)思想仍然可以按維度建模思想為主流码。
2）主題分類(lèi)
數(shù)倉(cāng)架構(gòu)的數(shù)據(jù)分類(lèi)兩個(gè)視角督惰，包括主題視角與業(yè)務(wù)視角。
① 數(shù)據(jù)主題視角
最重要的一個(gè)視角旅掂，也就是咱們經(jīng)常提到的數(shù)倉(cāng)主題，主題是將企業(yè)的業(yè)務(wù)進(jìn)行宏觀數(shù)據(jù)抽象访娶，是數(shù)據(jù)倉(cāng)庫(kù)里數(shù)據(jù)的主要組織形式商虐，劃分方法如下：
參照波特價(jià)值鏈，分析企業(yè)本身經(jīng)營(yíng)的業(yè)務(wù)（基本活動(dòng)崖疤、支持型活動(dòng)）秘车，分別對(duì)應(yīng)哪些數(shù)據(jù)；
參照業(yè)界通用模型劫哼，例如像IBM叮趴、TD等針對(duì)大型行業(yè)（如電信、金融权烧、零售）有一些數(shù)據(jù)主題的通用劃分方法眯亦；
對(duì)企業(yè)的內(nèi)部數(shù)據(jù)（線上數(shù)據(jù)模塊、數(shù)據(jù)字典）進(jìn)行摸底般码，確認(rèn)對(duì)應(yīng)到哪些主題妻率。
劃分結(jié)果會(huì)按照三個(gè)層級(jí)：主題域--》主題--》子主題。
第一級(jí)是主題域板祝，針對(duì)相對(duì)穩(wěn)定的主題進(jìn)行合并宫静，歸攏到主題域，利于數(shù)據(jù)的理解與建立全局的數(shù)據(jù)資產(chǎn)目錄券时；
第二級(jí)是主題孤里；
第三級(jí)是子主題，主要針對(duì)有些主題下分類(lèi)較多橘洞，比如供應(yīng)鏈主題下會(huì)包含采購(gòu)捌袜、倉(cāng)儲(chǔ)、配送等子主題震檩。
數(shù)據(jù)主題劃分建議完全互斥琢蛤，不建議重復(fù)蜓堕。
② 數(shù)據(jù)業(yè)務(wù)視角
數(shù)據(jù)業(yè)務(wù)域是根據(jù)企業(yè)經(jīng)營(yíng)的具體業(yè)務(wù)，結(jié)合企業(yè)的組織架構(gòu)進(jìn)行劃分博其，層次和分類(lèi)可以相對(duì)靈活套才，子分類(lèi)可以允許重復(fù)，因?yàn)閮蓷l不同的業(yè)務(wù)域可能經(jīng)營(yíng)相同的業(yè)務(wù)慕淡，例如電商背伴、內(nèi)容下都有會(huì)員這個(gè)業(yè)務(wù)。
上圖是一個(gè)比較典型的內(nèi)容+電商的數(shù)據(jù)主題與業(yè)務(wù)分類(lèi)峰髓。
以上一橫一縱兩個(gè)視角傻寂，將數(shù)據(jù)進(jìn)行更好的歸類(lèi)，在數(shù)據(jù)模型設(shè)計(jì)中會(huì)打上相應(yīng)分類(lèi)標(biāo)簽携兵，從而讓數(shù)據(jù)研發(fā)&數(shù)據(jù)使用人員統(tǒng)一認(rèn)知疾掰。以上兩種分類(lèi)方式主要應(yīng)用于核心的公共數(shù)據(jù)層。
業(yè)務(wù)數(shù)據(jù)層徐紧、應(yīng)用數(shù)據(jù)層并不需要遵循以上分類(lèi)規(guī)則静檬，比如業(yè)務(wù)數(shù)據(jù)層（ODS層）是按照數(shù)據(jù)源進(jìn)行分類(lèi)，應(yīng)用數(shù)據(jù)層（DWA）是根據(jù)具體的應(yīng)用進(jìn)行分類(lèi)并级。
3拂檩、數(shù)據(jù)研發(fā)流程
除了合理的架構(gòu)之外，數(shù)據(jù)研發(fā)的流程也很重要嘲碧，總體流程如下：
包括需求分析/數(shù)據(jù)調(diào)研稻励、數(shù)據(jù)模型設(shè)計(jì)、數(shù)據(jù)開(kāi)發(fā)&測(cè)試愈涩、上線發(fā)布等流程望抽。
在之前數(shù)據(jù)中臺(tái)的核心架構(gòu)提到不閉門(mén)造車(chē)，數(shù)據(jù)研發(fā)需要與業(yè)務(wù)部門(mén)充分銜接钠署，比如在數(shù)據(jù)調(diào)研中要與業(yè)務(wù)研發(fā)同學(xué)進(jìn)行線上數(shù)據(jù)&結(jié)構(gòu)訪談糠聪；在數(shù)據(jù)開(kāi)發(fā)中，與分析&業(yè)務(wù)同學(xué)共同確認(rèn)標(biāo)準(zhǔn)口徑谐鼎；在數(shù)據(jù)研發(fā)完成后對(duì)數(shù)據(jù)使用方進(jìn)行數(shù)據(jù)發(fā)布與培訓(xùn)舰蟆。
以上流程中，除了需求調(diào)研狸棍，其他部分我們都進(jìn)行了線上化身害，包括數(shù)據(jù)的模型設(shè)計(jì)，早期我們會(huì)手寫(xiě)mapping文檔草戈，后期我們逐步把mapping文檔進(jìn)行了線上化塌鸯，整體的數(shù)據(jù)模型設(shè)計(jì)通過(guò)模型設(shè)計(jì)工具完成，包括從概念模型唐片、邏輯模型到物理模型的設(shè)計(jì)丙猬。模型設(shè)計(jì)完成后涨颜，可以一鍵生成數(shù)據(jù)知識(shí)文檔。
4茧球、數(shù)據(jù)生命周期管理
數(shù)據(jù)研發(fā)完成庭瑰，還需要關(guān)注數(shù)據(jù)生命周期，一方面數(shù)據(jù)量的飛速增長(zhǎng)不僅僅需要占用大量存儲(chǔ)抢埋，比如像自建機(jī)房弹灭，會(huì)涉及擴(kuò)充機(jī)柜、機(jī)房揪垄，往往會(huì)面臨一些瓶頸穷吮；另外一方面，大量的數(shù)據(jù)會(huì)降低數(shù)據(jù)的計(jì)算效率饥努，所以從數(shù)據(jù)的生成開(kāi)始捡鱼，我們就需要考慮生命周期，并且結(jié)合數(shù)據(jù)的使用情況制定數(shù)據(jù)歸檔酷愧、數(shù)據(jù)銷(xiāo)毀等管理策略堰汉。
針對(duì)數(shù)據(jù)已經(jīng)占用了大量存儲(chǔ)資源，可以采取一系列措施進(jìn)行成本控制伟墙，例如：
降存量：通過(guò)數(shù)據(jù)壓縮技術(shù)、降副本等方式滴铅，以及在數(shù)據(jù)模型更合理的設(shè)計(jì)戳葵，將存量數(shù)據(jù)存儲(chǔ)降低；
控增量：根據(jù)數(shù)據(jù)重要性汉匙，可恢復(fù)性等考量角度拱烁，確認(rèn)數(shù)據(jù)的保留周期，并根據(jù)周期自動(dòng)歸檔或刪除噩翠；
攤成本：可以通過(guò)一些算法戏自，比如數(shù)據(jù)調(diào)用分布、需求來(lái)源等伤锚，把成本分?jǐn)偟较鄳?yīng)業(yè)務(wù)部門(mén)擅笔，讓相關(guān)業(yè)務(wù)部門(mén)關(guān)注到成本。
數(shù)據(jù)安全也是數(shù)據(jù)生命周期管理重的一個(gè)重要課題屯援，比如針對(duì)用戶敏感信息猛们，需要在接入時(shí)考慮如何加密。一種做法是通過(guò)一個(gè)獨(dú)立的物理集群對(duì)敏感數(shù)據(jù)進(jìn)行隔離與強(qiáng)管控狞洋；數(shù)據(jù)使用中弯淘，也需要將數(shù)據(jù)劃分不同的安全或敏感等級(jí)（例如有些財(cái)務(wù)數(shù)據(jù)的非常敏感，需要謹(jǐn)慎對(duì)外開(kāi)放）吉懊，根據(jù)不同的等級(jí)設(shè)定不同的訪問(wèn)審批機(jī)制庐橙。另外假勿，在數(shù)據(jù)歸檔、銷(xiāo)毀也需要制定好配套的安全管理措施态鳖，避免安全風(fēng)險(xiǎn)转培。
5、數(shù)據(jù)質(zhì)量管理
數(shù)據(jù)質(zhì)量管理主要包括3個(gè)角度：準(zhǔn)確性郁惜、及時(shí)性堡距、一致性。
管理的環(huán)節(jié)包括：事前兆蕉、事中羽戒、事后、以及事故管理虎韵。
針對(duì)數(shù)據(jù)運(yùn)維的告警發(fā)送易稠，傳統(tǒng)的方式主要是短信、郵件包蓝、電話驶社；隨著移動(dòng)辦公工具功能逐步的強(qiáng)大，可以將運(yùn)維告警以數(shù)據(jù)接口的方式與這些工具進(jìn)行對(duì)接测萎，將告警發(fā)送到企業(yè)內(nèi)部的即時(shí)通訊工具亡电。
6、數(shù)據(jù)應(yīng)用架構(gòu)
數(shù)據(jù)研發(fā)最終還是需要賦能到業(yè)務(wù)&應(yīng)用硅瞧，一個(gè)合理的數(shù)據(jù)應(yīng)用架構(gòu)是非常關(guān)鍵的份乒，這張圖是一個(gè)應(yīng)用架構(gòu)的簡(jiǎn)圖參考：
從數(shù)據(jù)的流向上分：
數(shù)據(jù)倉(cāng)庫(kù)（或者數(shù)據(jù)湖）：負(fù)責(zé)原始數(shù)據(jù)的計(jì)算，主要將數(shù)據(jù)落地到HDFS腕唧；
數(shù)據(jù)引擎層：數(shù)據(jù)加工完成之后或辖，會(huì)將數(shù)據(jù)推送到不同的引擎中，這一層之前提到選擇非常多枣接，可以根據(jù)自己的場(chǎng)景選擇一個(gè)混搭組合颂暇，比如我們目前選擇的有Presto，Kylin但惶，Druid耳鸯，Mysql；
數(shù)據(jù)服務(wù)層：通過(guò)統(tǒng)一化的SQL調(diào)用服務(wù)膀曾，屏蔽底層不同的數(shù)據(jù)引擎片拍，為上層統(tǒng)一查詢提供標(biāo)準(zhǔn)接口；
指標(biāo)平臺(tái)：指標(biāo)平臺(tái)是一個(gè)非常關(guān)鍵的產(chǎn)品妓肢，定位于銜接數(shù)據(jù)研發(fā)與數(shù)據(jù)應(yīng)用捌省，包括指標(biāo)的標(biāo)準(zhǔn)定義、邏輯碉钠、計(jì)算方式纲缓、分類(lèi)等各項(xiàng)內(nèi)容卷拘。指標(biāo)分類(lèi)上我們分為標(biāo)準(zhǔn)指標(biāo)(指標(biāo)口徑經(jīng)過(guò)審核過(guò))、以及非標(biāo)準(zhǔn)指標(biāo)祝高；
多維查詢：這是我們的一個(gè)即席查詢工具栗弟，查詢的數(shù)據(jù)主要來(lái)源指標(biāo)平臺(tái)，可以選定不同的指標(biāo)維度組合進(jìn)行結(jié)果呈現(xiàn)工闺，用戶可以一次性查詢得到結(jié)果乍赫，也可以將查詢結(jié)果配置成可視化的報(bào)表進(jìn)行固化。
中間是統(tǒng)一元數(shù)據(jù)管理：對(duì)整個(gè)架構(gòu)中可以對(duì)外提供服務(wù)的元數(shù)據(jù)進(jìn)行統(tǒng)一管理（包括數(shù)倉(cāng)的元數(shù)據(jù)陆蟆、查詢引擎的元數(shù)據(jù)雷厂、指標(biāo)元數(shù)據(jù)等），以及監(jiān)控這些元數(shù)據(jù)的調(diào)用情況叠殷。
最右側(cè)是權(quán)限管理：權(quán)限管理關(guān)乎到數(shù)據(jù)安全改鲫，在設(shè)計(jì)上需要考慮周全，比如針對(duì)表級(jí)林束、指標(biāo)級(jí)像棘、維度級(jí)別都可以進(jìn)行控制；同時(shí)產(chǎn)品層面也需要靈活配置權(quán)限審批級(jí)別與人員壶冒。
在面向用戶使用層面缕题，我們主要開(kāi)放的是多維查詢&可視化，用戶通過(guò)多維去查詢各類(lèi)指標(biāo)&維度數(shù)據(jù)胖腾，得到數(shù)據(jù)結(jié)果列表避除，再選擇可視化配置面板，完成各類(lèi)圖表胸嘁、表格的自主配置，并發(fā)布到個(gè)人看板或者業(yè)務(wù)大盤(pán)目錄里凉逛。也可以將配置的數(shù)據(jù)看板進(jìn)行靈活組合性宏，定制成一個(gè)小型的數(shù)據(jù)產(chǎn)品。
7状飞、數(shù)據(jù)ROI評(píng)估
在數(shù)據(jù)研發(fā)中毫胜，也要考量數(shù)據(jù)的ROI，下面是一個(gè)簡(jiǎn)單的ROI模型：
根據(jù)活躍度（調(diào)用次數(shù)等）诬辈、覆蓋度（通過(guò)血緣關(guān)系找出依賴數(shù)量）酵使，以及貢獻(xiàn)度（依賴數(shù)據(jù)的重要等級(jí)）來(lái)確認(rèn)數(shù)據(jù)的價(jià)值。同時(shí)會(huì)評(píng)估數(shù)據(jù)的成本指數(shù)（例如計(jì)算成本焙糟、存儲(chǔ)成本等）口渔。
通過(guò)以上兩者相除，綜合得到數(shù)據(jù)的ROI穿撮，針對(duì)ROI可以將數(shù)據(jù)分為不同等級(jí)缺脉，并相應(yīng)進(jìn)行數(shù)據(jù)治理痪欲。比如針對(duì)價(jià)值低，成本高的數(shù)據(jù)攻礼，可以考慮下線等业踢。
數(shù)據(jù)研發(fā)趨勢(shì)&關(guān)注點(diǎn)
提效：目前借助工具的研發(fā)可以把絕大部分?jǐn)?shù)據(jù)研發(fā)工作線上化，將來(lái)借助AI等能力礁扮，實(shí)現(xiàn)數(shù)據(jù)處理中包括開(kāi)發(fā)知举、運(yùn)維的自動(dòng)化，提升處理效率太伊；
靈活：流批一體化雇锡，包括流處理與批處理自由切換，之前已經(jīng)提到過(guò)倦畅，個(gè)人認(rèn)為也是一個(gè)發(fā)展的趨勢(shì)遮糖；
降本：數(shù)據(jù)研發(fā)鏈路的成本控制，在數(shù)據(jù)建設(shè)的早期通常不太引起關(guān)注叠赐，隨著數(shù)據(jù)量不斷的積累欲账，往往存儲(chǔ)、計(jì)算成本成為瓶頸芭概。針對(duì)數(shù)據(jù)建設(shè)成本需提前考慮赛不；
算力：我們看到Google，IBM和阿里都在研究量子計(jì)算罢洲，將來(lái)的數(shù)據(jù)中間層（比如數(shù)倉(cāng)的公共模型）是否可以考慮虛擬化（比如只保留規(guī)則&數(shù)據(jù)結(jié)構(gòu)）踢故，具體數(shù)據(jù)內(nèi)容在應(yīng)用發(fā)起時(shí)，即調(diào)即用惹苗，更多時(shí)候可以不需要占用存儲(chǔ)資源殿较。算力的不斷提升，有可能會(huì)顛覆一些傳統(tǒng)數(shù)據(jù)建設(shè)的思路桩蓉。
>?>?>?>
Q&A
Q1：請(qǐng)問(wèn)貴公司如何壓縮數(shù)據(jù)淋纲？又如何刪除副本呢？
A：我們主要使用parquet +snappy壓縮院究；另外洽瞬，如果發(fā)現(xiàn)壓縮率較低，可以通過(guò)排序來(lái)調(diào)整數(shù)據(jù)分布业汰，降副本可以了解下EC糾刪碼技術(shù)伙窃。
Q2：對(duì)于批處理效率低的問(wèn)題該怎么處理？
A：具體可以看什么原因?qū)е卵幔绻钦w效率低为障，可以看資源利用是否集中，如果集中，可以考慮任務(wù)分等級(jí)錯(cuò)峰進(jìn)行隊(duì)列隔離等产场；如果是個(gè)別任務(wù)問(wèn)題鹅髓，那就要考慮邏輯和加工鏈路是否有問(wèn)題，比如說(shuō)可以全量改增量處理京景，邏輯參數(shù)優(yōu)化窿冯；如果傾斜導(dǎo)致可以針對(duì)具體傾斜原因采取不同的優(yōu)化方式。
Q3：請(qǐng)問(wèn)基于Hadoop生態(tài)組件構(gòu)建DW存在哪些不足确徙？與MPP比較醒串？
A：如果之前一直是按照傳統(tǒng)商業(yè)套件進(jìn)行建設(shè)，可能在數(shù)據(jù)不能直接update這個(gè)點(diǎn)上不習(xí)慣鄙皇。另外大部分技術(shù)都是經(jīng)歷反復(fù)演進(jìn)才達(dá)到穩(wěn)定的芜赌，所以最好能選用成熟組件。與MPP比較伴逸，MPP橫向擴(kuò)充到一定規(guī)牟颍可能會(huì)有瓶頸，而Hadoop集群可以靈活擴(kuò)充節(jié)點(diǎn)來(lái)增加算力错蝴，比如現(xiàn)在國(guó)內(nèi)單集群幾千臺(tái)洲愤、上萬(wàn)臺(tái)的場(chǎng)景都有。
Q4：數(shù)據(jù)中臺(tái)建設(shè)團(tuán)隊(duì)的KPI怎么評(píng)定顷锰？
A：需求響應(yīng)效率柬赐、前臺(tái)數(shù)據(jù)調(diào)用效率、數(shù)據(jù)覆蓋度官紫、數(shù)據(jù)準(zhǔn)確性肛宋、及時(shí)性、用戶滿意度束世、成本控制效果等酝陈。
Q5：您對(duì)HATP在行業(yè)應(yīng)用趨勢(shì)和方向如何看？
A：HATP我個(gè)人沒(méi)有研究毁涉；如果HATP能解跨不同環(huán)境之間的數(shù)據(jù)連通性沉帮，應(yīng)該可以替代一些當(dāng)前大數(shù)據(jù)的應(yīng)用場(chǎng)景。
Q6: 對(duì)于搭建數(shù)據(jù)中臺(tái)的生態(tài)工具薪丁，有什么建議嗎？
A：文中有一些常規(guī)的選型（主要調(diào)研了當(dāng)前一些主流工具）馅精，基本上都是經(jīng)過(guò)了驗(yàn)證過(guò)严嗜，更多還是找適合自己場(chǎng)景的工具。
Q7：請(qǐng)問(wèn)現(xiàn)在對(duì)提效方面有什么好的開(kāi)源的線上工具嗎洲敢？
A：建模漫玄、開(kāi)發(fā)中的一些提效小工具成本不高可以考慮自研，但是復(fù)雜一些例如任務(wù)調(diào)度完全可以找到成熟的開(kāi)源工具。
Q8：范式建模層睦优，是否會(huì)形成統(tǒng)一數(shù)據(jù)模型渗常，即one model？
A：不會(huì)汗盘，范式主要應(yīng)用在業(yè)務(wù)數(shù)據(jù)層皱碘，原則上我們不對(duì)外提供這一層的服務(wù)，主要用于加工DW層隐孽。
Q9：業(yè)務(wù)數(shù)據(jù)層癌椿，如果設(shè)計(jì)成拉鏈表，抽取數(shù)據(jù)是肯定是做更新插入操作菱阵，增量和存量數(shù)據(jù)做比對(duì)踢俄，很耗性能，特別是存量數(shù)據(jù)是海量的情況下晴及，請(qǐng)問(wèn)下如何處理此類(lèi)問(wèn)題都办？
A：大表拉鏈效率慢優(yōu)化可以考慮減少計(jì)算數(shù)據(jù)量，例如把穩(wěn)態(tài)數(shù)據(jù)進(jìn)行歸檔虑稼，不參與計(jì)算琳钉。或者可以嘗試通過(guò)冷熱數(shù)據(jù)分離动雹，再視圖合并槽卫。
Q10：請(qǐng)問(wèn)mapping是建模管理的？是否用用ERWIN或者PD工具吧胰蝠？
A：以前我們是通過(guò)excel模版建模并生成mapping文檔歼培，現(xiàn)在只是把這個(gè)模版搬到線上，這個(gè)小工具可以連通到建表茸塞，并且發(fā)布到數(shù)據(jù)知識(shí)系統(tǒng)躲庄。我們沒(méi)有使用ERWIN或者PD，模型之間的關(guān)系會(huì)輔助用一些思維導(dǎo)圖軟件钾虐。
Q11：為什么要基于Hive建數(shù)倉(cāng)噪窘？它不支持索引、更新效扫、事務(wù)倔监。
A：Hive 搭建數(shù)倉(cāng)當(dāng)前來(lái)看處理效率、穩(wěn)定性都是經(jīng)過(guò)驗(yàn)證過(guò)的菌仁。更新可以通過(guò)高效的insert over write來(lái)解決浩习。
Q12：數(shù)據(jù)湖是什么技術(shù)？跟數(shù)倉(cāng)的關(guān)系是啥济丘？
A：跟數(shù)倉(cāng)是兩個(gè)獨(dú)立的概念谱秽，通過(guò)直接接入源系統(tǒng)的原始數(shù)據(jù)（包括結(jié)構(gòu)化洽蛀、非結(jié)構(gòu)化），利用大數(shù)據(jù)強(qiáng)大的計(jì)算能力疟赊，直接將數(shù)據(jù)服務(wù)于應(yīng)用郊供。主要為縮短傳統(tǒng)數(shù)倉(cāng)的中間建模與處理（ETL）過(guò)程，目前有看到一些云+數(shù)據(jù)湖的方案近哟。
Q13：業(yè)務(wù)元數(shù)據(jù)驮审、技術(shù)元數(shù)據(jù)在中臺(tái)中如何統(tǒng)一對(duì)應(yīng)管理？
A：通過(guò)統(tǒng)一元數(shù)據(jù)管理工具例如指標(biāo)元數(shù)據(jù)管理工具椅挣、數(shù)據(jù)表元數(shù)據(jù)管理工具头岔，可以將業(yè)務(wù)元數(shù)據(jù)對(duì)應(yīng)到技術(shù)元數(shù)據(jù)，建議可以在工具中設(shè)置一些強(qiáng)規(guī)范鼠证，來(lái)保證統(tǒng)一對(duì)應(yīng)峡竣。
Q14：使用kylin做olap很不靈活，貴公司是使用kylin嗎?您認(rèn)為kylin主要是用于什么場(chǎng)景量九？
A：是的适掰，大部分場(chǎng)景使用的是kylin，kylin主要使用用業(yè)務(wù)形態(tài)相對(duì)穩(wěn)定荠列、計(jì)算的維度指標(biāo)矩陣相對(duì)固定类浪、原始數(shù)據(jù)量較大且有去重類(lèi)指標(biāo)計(jì)算的情況。通過(guò)一些模型設(shè)計(jì)和技術(shù)手段可以相對(duì)降低kylin靈活性差的問(wèn)題肌似，比如：模型設(shè)計(jì)的抽象化费就、底層使用視圖、使用Hybrids進(jìn)行橋接等川队。
Q15：貴司數(shù)據(jù)治理工具用的哪個(gè)力细？
A：目前沒(méi)有專門(mén)的工具，從一開(kāi)始保持?jǐn)?shù)據(jù)的規(guī)范化建設(shè)固额、合理的架構(gòu)眠蚂，可以降低治理的工作；如果要治理可以考慮通過(guò)全鏈條元數(shù)據(jù)管理過(guò)程配合數(shù)據(jù)治理斗躏。
Q16：所講的體系如何保障數(shù)據(jù)業(yè)務(wù)化的逝慧、端到端的實(shí)時(shí)應(yīng)用？
A：我們目前的場(chǎng)景還不多啄糙，可以了解其他互聯(lián)網(wǎng)場(chǎng)景豐富一些方案笛臣。如果是支撐端到端的實(shí)時(shí)應(yīng)用，要保證穩(wěn)定性需要在服務(wù)層有多種調(diào)用方案隧饼，例如針對(duì)同一個(gè)應(yīng)用沈堡，可以有常規(guī)API調(diào)用以及降級(jí)API。
Q17：關(guān)于指標(biāo)體庫(kù)如何設(shè)計(jì)桑李？以及ad-hoc查詢場(chǎng)景的支持踱蛀。
A：我們預(yù)計(jì)在5、6月會(huì)組織一次《數(shù)據(jù)模型設(shè)計(jì)實(shí)踐》以及《指標(biāo)體系與ad-doc》的直播分享贵白，會(huì)有專門(mén)負(fù)責(zé)這塊數(shù)據(jù)架構(gòu)的小伙伴來(lái)給大家介紹率拒。
