前言
2015年阿里巴巴提出“大中臺(tái)脐帝,小前臺(tái)”的中臺(tái)戰(zhàn)略堵腹,通過(guò)實(shí)施中臺(tái)戰(zhàn)略找到能夠快速應(yīng)對(duì)外界變化,整合阿里各種基礎(chǔ)能力旱易,高效支撐業(yè)務(wù)創(chuàng)新的機(jī)制阀坏。阿里巴巴中臺(tái)戰(zhàn)略最早從業(yè)務(wù)中臺(tái)和數(shù)據(jù)中臺(tái)建設(shè)開(kāi)始释液,采用了雙中臺(tái)的建設(shè)模式误债,到后來(lái)發(fā)展出了移動(dòng)中臺(tái)、技術(shù)中臺(tái)和研發(fā)中臺(tái)等登淘,這些中臺(tái)的能力綜合在一起就構(gòu)成了阿里巴巴企業(yè)級(jí)數(shù)字化能力封字。傳統(tǒng)企業(yè)在技術(shù)能力阔籽、組織架構(gòu)和商業(yè)模式等方面與阿里巴巴存在非常大的差異,在實(shí)施中臺(tái)戰(zhàn)略時(shí)是否可以照搬阿里巴巴中臺(tái)建設(shè)模式绅这?傳統(tǒng)企業(yè)中臺(tái)數(shù)字化轉(zhuǎn)型需要提升哪些方面的基本能力呢证薇?下面我們一起來(lái)分析分析浑度。
00 中臺(tái)能力總體框架
中臺(tái)建設(shè)過(guò)程從根本上講是企業(yè)自身綜合能力持續(xù)優(yōu)化和提升的過(guò)程鸦概,最終目標(biāo)是實(shí)現(xiàn)企業(yè)級(jí)業(yè)務(wù)能力復(fù)用和不同業(yè)務(wù)板塊能力的聯(lián)通和融合窗市。
企業(yè)級(jí)的綜合能力,一般包含以下四種:業(yè)務(wù)能力、數(shù)據(jù)能力扎拣、技術(shù)能力和組織能力二蓝,如圖2-1所示指厌。
▲圖2-1 企業(yè)中臺(tái)數(shù)字化轉(zhuǎn)型基本能力框架
業(yè)務(wù)能力主要體現(xiàn)為對(duì)中臺(tái)領(lǐng)域模型的構(gòu)建能力踩验,對(duì)領(lǐng)域模型的持續(xù)演進(jìn)能力,企業(yè)級(jí)業(yè)務(wù)能力的復(fù)用拳昌、融合和產(chǎn)品化運(yùn)營(yíng)能力炬藤,以及快速響應(yīng)市場(chǎng)的商業(yè)模式創(chuàng)新能力碴里。
數(shù)據(jù)能力主要體現(xiàn)為企業(yè)級(jí)的數(shù)據(jù)融合能力咬腋、數(shù)據(jù)服務(wù)能力以及對(duì)商業(yè)模式創(chuàng)新和企業(yè)數(shù)字化運(yùn)營(yíng)的支撐能力帝火。
技術(shù)能力主要體現(xiàn)為對(duì)設(shè)備、網(wǎng)絡(luò)等基礎(chǔ)資源的自動(dòng)化運(yùn)維和管理能力蠢壹,對(duì)微服務(wù)等分布式技術(shù)架構(gòu)體系化的設(shè)計(jì)图贸、開(kāi)發(fā)和架構(gòu)演進(jìn)能力疏日。
組織能力主要體現(xiàn)為一體化的研發(fā)運(yùn)營(yíng)能力和敏捷的中臺(tái)產(chǎn)品化運(yùn)營(yíng)能力撒汉,還體現(xiàn)為快速建設(shè)自適應(yīng)的組織架構(gòu)和中臺(tái)建設(shè)方法體系等方面的能力睬辐。
這些能力相輔相成溯饵,融合在一起為企業(yè)中臺(tái)數(shù)字化轉(zhuǎn)型發(fā)揮最大效能。接下來(lái)隘谣,我們一起來(lái)看看在不同的領(lǐng)域應(yīng)該如何實(shí)現(xiàn)這些能力寻歧。
01 業(yè)務(wù)中臺(tái)
企業(yè)所有能力建設(shè)都是服務(wù)于前臺(tái)一線業(yè)務(wù)的熄求。從這個(gè)角度來(lái)講,所有中臺(tái)應(yīng)該都可以稱為業(yè)務(wù)中臺(tái)忘衍。但我們所說(shuō)的業(yè)務(wù)中臺(tái)一般是指支持企業(yè)線上核心業(yè)務(wù)的中臺(tái)枚钓。
業(yè)務(wù)中臺(tái)承載了企業(yè)核心關(guān)鍵業(yè)務(wù)搀捷,是企業(yè)的核心業(yè)務(wù)能力嫩舟,也是企業(yè)數(shù)字化轉(zhuǎn)型的重點(diǎn)怀偷。業(yè)務(wù)中臺(tái)的建設(shè)目標(biāo)是:“將可復(fù)用的業(yè)務(wù)能力沉淀到業(yè)務(wù)中臺(tái)椎工,實(shí)現(xiàn)企業(yè)級(jí)業(yè)務(wù)能力復(fù)用和各業(yè)務(wù)板塊之間的聯(lián)通和協(xié)同维蒙,確保關(guān)鍵業(yè)務(wù)鏈路的穩(wěn)定高效,提升業(yè)務(wù)創(chuàng)新效能殖熟÷鹧龋”
業(yè)務(wù)中臺(tái)的主要目標(biāo)是實(shí)現(xiàn)企業(yè)級(jí)業(yè)務(wù)能力的復(fù)用,所以業(yè)務(wù)中臺(tái)建設(shè)需優(yōu)先解決業(yè)務(wù)能力重復(fù)建設(shè)和復(fù)用的問(wèn)題沸停。通過(guò)重構(gòu)業(yè)務(wù)模型昭卓,將分散在不同渠道和業(yè)務(wù)場(chǎng)景(例如:互聯(lián)網(wǎng)應(yīng)用和傳統(tǒng)核心應(yīng)用)重復(fù)建設(shè)的業(yè)務(wù)能力,沉淀到企業(yè)級(jí)中臺(tái)業(yè)務(wù)模型杂瘸,面向企業(yè)所有業(yè)務(wù)場(chǎng)景和領(lǐng)域败玉,實(shí)現(xiàn)能力復(fù)用和流程融合镜硕。
圖2-2是一個(gè)業(yè)務(wù)中臺(tái)示例兴枯。在業(yè)務(wù)中臺(tái)設(shè)計(jì)時(shí)财剖,我們可以將用戶管理躺坟、訂單管理瞳氓、商品管理和支付等這些通用的能力,通過(guò)業(yè)務(wù)領(lǐng)域邊界劃分和領(lǐng)域建模店诗,沉淀到用戶中心庞瘸、訂單中心擦囊、商品中心和支付中心等業(yè)務(wù)中臺(tái)嘴办,然后基于分布式微服務(wù)技術(shù)體系完成微服務(wù)建設(shè)涧郊,形成企業(yè)級(jí)解決方案,面向前臺(tái)應(yīng)用提供可復(fù)用的業(yè)務(wù)能力看幼。
▲圖2-2 業(yè)務(wù)中臺(tái)示例
在技術(shù)實(shí)現(xiàn)上诵姜,中臺(tái)的系統(tǒng)落地可以采用微服務(wù)架構(gòu)棚唆。微服務(wù)是目前公認(rèn)的業(yè)務(wù)中臺(tái)技術(shù)最佳實(shí)現(xiàn)瑟俭,可以有效提升業(yè)務(wù)擴(kuò)展能力契邀,實(shí)現(xiàn)業(yè)務(wù)能力復(fù)用坯门。
在業(yè)務(wù)建模上古戴,中臺(tái)領(lǐng)域建南帜眨可以采用領(lǐng)域驅(qū)動(dòng)設(shè)計(jì)(DDD)方法叉袍,通過(guò)劃分業(yè)務(wù)限界上下文邊界,構(gòu)建中臺(tái)領(lǐng)域模型瞧捌,根據(jù)領(lǐng)域模型完成微服務(wù)拆分和設(shè)計(jì)姐呐。
業(yè)務(wù)中臺(tái)可以面向前臺(tái)應(yīng)用提供基于API接口級(jí)的業(yè)務(wù)服務(wù)能力曙砂,也可以將領(lǐng)域模型所在的微服務(wù)和微前端組合為業(yè)務(wù)單元麦轰,以組件的形式面向前臺(tái)應(yīng)用款侵,提供基于微前端的頁(yè)面級(jí)服務(wù)能力新锈。
業(yè)務(wù)中臺(tái)建設(shè)完成后眶熬,前臺(tái)應(yīng)用就可以聯(lián)通和組裝各個(gè)不同中臺(tái)業(yè)務(wù)板塊娜氏,既提供企業(yè)級(jí)一體化業(yè)務(wù)能力支撐贸弥,又可以提供靈活的場(chǎng)景化銷售能力支撐绵疲。
02 數(shù)據(jù)中臺(tái)
數(shù)據(jù)中臺(tái)與業(yè)務(wù)中臺(tái)相輔相成盔憨,共同支持前臺(tái)一線業(yè)務(wù)郁岩。數(shù)據(jù)中臺(tái)除了擁有傳統(tǒng)數(shù)據(jù)平臺(tái)的統(tǒng)計(jì)分析和決策支持功能外问慎,會(huì)更多聚焦于為前臺(tái)一線交易類業(yè)務(wù)提供智能化的數(shù)據(jù)服務(wù)蝴乔,支持企業(yè)流程智能化薇正、運(yùn)營(yíng)智能化和商業(yè)模式創(chuàng)新,實(shí)現(xiàn)“業(yè)務(wù)數(shù)據(jù)化和數(shù)據(jù)業(yè)務(wù)化”雕沿。
最近幾年审轮,數(shù)據(jù)應(yīng)用領(lǐng)域出現(xiàn)了很多新的趨勢(shì)疾渣。數(shù)據(jù)中臺(tái)建設(shè)模式也隨著這些趨勢(shì)在發(fā)生變化榴捡,主要體現(xiàn)在以下幾點(diǎn)吊圾。
第一项乒,數(shù)據(jù)應(yīng)用技術(shù)發(fā)展迅猛檀何。近幾年涌現(xiàn)出了大量新的數(shù)據(jù)應(yīng)用技術(shù)埃碱,如NoSQL砚殿、NewSQL和分布式數(shù)據(jù)庫(kù)等似炎,以及與數(shù)據(jù)采集羡藐、數(shù)據(jù)存儲(chǔ)、數(shù)據(jù)建模和數(shù)據(jù)挖掘等大數(shù)據(jù)相關(guān)的技術(shù)辉阶。這些技術(shù)解決業(yè)務(wù)問(wèn)題的能力越來(lái)越強(qiáng)谆甜,但同時(shí)也增加了技術(shù)實(shí)現(xiàn)的復(fù)雜度规辱。
第二罕袋,數(shù)據(jù)架構(gòu)更加靈活浴讯。在從單體向微服務(wù)架構(gòu)轉(zhuǎn)型后榆纽,企業(yè)業(yè)務(wù)和數(shù)據(jù)形態(tài)也發(fā)生了很大的變化掠河,數(shù)據(jù)架構(gòu)已經(jīng)從集中式架構(gòu)向分布式架構(gòu)轉(zhuǎn)變。
第三猛计,數(shù)據(jù)來(lái)源更加多元化唠摹,數(shù)據(jù)格式更加多樣化。隨著車聯(lián)網(wǎng)奉瘤、物聯(lián)網(wǎng)勾拉、LBS和社交媒體等數(shù)據(jù)的引入,數(shù)據(jù)來(lái)源已從單一的業(yè)務(wù)數(shù)據(jù)向復(fù)雜的多源數(shù)據(jù)轉(zhuǎn)變盗温,數(shù)據(jù)格式也已經(jīng)從以結(jié)構(gòu)化為主向結(jié)構(gòu)化與非結(jié)構(gòu)化多種模式混合的方向轉(zhuǎn)變藕赞。
第四卖局,數(shù)據(jù)智能化應(yīng)用將會(huì)越來(lái)越廣泛斧蜕。在數(shù)字新基建的大背景下,未來(lái)企業(yè)將匯集多種模式下的數(shù)據(jù)砚偶,借助深度學(xué)習(xí)和人工智能等智能技術(shù)批销,優(yōu)化業(yè)務(wù)流程,實(shí)現(xiàn)業(yè)務(wù)流程的智能化染坯,通過(guò)用戶行為分析提升用戶體驗(yàn)均芽,實(shí)現(xiàn)精準(zhǔn)營(yíng)銷、反欺詐和風(fēng)險(xiǎn)管控单鹿,實(shí)現(xiàn)數(shù)字化和智能化的產(chǎn)品運(yùn)營(yíng)以及AIOps等掀宋,提升企業(yè)數(shù)字智能化水平。
面對(duì)復(fù)雜的數(shù)據(jù)領(lǐng)域仲锄,如何建設(shè)數(shù)據(jù)中臺(tái)管理并利用好這些數(shù)據(jù)劲妙?
這對(duì)企業(yè)來(lái)說(shuō)是一個(gè)非常重要的課題。
數(shù)據(jù)中臺(tái)的大部分?jǐn)?shù)據(jù)來(lái)源于業(yè)務(wù)中臺(tái)昼窗,經(jīng)過(guò)數(shù)據(jù)建模和數(shù)據(jù)分析等操作后是趴,將加工后的數(shù)據(jù),返回業(yè)務(wù)中臺(tái)為前臺(tái)應(yīng)用提供數(shù)據(jù)服務(wù)澄惊,或直接以數(shù)據(jù)類應(yīng)用的方式面向前臺(tái)應(yīng)用提供API數(shù)據(jù)服務(wù)唆途。
數(shù)據(jù)中臺(tái)一般包括數(shù)據(jù)采集富雅、數(shù)據(jù)集成、數(shù)據(jù)治理肛搬、數(shù)據(jù)應(yīng)用和數(shù)據(jù)資產(chǎn)管理没佑,另外還有諸如數(shù)據(jù)標(biāo)準(zhǔn)和指標(biāo)建設(shè),以及數(shù)據(jù)倉(cāng)庫(kù)或大數(shù)據(jù)等技術(shù)應(yīng)用温赔。圖2-3是2017年阿里云棲大會(huì)上的一個(gè)數(shù)據(jù)中臺(tái)示例蛤奢。
▲圖2-3 數(shù)據(jù)中臺(tái)示例(圖參考:2017年阿里云棲大會(huì))
綜上所述,數(shù)據(jù)中臺(tái)建設(shè)需要做好以下三方面的工作陶贼。
一是建立統(tǒng)一的企業(yè)級(jí)數(shù)據(jù)標(biāo)準(zhǔn)指標(biāo)體系啤贩,解決數(shù)據(jù)來(lái)源多元化和標(biāo)準(zhǔn)不統(tǒng)一的問(wèn)題。企業(yè)在統(tǒng)一的數(shù)據(jù)標(biāo)準(zhǔn)下拜秧,規(guī)范有序地完成數(shù)據(jù)采集痹屹、數(shù)據(jù)建模、數(shù)據(jù)分析枉氮、數(shù)據(jù)集成志衍、數(shù)據(jù)應(yīng)用和數(shù)據(jù)資產(chǎn)管理。
二是建立與企業(yè)能力相適應(yīng)的數(shù)據(jù)研發(fā)聊替、分析楼肪、應(yīng)用和資產(chǎn)管理技術(shù)體系。結(jié)合企業(yè)自身技術(shù)能力和數(shù)據(jù)應(yīng)用場(chǎng)景惹悄,選擇合適的技術(shù)體系構(gòu)建數(shù)據(jù)中臺(tái)春叫。
三是構(gòu)建支持前臺(tái)一線業(yè)務(wù)的數(shù)據(jù)中臺(tái)。業(yè)務(wù)中臺(tái)微服務(wù)化后俘侠,雖然提升了應(yīng)用的高可用能力象缀,但是隨著數(shù)據(jù)和應(yīng)用的拆分,會(huì)形成更多的數(shù)據(jù)孤島爷速,會(huì)增加應(yīng)用和數(shù)據(jù)集成的難度央星。在業(yè)務(wù)中臺(tái)建設(shè)的同時(shí),需要同步啟動(dòng)數(shù)據(jù)中臺(tái)建設(shè)惫东,整合業(yè)務(wù)中臺(tái)數(shù)據(jù)莉给,消除不同業(yè)務(wù)板塊核心業(yè)務(wù)鏈條之間的數(shù)據(jù)孤島,對(duì)外提供統(tǒng)一的一致的數(shù)據(jù)服務(wù)廉沮。用“業(yè)務(wù)+數(shù)據(jù)”雙中臺(tái)模式颓遏,支持業(yè)務(wù)、數(shù)據(jù)和流程的融合滞时。
數(shù)據(jù)中臺(tái)投入相對(duì)較大叁幢,收益周期較長(zhǎng),但會(huì)給企業(yè)帶來(lái)巨大的潛在商業(yè)價(jià)值坪稽,也是企業(yè)未來(lái)數(shù)字化運(yùn)營(yíng)的重要基礎(chǔ)曼玩。企業(yè)可以根據(jù)業(yè)務(wù)發(fā)展需求鳞骤,制定好階段性目標(biāo),分步驟黍判、有計(jì)劃地整合好現(xiàn)有數(shù)據(jù)平臺(tái)豫尽,演進(jìn)式推進(jìn)數(shù)據(jù)中臺(tái)建設(shè)。
03 技術(shù)中臺(tái)
業(yè)務(wù)中臺(tái)落地時(shí)需要有很多的技術(shù)組件支撐顷帖,這些不同技術(shù)領(lǐng)域的技術(shù)組件就組成了技術(shù)中臺(tái)美旧。業(yè)務(wù)中臺(tái)大多采用微服務(wù)架構(gòu),以保障系統(tǒng)高可用性贬墩,有效應(yīng)對(duì)高頻海量業(yè)務(wù)訪問(wèn)場(chǎng)景榴嗅,所以技術(shù)中臺(tái)會(huì)有比較多的微服務(wù)相關(guān)的技術(shù)組件。
一般來(lái)說(shuō)陶舞,技術(shù)中臺(tái)會(huì)有以下幾類關(guān)鍵技術(shù)領(lǐng)域的組件录肯,如API網(wǎng)關(guān)、前端開(kāi)發(fā)框架吊说、微服務(wù)開(kāi)發(fā)框架、微服務(wù)治理組件优炬、分布式數(shù)據(jù)庫(kù)以及分布式架構(gòu)下諸如復(fù)制颁井、同步等數(shù)據(jù)處理相關(guān)的關(guān)鍵技術(shù)組件,如圖2-4所示蠢护。
1. API網(wǎng)關(guān)
微服務(wù)架構(gòu)一般采用前后端分離設(shè)計(jì)雅宾,前端頁(yè)面邏輯和后端微服務(wù)業(yè)務(wù)邏輯獨(dú)立開(kāi)發(fā)、獨(dú)立部署葵硕,通過(guò)網(wǎng)關(guān)實(shí)現(xiàn)前后端集成眉抬。
前臺(tái)應(yīng)用接入中臺(tái)微服務(wù)的技術(shù)組件一般是API網(wǎng)關(guān)。
API網(wǎng)關(guān)主要包括:鑒權(quán)懈凹、降級(jí)限流蜀变、流量分析、負(fù)載均衡介评、服務(wù)路由和訪問(wèn)日志等功能库北。API網(wǎng)關(guān)可以幫助用戶,方便地管理微服務(wù)API接口们陆,實(shí)現(xiàn)安全的前后端分離寒瓦,實(shí)現(xiàn)高效的系統(tǒng)集成和精細(xì)的服務(wù)監(jiān)控。
2. 開(kāi)發(fā)框架
開(kāi)發(fā)框架主要包括前端開(kāi)發(fā)框架和后端微服務(wù)開(kāi)發(fā)框架坪仇≡友基于前、后端開(kāi)發(fā)框架椅文,分別完成前端頁(yè)面邏輯和后端業(yè)務(wù)邏輯的開(kāi)發(fā)喂很。
前端開(kāi)發(fā)框架主要是面向PC端或者移動(dòng)端應(yīng)用惜颇,用于構(gòu)建系統(tǒng)表示層,規(guī)范前后端交互恤筛,降低前端開(kāi)發(fā)成本官还。
▲圖2-4 技術(shù)中臺(tái)關(guān)鍵技術(shù)領(lǐng)域
微服務(wù)開(kāi)發(fā)框架用于構(gòu)建企業(yè)級(jí)微服務(wù)應(yīng)用。一般具備自動(dòng)化配置毒坛、快速開(kāi)發(fā)望伦、方便調(diào)試及部署等特性,提供微服務(wù)注冊(cè)煎殷、發(fā)現(xiàn)屯伞、通信、容錯(cuò)和監(jiān)控等服務(wù)治理基礎(chǔ)類庫(kù)豪直,幫助開(kāi)發(fā)人員快速構(gòu)建產(chǎn)品級(jí)的微服務(wù)應(yīng)用劣摇。
開(kāi)發(fā)框架一般都支持代碼自動(dòng)生成、本地調(diào)試和依賴管理等功能弓乙。
3. 微服務(wù)治理
微服務(wù)治理是在微服務(wù)的運(yùn)行過(guò)程中末融,針對(duì)微服務(wù)的運(yùn)行狀況采取的動(dòng)態(tài)治理策略,如服務(wù)注冊(cè)暇韧、發(fā)現(xiàn)勾习、限流、熔斷和降級(jí)等懈玻,以保障微服務(wù)能夠持續(xù)穩(wěn)定運(yùn)行巧婶。
微服務(wù)治理主要應(yīng)用于微服務(wù)運(yùn)行中的狀態(tài)監(jiān)控、微服務(wù)運(yùn)行異常時(shí)的治理策略配置等場(chǎng)景涂乌,保障微服務(wù)在常見(jiàn)異常場(chǎng)景下的自恢復(fù)能力艺栈。
微服務(wù)治理技術(shù)組件一般包括服務(wù)注冊(cè)、服務(wù)發(fā)現(xiàn)湾盒、服務(wù)通信湿右、配置中心、服務(wù)熔斷罚勾、容錯(cuò)和微服務(wù)監(jiān)控等組件诅需。
常見(jiàn)的微服務(wù)治理有Dubbo、Spring Cloud和Service Mesh等技術(shù)體系荧库。
4. 分布式數(shù)據(jù)庫(kù)
分布式數(shù)據(jù)庫(kù)一般都具有較強(qiáng)的數(shù)據(jù)線性擴(kuò)展能力堰塌,它們大多采用數(shù)據(jù)多副本機(jī)制實(shí)現(xiàn)數(shù)據(jù)庫(kù)高可用,具有可擴(kuò)展和低成本等技術(shù)優(yōu)勢(shì)分衫。
分布式數(shù)據(jù)庫(kù)一般包括三類:交易型分布式數(shù)據(jù)庫(kù)场刑、分析型分布式數(shù)據(jù)庫(kù)和交易分析混合型分布式數(shù)據(jù)庫(kù)。
交易型分布式數(shù)據(jù)庫(kù)用于解決交易型業(yè)務(wù)的數(shù)據(jù)庫(kù)計(jì)算能力,它支持?jǐn)?shù)據(jù)分庫(kù)牵现、分片铐懊、數(shù)據(jù)多副本,具有高可用的特性瞎疼,提供統(tǒng)一的運(yùn)維界面科乎,具備高性能的交易型業(yè)務(wù)數(shù)據(jù)處理能力。主要應(yīng)用于具有跨區(qū)域部署和高可用需求贼急,需支持高并發(fā)和高頻訪問(wèn)的核心交易類業(yè)務(wù)場(chǎng)景茅茂。
分析型分布式數(shù)據(jù)庫(kù)通過(guò)橫向擴(kuò)展能力和并行計(jì)算能力,提升數(shù)據(jù)整體計(jì)算能力和吞吐量太抓,支持海量數(shù)據(jù)的分析空闲。主要應(yīng)用于大規(guī)模結(jié)構(gòu)化數(shù)據(jù)的統(tǒng)計(jì)分析、高性能交互式分析等場(chǎng)景走敌,如數(shù)據(jù)倉(cāng)庫(kù)碴倾、數(shù)據(jù)集市等。
交易分析混合型分布式數(shù)據(jù)庫(kù)通過(guò)資源隔離掉丽、分時(shí)和數(shù)據(jù)多副本等技術(shù)手段跌榔,基于不同的數(shù)據(jù)存儲(chǔ)、訪問(wèn)性能和容量等需求捶障,使用不同的存儲(chǔ)介質(zhì)和分布式計(jì)算引擎矫户,同時(shí)滿足業(yè)務(wù)交易和分析需求。主要應(yīng)用于數(shù)據(jù)規(guī)模大和訪問(wèn)并發(fā)量大残邀,需要解決交易型數(shù)據(jù)同步到分析型數(shù)據(jù)庫(kù)時(shí)成本高的問(wèn)題,需要解決數(shù)據(jù)庫(kù)入口統(tǒng)一的問(wèn)題柑蛇,需要支持高可用和高擴(kuò)展性等數(shù)據(jù)處理業(yè)務(wù)場(chǎng)景芥挣。
5. 數(shù)據(jù)處理組件
為了提高應(yīng)用性能和業(yè)務(wù)承載能力,降低微服務(wù)的耦合度耻台,實(shí)現(xiàn)分布式架構(gòu)下的分布式事務(wù)等要求空免,技術(shù)中臺(tái)還有很多數(shù)據(jù)處理相關(guān)的基礎(chǔ)技術(shù)組件。如:分布式緩存盆耽、搜索引擎蹋砚、數(shù)據(jù)復(fù)制、消息中間件和分布式事務(wù)等技術(shù)組件摄杂。
分布式緩存是將高頻熱點(diǎn)數(shù)據(jù)集分布于多個(gè)內(nèi)存集群節(jié)點(diǎn)坝咐,以復(fù)制、分發(fā)析恢、分區(qū)和失效相結(jié)合的方式進(jìn)行維護(hù)墨坚,解決高并發(fā)熱點(diǎn)數(shù)據(jù)訪問(wèn)性能問(wèn)題,降低后臺(tái)數(shù)據(jù)庫(kù)訪問(wèn)壓力映挂,提升系統(tǒng)吞吐能力泽篮。典型的開(kāi)源分布式緩存技術(shù)組件有Redis盗尸。
搜索引擎主要解決大數(shù)據(jù)量的快速搜索和分析等需求。將業(yè)務(wù)帽撑、日志類等不同類型的數(shù)據(jù)泼各,加載到搜索引擎,提供可擴(kuò)展和近實(shí)時(shí)的搜索能力亏拉。
數(shù)據(jù)復(fù)制主要解決數(shù)據(jù)同步需求扣蜻,實(shí)現(xiàn)同構(gòu)、異構(gòu)數(shù)據(jù)庫(kù)間以及跨數(shù)據(jù)中心的數(shù)據(jù)復(fù)制专筷,滿足數(shù)據(jù)多級(jí)存儲(chǔ)弱贼、交換和整合需求。主要應(yīng)用于基于表或庫(kù)的業(yè)務(wù)數(shù)據(jù)遷移磷蛹、業(yè)務(wù)數(shù)據(jù)向數(shù)據(jù)倉(cāng)庫(kù)復(fù)制等數(shù)據(jù)遷移場(chǎng)景吮旅。數(shù)據(jù)復(fù)制技術(shù)組件大多采用數(shù)據(jù)庫(kù)日志捕獲和解析技術(shù),在技術(shù)選型時(shí)需考慮數(shù)據(jù)復(fù)制技術(shù)組件與源端數(shù)據(jù)庫(kù)的適配能力味咳。
消息中間件主要適用于數(shù)據(jù)最終一致性的業(yè)務(wù)場(chǎng)景庇勃,它采用異步化的設(shè)計(jì),實(shí)現(xiàn)數(shù)據(jù)同步轉(zhuǎn)異步操作槽驶,支持海量異步數(shù)據(jù)調(diào)用责嚷,并通過(guò)削峰填谷設(shè)計(jì)提高業(yè)務(wù)吞吐量和承載能力。它被廣泛用于微服務(wù)之間的數(shù)據(jù)異步傳輸掂铐、大數(shù)據(jù)日志采集和流計(jì)算等場(chǎng)景罕拂。另外,在領(lǐng)域驅(qū)動(dòng)設(shè)計(jì)的領(lǐng)域事件驅(qū)動(dòng)模型中全陨,消息中間件是實(shí)現(xiàn)領(lǐng)域事件數(shù)據(jù)最終一致性的非常關(guān)鍵的技術(shù)組件爆班,可以實(shí)現(xiàn)微服務(wù)之間的解耦,滿足“高內(nèi)聚辱姨,松耦合”設(shè)計(jì)原則柿菩。典型的開(kāi)源消息中間件有Kafka等。
分布式事務(wù)主要是解決分布式架構(gòu)下事務(wù)一致性的問(wèn)題雨涛。單體應(yīng)用被拆分成微服務(wù)后枢舶,原來(lái)單體應(yīng)用大量的內(nèi)部調(diào)用會(huì)變成跨微服務(wù)訪問(wèn),業(yè)務(wù)調(diào)用鏈路中任意一個(gè)節(jié)點(diǎn)出現(xiàn)問(wèn)題替久,都可能造成數(shù)據(jù)不一致凉泄。分布式事務(wù)是基于分布式事務(wù)模型,保證跨數(shù)據(jù)庫(kù)或跨微服務(wù)調(diào)用場(chǎng)景下的數(shù)據(jù)一致性蚯根。
分布式事務(wù)雖然可以實(shí)時(shí)保證數(shù)據(jù)的一致性旧困,但過(guò)多的分布式事務(wù)設(shè)計(jì)會(huì)導(dǎo)致系統(tǒng)性能下降。因此微服務(wù)設(shè)計(jì)時(shí)應(yīng)優(yōu)先采用基于消息中間件的最終數(shù)據(jù)一致性機(jī)制,盡量避免使用分布式事務(wù)吼具。
技術(shù)中臺(tái)是業(yè)務(wù)中臺(tái)建設(shè)的關(guān)鍵技術(shù)基礎(chǔ)僚纷。在中臺(tái)建設(shè)過(guò)程中,可以根據(jù)業(yè)務(wù)需要不斷更新和吸納新的技術(shù)組件拗盒,也可以考慮將一些不具有明顯業(yè)務(wù)含義的通用組件(如認(rèn)證等)怖竭,通過(guò)抽象和標(biāo)準(zhǔn)化設(shè)計(jì)后納入技術(shù)中臺(tái)統(tǒng)一管理。為了保證業(yè)務(wù)中臺(tái)的高性能和穩(wěn)定性陡蝇,在技術(shù)組件選型時(shí)一定要記兹簟:盡可能選用成熟的技術(shù)組件。