新一代銀行 IT 架構(gòu)

第 1 章 引言

第 2 章 分布式架構(gòu)理論及典型實(shí)踐

第 3 章 當(dāng)前主流的 IT 架構(gòu)分析

第 4 章 新一代銀行 IT 架構(gòu)分析

第 5 章 新一代銀行 IT 架構(gòu)實(shí)踐

第 6 章 新一代架構(gòu)下的運(yùn)維管理

第 7 章 架構(gòu)效能分析

第 1 章 引言

自人類社會(huì)有了經(jīng)濟(jì)活動(dòng)之后,作為信用中介角色的“銀行”就應(yīng)運(yùn)而生簿晓。銀行為各種類型的經(jīng)濟(jì)活動(dòng)提供支持森书,最早是提供存(吸收存款)、貸(發(fā)放貸款—)管闷、匯(資金匯兌)這些最基礎(chǔ)的金融服務(wù)的機(jī)構(gòu)。但隨著人類經(jīng)濟(jì)文明的發(fā)展,經(jīng)濟(jì)活動(dòng)變的多樣化阎肝,推送了金融行業(yè)的繁榮。一方面肮街,金融行業(yè)衍生出更多不同類型的金融服務(wù)和產(chǎn)品风题,以及提供這些產(chǎn)品和服務(wù)的金融機(jī)構(gòu);另一方面嫉父,金融行業(yè)的老大哥“銀行”所提供的金融產(chǎn)品和服務(wù)也隨之變得越來(lái)越復(fù)雜沛硅。但無(wú)論銀行的業(yè)務(wù)變得多復(fù)雜,它的核心職責(zé)依然是要記好賬绕辖。

由于銀行所維護(hù)的賬本記錄了經(jīng)濟(jì)活動(dòng)參與人的權(quán)益摇肌,因此確保賬本記錄的準(zhǔn)確性、安全性仪际、私密性以及持續(xù)提高記賬效率围小,一直是全球銀行業(yè)務(wù)發(fā)展過(guò)程中全行業(yè)重點(diǎn)關(guān)注的基礎(chǔ)能力。

自 20 世紀(jì)中期以來(lái)树碱,計(jì)算機(jī)的發(fā)明及應(yīng)用為銀行業(yè)的發(fā)展提供了重大技術(shù)突破契機(jī)肯适,過(guò)去依賴紙質(zhì)賬本、人手記賬的作業(yè)模式成榜,隨著計(jì)算機(jī)的應(yīng)用發(fā)生了根本性改變框舔。賬務(wù)數(shù)據(jù)實(shí)現(xiàn)了電子化,它們經(jīng)由計(jì)算機(jī)程序自動(dòng)運(yùn)算,并且被記錄到電子媒介上刘绣,自此銀行在賬務(wù)處理的質(zhì)量和效率上都出現(xiàn)了跨越式的提升樱溉。

不過(guò),隨著近年來(lái)互聯(lián)網(wǎng)的崛起纬凤,銀行的角色逐漸發(fā)生了一些微妙的變化福贞。過(guò)去銀行一直扮演著賬戶管理者的角色,然而由于銀行業(yè)的信息化步伐遠(yuǎn)比其他行業(yè)迅速停士,比如銀行網(wǎng)點(diǎn)肚医、ATM、POS終端以及網(wǎng)上銀行向瓷、手機(jī)銀行等業(yè)務(wù)實(shí)際上銜接了離線(Offline)世界和在線(Online)世界肠套,從而使得銀行業(yè)的信息系統(tǒng)成為跨行業(yè)信息化的樞紐〔危可以說(shuō)你稚,銀行事實(shí)上是第一代“線上線下”(O2O)業(yè)務(wù)的代表。

互聯(lián)網(wǎng)所帶來(lái)的的信息化革命朱躺,大大推動(dòng)了各行各業(yè)的信息化刁赖、網(wǎng)絡(luò)化,從而導(dǎo)致銀行作為連接離線世界和在線世界的樞紐角色长搀,逐步受到了大小互聯(lián)網(wǎng)平臺(tái)的沖擊宇弛。這些互聯(lián)網(wǎng)平臺(tái)通過(guò)切入各類生活場(chǎng)景,掌握了互聯(lián)網(wǎng)上的海量用戶入口源请,積累了規(guī)模更大枪芒、內(nèi)容更豐富的交易和用戶行為數(shù)據(jù)。銀行與客戶的關(guān)系逐步被這些互聯(lián)網(wǎng)平臺(tái)蠶食和隔斷谁尸,與銀行也逐漸變?yōu)樵诨ヂ?lián)網(wǎng)平臺(tái)背后提供金融賬戶服務(wù)的服務(wù)提供方舅踪。

更有部分提供第三方支付服務(wù)的企業(yè),包括國(guó)外的 PalPal良蛮、國(guó)內(nèi)的支付寶以及微信支付等抽碌,正在嘗試通過(guò)其自身提供的“錢(qián)包”,替代銀行賬戶扮演的角色决瞳,并且已經(jīng)取得了初步成功货徙。

《銀行3.0:移動(dòng)互聯(lián)時(shí)代的銀行轉(zhuǎn)型之道》一書(shū)中預(yù)言,未來(lái)銀行將會(huì)逐步消失皮胡,但銀行服務(wù)將會(huì)以其他形式繼續(xù)存在痴颊。

面對(duì)互聯(lián)網(wǎng)這一輪信息化革命所帶來(lái)的的沖擊,大小銀行面臨轉(zhuǎn)型升級(jí)的壓力前所未有胸囱,必須通過(guò)自身求變來(lái)提升競(jìng)爭(zhēng)力祷舀,從而獲得更有利的發(fā)展空間瀑梗。近年來(lái)烹笔,不少傳統(tǒng)銀行推出了直銷(xiāo)銀行業(yè)務(wù)裳扯;國(guó)內(nèi)外也開(kāi)始出現(xiàn)一些互聯(lián)網(wǎng)銀行,以無(wú)網(wǎng)點(diǎn)谤职、輕資產(chǎn)饰豺、高科技方式來(lái)提供金融服務(wù)。這些都是銀行業(yè)界為了應(yīng)對(duì)市場(chǎng)發(fā)展趨勢(shì)及競(jìng)爭(zhēng)環(huán)境的變化而做出的嘗試允蜈,試圖通過(guò)創(chuàng)新經(jīng)營(yíng)模式來(lái)打造新一代銀行冤吨。但創(chuàng)新的經(jīng)營(yíng)模式自身也會(huì)帶來(lái)新的挑戰(zhàn):不一樣的用戶習(xí)慣要求不一樣的用戶體驗(yàn);不一樣的業(yè)務(wù)規(guī)模需要不一樣的容量配置饶套;不一樣的服務(wù)渠道定義不一樣的安全機(jī)制漩蟆;不一樣的產(chǎn)品定價(jià)依賴不一樣的成本結(jié)構(gòu)。最終結(jié)論是妓蛮,不一樣的銀行需要不一樣的信息系統(tǒng)架構(gòu)來(lái)支撐怠李。正因如此,在互聯(lián)網(wǎng)浪潮的沖擊之下蛤克,銀行業(yè)也迎來(lái)了新一代銀行 IT 架構(gòu)的技術(shù)演變捺癞。

作為中國(guó)首批獲得銀監(jiān)會(huì)批準(zhǔn)籌建的 5 家民營(yíng)銀行之一,微眾銀行以互聯(lián)網(wǎng)銀行作為自身戰(zhàn)略定位构挤,其科技團(tuán)隊(duì)從一張白紙開(kāi)始設(shè)計(jì)新一代銀行 IT 架構(gòu)髓介,用了一年時(shí)間完成并實(shí)施,而且其構(gòu)建成果也經(jīng)歷了一系列實(shí)際業(yè)務(wù)考研筋现。微眾銀行這次前無(wú)古人的實(shí)踐唐础,為新一代銀行 IT 架構(gòu)的發(fā)展方向提供了重要啟示,為銀行業(yè)開(kāi)辟了一條創(chuàng)新發(fā)展道路矾飞,也為后來(lái)者提供了可資借鑒的寶貴經(jīng)驗(yàn)彻犁。

“互聯(lián)網(wǎng)+”已被提升到國(guó)家戰(zhàn)略的高度,商業(yè)銀行業(yè)也面臨著互聯(lián)網(wǎng)時(shí)代的發(fā)展需求凰慈。在這樣一個(gè)大趨勢(shì)下汞幢,出現(xiàn)了“普惠金融”的發(fā)展模式∥⑽剑互聯(lián)網(wǎng)作為一個(gè)不眠不休森篷、無(wú)邊界的“服務(wù)媒介”,為銀行帶來(lái)了全天候不間斷尋求高質(zhì)量銀行服務(wù)的海量用戶豺型。這些用戶按照銀行傳統(tǒng)的客戶評(píng)價(jià)體系來(lái)看仲智,往往屬于“非高凈值個(gè)人客戶”或“小微企業(yè)”,而傳統(tǒng)金融機(jī)構(gòu)的業(yè)務(wù)成本和技術(shù)體系暫時(shí)難以為這些“普通人”提供更便利姻氨、快捷钓辆、隨需隨用的金融服務(wù)。與此同時(shí),在互聯(lián)網(wǎng)生活的熏陶下前联,“普通人”產(chǎn)生了五花八門(mén)的金融需求和眾口難調(diào)的客戶體驗(yàn)功戚。更加直觀的是海量用戶將帶來(lái)不間斷的業(yè)務(wù)請(qǐng)求,并在業(yè)務(wù)高峰時(shí)期帶來(lái)海量的并發(fā)需求似嗤。由此啸臀,對(duì)互聯(lián)網(wǎng)時(shí)代的銀行信息科技而言,以盡量低的成本為目標(biāo)客戶群提供高質(zhì)量烁落、穩(wěn)定乘粒、高性能的基于互聯(lián)網(wǎng)的銀行服務(wù),是“互聯(lián)網(wǎng)+”時(shí)代下的普惠金融給銀行 IT 部門(mén)帶來(lái)的全新挑戰(zhàn)伤塌。

傳統(tǒng)銀行服務(wù)與“互聯(lián)網(wǎng)+”時(shí)代的銀行服務(wù)模式差異:

  • 服務(wù)理念
    高端客戶創(chuàng)造價(jià)值
    普惠金融

  • 服務(wù)模式
    線下人工服務(wù)
    在線智能服務(wù)

  • 服務(wù)對(duì)象
    固定用戶接入
    海量用戶接入

  • 業(yè)務(wù)網(wǎng)絡(luò)
    分行網(wǎng)絡(luò)覆蓋方式
    互聯(lián)網(wǎng)覆蓋方式

  • 科技訴求
    風(fēng)險(xiǎn)為主灯萍,兼顧成本
    風(fēng)險(xiǎn)與成本并重

微眾銀行承載著服務(wù)大眾人群和小微企業(yè)的社會(huì)責(zé)任,也承擔(dān)著探索普惠金融每聪、互聯(lián)網(wǎng)銀行發(fā)展道路的重任竟稳。作為不大量開(kāi)設(shè)物理網(wǎng)點(diǎn)、僅依托互聯(lián)網(wǎng)為目標(biāo)客戶提供服務(wù)的“輕資產(chǎn)互聯(lián)網(wǎng)銀行”熊痴,微眾銀行的業(yè)務(wù)發(fā)展模式和 IT 系統(tǒng)的實(shí)現(xiàn)必然與傳統(tǒng)銀行有著較大的差異他爸,它走的是一條“高效率、低成本果善、廣覆蓋”的創(chuàng)新發(fā)展道路诊笤,通過(guò)特色化、差異化和創(chuàng)新型服務(wù)巾陕,為社會(huì)大眾讨跟、小微企業(yè)提供高效、便捷鄙煤、普惠的金融服務(wù)晾匠。

在創(chuàng)立之初,微眾銀行便從全行戰(zhàn)略的高度確立了“普惠金融為目標(biāo)梯刚,個(gè)存小貸為特色凉馆,數(shù)據(jù)科技為抓手,同業(yè)合作為依托”的整體戰(zhàn)略定位亡资。在整個(gè)戰(zhàn)略定位中澜共,信息科技的作用顯得尤為重要,它是實(shí)現(xiàn)個(gè)存小貸為特色的普惠金融業(yè)務(wù)的重要支撐锥腻。為了確保業(yè)務(wù)戰(zhàn)略目標(biāo)的實(shí)現(xiàn)搔体,微眾銀行制定了“純線上置森、輕人力、強(qiáng)系統(tǒng)”的科技發(fā)展戰(zhàn)略,通過(guò)完全依托互聯(lián)網(wǎng)作為客戶服務(wù)渠道绳泉,規(guī)避線下渠道建設(shè)以及運(yùn)營(yíng)所帶來(lái)的的高昂成本,最終實(shí)現(xiàn)整體運(yùn)營(yíng)成本的大幅度降低、運(yùn)營(yíng)效率的明顯提升。

眾所周知咬扇,過(guò)去以“IOE”(IBM 主機(jī)、Oracle 數(shù)據(jù)庫(kù)和 EMC 存儲(chǔ)技術(shù))為代表的西方高端商業(yè)解決方案主導(dǎo)著中國(guó)銀行業(yè)的信息科技建設(shè)来惧。這些性能穩(wěn)定、技術(shù)成熟演顾、工程化程度高的成套解決方案供搀,幫助中國(guó)銀行業(yè)快速地縮小了與西方發(fā)達(dá)國(guó)家的差距,有力地支撐了中國(guó)銀行業(yè)過(guò)去二三十年的發(fā)展钠至。

隨著銀行業(yè)自身業(yè)務(wù)形態(tài)和業(yè)務(wù)量的發(fā)展葛虐,“IOE”技術(shù)體系的弊端逐漸顯現(xiàn):

  • 單機(jī)性能出眾,但其擴(kuò)展能力有限棉钧,性能無(wú)法無(wú)限擴(kuò)展屿脐,只能通過(guò)更換更加高級(jí)的型號(hào)來(lái)滿足需求,這種升級(jí)過(guò)程的復(fù)雜度和操作風(fēng)險(xiǎn)都是非常高的

  • 建設(shè)成本昂貴宪卿,運(yùn)維成本一致居高不下的诵。由于技術(shù)本身不向客戶做技術(shù)轉(zhuǎn)移,后期運(yùn)維工作只能不斷依賴廠商提供有償服務(wù)佑钾。

  • 由于銀行本身不掌握技術(shù)西疤,對(duì)于自身需求的技術(shù)可行性無(wú)法做出有效判斷,關(guān)鍵創(chuàng)新往往依賴 IOE 廠商的評(píng)估與支持休溶,無(wú)法客觀地支撐業(yè)務(wù)的創(chuàng)新代赁。

  • 由于無(wú)法做到安全可控,IOE 技術(shù)對(duì)于中國(guó)的商業(yè)銀行而言兽掰,完全是黑盒技術(shù)芭碍。銀行作為一個(gè)關(guān)系國(guó)計(jì)民生的行業(yè),如果其核心技術(shù)不能做到安全可控孽尽,必然為整個(gè)社會(huì)的穩(wěn)定留下一個(gè)明顯的安全風(fēng)險(xiǎn)窖壕。

以 IOE 為代表的傳統(tǒng)銀行技術(shù)體系已經(jīng)無(wú)法提供一個(gè)安全可控、高性能杉女、高度拓展艇拍、高度可靠且低成本的運(yùn)行環(huán)境來(lái)支持普惠金融業(yè)務(wù)的發(fā)展,這也成了銀行業(yè)發(fā)展的一個(gè)關(guān)鍵瓶頸宠纯。因此需要融合互聯(lián)網(wǎng)和傳統(tǒng)銀行的技術(shù)理念來(lái)應(yīng)對(duì)普惠金融對(duì)銀行 IT 架構(gòu)帶來(lái)的全新挑戰(zhàn)卸夕,充分汲取兩個(gè)領(lǐng)域各自的技術(shù)特點(diǎn)。

六大新一代銀行 IT 架構(gòu)建設(shè)目標(biāo):

  • 高性能
    億級(jí)客戶量婆瓜、千萬(wàn)級(jí)別日均交易量

  • 高彈性
    容量拓展性:通過(guò)嚴(yán)謹(jǐn)?shù)娜萘恳?guī)劃快集,以及穩(wěn)定贡羔、可預(yù)期的單處理節(jié)點(diǎn)容量,在保證節(jié)點(diǎn)穩(wěn)定性个初、數(shù)據(jù)可靠性和業(yè)務(wù)高可用性的同時(shí)乖寒,根據(jù)業(yè)務(wù)發(fā)展的節(jié)奏,通過(guò)新增節(jié)點(diǎn)來(lái)實(shí)現(xiàn)容量的拓展
    性能拓展性:當(dāng)存量業(yè)務(wù)出現(xiàn)性能瓶頸時(shí)院溺,則通過(guò)存量節(jié)點(diǎn)的縱向拓展來(lái)解決

  • 低成本
    高性價(jià)比楣嘁,充分利用開(kāi)源技術(shù)與低端服務(wù)器資源,有效降低架構(gòu)建設(shè)和后續(xù)運(yùn)營(yíng)的相關(guān)成本投入

  • 高可用性
    快速恢復(fù):滿足監(jiān)管對(duì)恢復(fù)點(diǎn)與恢復(fù)時(shí)長(zhǎng)的要求珍逸,提供全天不間斷的銀行服務(wù)
    高冗余與高密封艙化:全架構(gòu)采用 2N 級(jí)高冗余度設(shè)計(jì)逐虚,杜絕單點(diǎn)風(fēng)險(xiǎn)
    多維度高可用性設(shè)計(jì):在保證架構(gòu)自身整體高可用的同時(shí),為上層應(yīng)用提供高可用性支撐

  • 低風(fēng)險(xiǎn)
    架構(gòu)整體的高可用性:風(fēng)險(xiǎn)發(fā)生的概率降低
    分布式架構(gòu)資源充分隔離:?jiǎn)吸c(diǎn)故障的影響范圍可控
    自動(dòng)化運(yùn)維體系:快速恢復(fù)故障

  • 高規(guī)范性
    由標(biāo)準(zhǔn)化的物理及邏輯單元構(gòu)成谆膳,符合行業(yè)的所有監(jiān)管標(biāo)準(zhǔn)叭爱,從而實(shí)現(xiàn)自動(dòng)化運(yùn)維與規(guī)模化管理
    架構(gòu)標(biāo)準(zhǔn)化漱病、技術(shù)標(biāo)準(zhǔn)化买雾、應(yīng)用標(biāo)準(zhǔn)化

基于安全可控技術(shù)構(gòu)建新一代銀行 IT 架構(gòu):

  • 傳統(tǒng)銀行
    以柜面為主,結(jié)合電子渠道

  • 微眾銀行
    以互聯(lián)網(wǎng)為主杨帽,沒(méi)有線下渠道漓穿,互聯(lián)網(wǎng)為其帶來(lái)了海量客戶。這些客戶有著不同的需求注盈,并希望享受到全天候不間斷的高質(zhì)量的銀行金融服務(wù)器净。海量的用戶帶來(lái)了海量的交易和需要處理和存儲(chǔ)的海量數(shù)據(jù)。

設(shè)計(jì)原則:

  • 高性能
  • 高彈性
  • 高可用性
  • 高規(guī)范性
  • 低成本
  • 低風(fēng)險(xiǎn)

微眾銀行依托分布式架構(gòu)和相關(guān)開(kāi)源技術(shù)產(chǎn)品研究的成果当凡,以整體規(guī)劃山害、業(yè)務(wù)驅(qū)動(dòng)、快速迭代沿量、按需投放浪慌、全局規(guī)劃為基礎(chǔ),以業(yè)務(wù)需求驅(qū)動(dòng)為導(dǎo)向朴则,形成以安全可控架構(gòu)建設(shè)為核心的整體建設(shè)思路权纤。

  • 新架構(gòu)完全采用 X86 服務(wù)器,基于低端開(kāi)發(fā)的硬件平臺(tái)乌妒,提供整個(gè)架構(gòu)運(yùn)行所需要的計(jì)算及存儲(chǔ)能力汹想,沒(méi)有采用任何高端硬件產(chǎn)品或解決方案,徹底擺脫了傳統(tǒng)國(guó)外服務(wù)商對(duì)銀行硬件資源的壟斷和控制撤蚊。

  • 新架構(gòu)完全采用開(kāi)源技術(shù)構(gòu)建基礎(chǔ)架構(gòu)古掏,基于開(kāi)源技術(shù)(如 Linux 操作系統(tǒng)、KVM 虛擬技術(shù)以及基于 MySQL 的數(shù)據(jù)庫(kù))進(jìn)行深度二次開(kāi)發(fā)侦啸,在確保技術(shù)完全安全可控的前提下提升了開(kāi)源產(chǎn)品的可用性槽唾、可維護(hù)性和安全性丧枪。

  • 新架構(gòu)完全采用分布式架構(gòu),所有對(duì)客戶提供的業(yè)務(wù)服務(wù)分部在不同的標(biāo)準(zhǔn)節(jié)點(diǎn)上庞萍,每個(gè)節(jié)點(diǎn)提供對(duì)一個(gè)客戶群的全部服務(wù)拧烦,全網(wǎng)由多個(gè)這樣的節(jié)點(diǎn)構(gòu)成,從而實(shí)現(xiàn)架構(gòu)橫向與縱向的無(wú)限拓展钝计,擺脫了傳統(tǒng)集中式架構(gòu)拓展性差的局限恋博,大大降低了架構(gòu)拓展的成本和風(fēng)險(xiǎn)。

第 2 章 分布式架構(gòu)理論及典型實(shí)踐

分布式系統(tǒng)

由多個(gè)部署在不同計(jì)算機(jī)上的模塊構(gòu)成私恬,模塊之間通過(guò)網(wǎng)絡(luò)進(jìn)行基于消息的通信與協(xié)同债沮,互相交互以完成一項(xiàng)共同的任務(wù)。

  • CAP 理論:關(guān)于運(yùn)用分布式計(jì)算架構(gòu)時(shí)需要充分考慮的基本原理
    一個(gè)分布式計(jì)算架構(gòu)不可能同時(shí)滿足以下三個(gè)特性践付,最多只能同時(shí)滿足其中的兩個(gè)秦士,需要作出權(quán)衡和取舍
    1. 一致性(consistency):每個(gè)請(qǐng)求獲得都是最新寫(xiě)入的數(shù)據(jù)
    2. 可用性(availability):每個(gè)請(qǐng)求都能獲得一個(gè)響應(yīng)缺厉,雖然不保證一定是最新的數(shù)據(jù)
    3. 分區(qū)容忍性(partition tolerance):系統(tǒng)在網(wǎng)絡(luò)故障導(dǎo)致的分區(qū)狀態(tài)下依然能保持運(yùn)行

架構(gòu)師:

  • 存儲(chǔ)可靠性:持久數(shù)據(jù)存儲(chǔ)永高、架構(gòu)容災(zāi)基礎(chǔ)、交易事務(wù)保障提针、安全可貴保證
  • 確保事務(wù)的 ACID 特性

產(chǎn)品經(jīng)理:

  • 產(chǎn)品可用性:用戶數(shù)據(jù)不能丟失或泄露
  • 用戶體驗(yàn)保障:頁(yè)面等待超過(guò)8秒命爬,用戶基本上就會(huì)選擇放棄
  • 用戶活動(dòng)保障

數(shù)據(jù)庫(kù)管理員:

  • 省時(shí)省心省力:提升運(yùn)維管理效率、降低復(fù)雜度辐脖、穩(wěn)定性饲宛、可管理性、性能

金融數(shù)據(jù)庫(kù)的九宮格挑戰(zhàn):

可靠存儲(chǔ) 高可用性(HA) 事務(wù)性能
DB 管理 備份回檔 彈性拓展
線上調(diào)優(yōu) 安全審計(jì) 成本

分布式數(shù)據(jù)庫(kù)核心技術(shù):

  • 數(shù)據(jù)高可靠性
    基于數(shù)據(jù)冗余嗜价,并兼顧同步中和同步后的數(shù)據(jù)一致性狀態(tài)
    一份數(shù)據(jù)有一個(gè)主副本 master 和多個(gè)從副本 slave艇抠,一般是 2 個(gè),主從副本之間通過(guò)以下三項(xiàng)主要技術(shù)保證數(shù)據(jù)的一致性和性能問(wèn)題:

    1. 基于快速?gòu)?fù)制通道久锥,實(shí)現(xiàn)高性能家淤、強(qiáng)一致的主從數(shù)據(jù)同步
    2. 支持靈活的多地區(qū)多園區(qū)復(fù)制策略,同步和異步靈活按需定制
    3. 覆蓋同步后的數(shù)據(jù)一致性狀態(tài)檢查
  • 系統(tǒng)高可用性
    基于故障 - 停止機(jī)制優(yōu)化故障探測(cè)時(shí)間和故障轉(zhuǎn)移時(shí)間

    1. 故障探測(cè):基于“心跳” + 租約的方式瑟由,同時(shí)通過(guò) SQL 服務(wù)質(zhì)量來(lái)發(fā)現(xiàn)節(jié)點(diǎn)的亞健康狀態(tài)
    2. 故障轉(zhuǎn)移:重點(diǎn)優(yōu)化從副本在提升主副本時(shí)絮重,從副本需要用完本地同步日志的時(shí)間
  • 高性能事務(wù)處理能力

    1. 多種業(yè)務(wù)場(chǎng)景下的 MySQL 參數(shù)調(diào)優(yōu)
    2. 定制服務(wù)器配置
    3. 基于 Oracle 以及 MySQL開(kāi)源社區(qū)版本內(nèi)核深度定制 MySQL 內(nèi)核
    4. 通常會(huì)在 SQL 層和 InnoDB 引擎上進(jìn)行相關(guān)優(yōu)化,從而提升事務(wù)處理能力

分布式數(shù)據(jù)庫(kù)運(yùn)維管理:

  • 數(shù)據(jù)庫(kù)管理

    1. 自動(dòng)部署:機(jī)房歹苦、網(wǎng)絡(luò)青伤、操作系統(tǒng)和數(shù)據(jù)庫(kù)版本的部署安裝
    2. 按需生產(chǎn):支持內(nèi)存和硬盤(pán)完全解耦的方式,按照業(yè)務(wù)需求來(lái)一鍵式生產(chǎn)出數(shù)據(jù)庫(kù)實(shí)例
    3. 版本升級(jí):自動(dòng)維護(hù)操作系統(tǒng)和 MySQL 版本的升級(jí)殴瘦,通過(guò)專業(yè)的升級(jí)方案來(lái)及時(shí)修復(fù)漏洞狠角,把變更風(fēng)險(xiǎn)降低到可控范圍,保證線上業(yè)務(wù)穩(wěn)定運(yùn)行
    4. 監(jiān)控告警:通過(guò) MySQL 自身具備的特性數(shù)據(jù)進(jìn)行采集和監(jiān)控蚪腋,支持分鐘級(jí)異常告警
  • 備份回檔

    1. 備份:支持物理備份和邏輯備份擎厢,且備份數(shù)據(jù)和相關(guān)日志存儲(chǔ)在專有的究流、可靠的備份存儲(chǔ)集群與日志存儲(chǔ)集群中,支持表动遭、庫(kù)和實(shí)例多維度快速回檔到 N天的任意時(shí)刻(N 取決于數(shù)據(jù)庫(kù)自身數(shù)據(jù)量與相關(guān)存儲(chǔ)集群的容量間的關(guān)系)
    2. 回檔:通過(guò)備份數(shù)據(jù)加日志數(shù)據(jù)的方式來(lái)完成數(shù)據(jù)回溯
  • 彈性拓展

    1. 拓展:通過(guò)只讀實(shí)例組來(lái)支持讀拓展芬探、實(shí)例規(guī)格拓展和分庫(kù)分表,在只讀實(shí)例組中厘惦,多個(gè)從副本自動(dòng)負(fù)載均衡和進(jìn)行異常剔除(異常包括從副本死機(jī)或者主從差距過(guò)大)偷仿,從副本嚴(yán)格收攏讀寫(xiě)權(quán)限
    2. 分庫(kù)分表:自動(dòng)分庫(kù)分表基于分區(qū)表來(lái)實(shí)現(xiàn)數(shù)據(jù)分片功能,支持范圍分區(qū)宵蕉、哈希分區(qū)和列表分區(qū)酝静,在子分區(qū)內(nèi),SQL 和事務(wù) ACID 特性完全與單機(jī)版兼容
    3. 查詢:在分布式查詢方面羡玛,通過(guò)支持有限索引條件下推來(lái)提升分布式查詢性能别智,為了簡(jiǎn)化異常處理,通常系統(tǒng)不會(huì)支持跨機(jī)外部事務(wù)
  • 線上調(diào)優(yōu)
    主要通過(guò)數(shù)據(jù)庫(kù)實(shí)例監(jiān)控診斷來(lái)完成稼稿,通過(guò)審計(jì)插件來(lái)采集實(shí)例內(nèi)部從服務(wù)器到引擎的信息薄榛,根據(jù)規(guī)則,生成相應(yīng)健康診斷報(bào)告和調(diào)優(yōu)建議

  • 安全審計(jì)
    通過(guò)審計(jì)插件完成

    1. 訪問(wèn)安全審計(jì):主要是指對(duì) IP让歼、賬號(hào)敞恋、對(duì)象、越權(quán)操作記錄谋右、不活躍賬號(hào)的升級(jí)
    2. SQL 安全審計(jì):主要是指對(duì) SQL 注入硬猫、寬松條件的 增刪改查操作、低效 SQL 語(yǔ)句的審計(jì)
  • 成本控制

    1. 硬件成本
    2. 軟件成本
    3. 維護(hù)成本

分布式緩存

  • 基于內(nèi)存 / 高性能 SSD 介質(zhì)的數(shù)據(jù)存儲(chǔ)服務(wù)改执,主要解決高并發(fā)啸蜜、大數(shù)據(jù)場(chǎng)景下,熱點(diǎn)數(shù)據(jù)訪問(wèn)的性能問(wèn)題辈挂,提供高性能的數(shù)據(jù)快速訪問(wèn)能力衬横,減輕關(guān)系型數(shù)據(jù)庫(kù)的壓力
  • 將需要頻繁訪問(wèn)的數(shù)據(jù)以鍵值對(duì)的形式寫(xiě)入緩存系統(tǒng)中,下次要獲取同樣的數(shù)據(jù)時(shí)呢岗,先從緩存中按鍵讀取冕香,如果命中舊直接使用緩存數(shù)據(jù),不需要再訪問(wèn)數(shù)據(jù)庫(kù)后豫,命中率越高數(shù)據(jù)庫(kù)的負(fù)載就越低悉尾。需要保證數(shù)據(jù)庫(kù)與緩存數(shù)據(jù)一致,即當(dāng)數(shù)據(jù)發(fā)生改變時(shí)挫酿,務(wù)必在更新數(shù)據(jù)庫(kù)的同時(shí)构眯,也更新緩存中的數(shù)據(jù)

緩存優(yōu)點(diǎn):

  • 數(shù)據(jù)庫(kù)負(fù)載大幅下降,大量的讀請(qǐng)求被緩存過(guò)濾早龟,不再到達(dá)數(shù)據(jù)庫(kù)
  • 答復(fù)降低數(shù)據(jù)訪問(wèn)延遲惫霸,特別是讀請(qǐng)求的延遲猫缭,不再需要磁盤(pán)的輸入和輸出(IO)
  • 系統(tǒng)可擴(kuò)展性大幅增強(qiáng),數(shù)據(jù)庫(kù)不再是瓶頸壹店,可以通過(guò)增加緩存來(lái)提升系統(tǒng)的吞吐能力

緩存問(wèn)題:

  • 容量:?jiǎn)螜C(jī)緩存容量有上限猜丹,但隨著數(shù)據(jù)量的增加,如果緩存容量不隨之增加硅卢,那么命中率會(huì)越來(lái)越低
  • 高可用:?jiǎn)螜C(jī)緩存存在單點(diǎn)失效的問(wèn)題射窒,如果緩存失效,所有原來(lái)緩存擋住的請(qǐng)求将塑,仍然會(huì)落到數(shù)據(jù)庫(kù)中脉顿,從而造成雪崩效應(yīng),直接把數(shù)據(jù)庫(kù)壓垮
  • 擴(kuò)展性:?jiǎn)渭?jí)緩存的處理能力也有上限点寥,一旦單機(jī)處理不過(guò)來(lái)艾疟,緩存系統(tǒng)反而會(huì)成為瓶頸

分布式緩存核心技術(shù):

  • 分片技術(shù)
    將海量的數(shù)據(jù)切分成足夠多的小片,每一片都包含整體數(shù)據(jù)的一部分敢辩,然后將這些數(shù)據(jù)分布存儲(chǔ)到不同的存儲(chǔ)機(jī)上蔽莱。常見(jiàn)的分片技術(shù)包括一致性哈希和靜態(tài)哈希等,根據(jù)當(dāng)前請(qǐng)求的鍵值決定到哪個(gè)存儲(chǔ)機(jī)上去獲取數(shù)據(jù)责鳍,或者通過(guò)分布式緩存系統(tǒng)提供的接入層進(jìn)行數(shù)據(jù)分發(fā)碾褂。
    當(dāng)數(shù)據(jù)增長(zhǎng)到一定程度的時(shí)候兽间,分布式緩存系統(tǒng)可以自動(dòng)進(jìn)行擴(kuò)容历葛,將數(shù)據(jù)過(guò)多的存儲(chǔ)機(jī)的分片搬遷到新增的存儲(chǔ)機(jī)上。擴(kuò)容過(guò)程應(yīng)保證不影響數(shù)據(jù)的可用性嘀略。
    除了因?yàn)槿萘坎蛔愣M(jìn)行擴(kuò)容外恤溶,還可以將熱點(diǎn)數(shù)據(jù)所在的分片單獨(dú)放到一臺(tái)新增的存儲(chǔ)機(jī)上,使得系統(tǒng)的整體吞吐能力得到提升帜羊,還能不影響其他分片的數(shù)據(jù)訪問(wèn)咒程。

  • 主從結(jié)構(gòu)
    分片只能解決容量的問(wèn)題,每個(gè)分片所在的存儲(chǔ)機(jī)仍然是單點(diǎn)讼育,任何一臺(tái)存儲(chǔ)機(jī)失效帐姻,都會(huì)導(dǎo)致這部分?jǐn)?shù)據(jù)的訪問(wèn)直接透?jìng)鞯綌?shù)據(jù)庫(kù)。因此奶段,通常會(huì)為每臺(tái)存儲(chǔ)機(jī)增加一臺(tái)或多臺(tái)備機(jī)饥瓷,當(dāng)存儲(chǔ)機(jī)因?yàn)榫W(wǎng)絡(luò)或者主機(jī)本身的故障不可用時(shí),分布式緩存系統(tǒng)將自動(dòng)進(jìn)行主備切換痹籍,讓用戶的訪問(wèn)切換到可用的備機(jī)上呢铆,同時(shí)也要為新的主機(jī)建立另一份備用數(shù)據(jù),以保證整體數(shù)據(jù)的份數(shù)不變蹲缠。這樣任意單節(jié)點(diǎn)的失效都不會(huì)影響系統(tǒng)的可用性棺克。

  • 分層結(jié)構(gòu)
    有些分布式緩存系統(tǒng)出了提供存儲(chǔ)機(jī)之外悠垛,還會(huì)提供無(wú)狀態(tài)的接入層。接入層一方面為了屏蔽客戶端對(duì)分片的感知娜谊,使客戶端的請(qǐng)求可以落在分一臺(tái)接入機(jī)上确买,由接入及來(lái)判斷應(yīng)該訪問(wèn)哪一臺(tái)存儲(chǔ)機(jī),另一方面使得系統(tǒng)可以平行拓展纱皆,一旦接入及的負(fù)載過(guò)高拇惋,可以隨時(shí)增加新的接入及來(lái)提升整體的吞吐能力,從而提升系統(tǒng)的可擴(kuò)展性抹剩。

  • 無(wú)單點(diǎn)的主副本

  • 實(shí)時(shí)可視化運(yùn)維系統(tǒng)

  • 自動(dòng)擴(kuò)縮容

  • 自動(dòng)重建備機(jī)

  • 自動(dòng)故障后搬遷

  • 自動(dòng)數(shù)據(jù)均衡

  • 數(shù)據(jù)冷備份

  • 跨機(jī)房容災(zāi) / 異地容災(zāi)

分布式緩存特點(diǎn):

  • 高性能
    高吞吐撑帖、低延時(shí)的訪問(wèn),減少磁盤(pán) IO 和數(shù)據(jù)庫(kù)的壓力

  • 高彈性
    支持彈性擴(kuò)展澳眷,根據(jù)數(shù)據(jù)量以及并發(fā)請(qǐng)求量胡嘿,動(dòng)態(tài)增加或減少節(jié)點(diǎn)來(lái)應(yīng)對(duì)數(shù)據(jù)訪問(wèn)負(fù)載,提供可預(yù)測(cè)的性能和擴(kuò)展性钳踊,最大限度地提高資源利用率

  • 高可用性

    1. 基于冗余機(jī)制衷敌,實(shí)現(xiàn)無(wú)單點(diǎn)失效
    2. 支持故障自動(dòng)發(fā)現(xiàn),透明地實(shí)施故障切換拓瞪,不會(huì)因?yàn)榉?wù)器故障而導(dǎo)致緩存服務(wù)終端或者數(shù)據(jù)丟失
    3. 動(dòng)態(tài)擴(kuò)展時(shí)自動(dòng)均衡數(shù)據(jù)分區(qū)缴罗,同時(shí)保障緩存服務(wù)持續(xù)可用
    4. 更高級(jí)的分布式緩存系統(tǒng)還包括跨機(jī)房和跨域的容災(zāi)特性
  • 高可靠性

    1. 存儲(chǔ)機(jī)的主備同步
    2. 定期備份及刪除 binlog,針對(duì)機(jī)房掉電等極端情況可自動(dòng)恢復(fù)數(shù)據(jù)
    3. 冷備中心保留若干天的存檔數(shù)據(jù)祭埂,支持?jǐn)?shù)據(jù)的追溯和回檔
  • 易用性

    1. 提供與拓?fù)浣Y(jié)構(gòu)無(wú)關(guān)的 API 接口
    2. 提供數(shù)據(jù)與管理視圖
    3. 動(dòng)態(tài)擴(kuò)展或失效恢復(fù)時(shí)無(wú)需人工配置
    4. 自動(dòng)選取備份節(jié)點(diǎn)
    5. 提供圖形化的管理控制臺(tái)面氓,便于統(tǒng)一維護(hù)

分布式緩存典型應(yīng)用場(chǎng)景:

  • Web 頁(yè)面緩存
  • 應(yīng)用對(duì)象緩存
  • 狀態(tài)緩存:包括 Session 回話狀態(tài)及應(yīng)用橫向擴(kuò)展式的狀態(tài)數(shù)據(jù)等
  • NoSQL 存儲(chǔ):將數(shù)據(jù)保存在磁盤(pán)上,并保證主備數(shù)據(jù)是強(qiáng)一致的蛆橡,可以直接將這種分布式緩存系統(tǒng)當(dāng)做一個(gè)分布式的非關(guān)系型數(shù)據(jù)庫(kù)來(lái)使用舌界,而不再需要關(guān)系型數(shù)據(jù)庫(kù)

分布式存儲(chǔ)

  • 通過(guò)分布式技術(shù),將網(wǎng)絡(luò)中不同節(jié)點(diǎn)上的存儲(chǔ)設(shè)備通過(guò)分布式應(yīng)用軟件集合起來(lái)協(xié)同工作泰演,共同對(duì)外提供數(shù)據(jù)存儲(chǔ)和業(yè)務(wù)訪問(wèn)功能呻拌。

  • 數(shù)據(jù)分散存儲(chǔ)在分布式存儲(chǔ)系統(tǒng)的各個(gè)獨(dú)立節(jié)點(diǎn)上,供用戶透明地存取睦焕。

  • 采用可擴(kuò)展的系統(tǒng)結(jié)構(gòu)藐握,利用多臺(tái)存儲(chǔ)服務(wù)器分擔(dān)存儲(chǔ)負(fù)荷,利用管理服務(wù)器定位存儲(chǔ)信息

分布式存儲(chǔ)特性:

  • 可擴(kuò)展性
    可以擴(kuò)展到幾百臺(tái)甚至幾千臺(tái)的集群規(guī)模垃喊,而且隨著集群規(guī)模的增長(zhǎng)猾普,系統(tǒng)的整體性能表現(xiàn)為線性增長(zhǎng)。

  • 數(shù)據(jù)高可靠性
    數(shù)據(jù)采用多副本或者網(wǎng)絡(luò) RAID 的方式進(jìn)行存放缔御,同時(shí)數(shù)據(jù)讀寫(xiě)過(guò)程可以保證多個(gè)副本的強(qiáng)一致性(strong consistency)抬闷,這樣即使因?yàn)榉?wù)器或者磁盤(pán)故障導(dǎo)致某個(gè)副本數(shù)據(jù)丟失,仍可從其他副本中讀取數(shù)據(jù)。

  • 服務(wù)高可用性
    一個(gè)節(jié)點(diǎn)出現(xiàn)故障笤成,不會(huì)影響整個(gè)系統(tǒng)的正常運(yùn)行评架,因?yàn)楣收瞎?jié)點(diǎn)的數(shù)據(jù)在其他存活節(jié)點(diǎn)上有冗余(副本),且存活節(jié)點(diǎn)能夠繼續(xù)對(duì)外提供服務(wù)炕泳。

  • 低成本
    分布式存儲(chǔ)系統(tǒng)的自動(dòng)容錯(cuò)纵诞、自動(dòng)負(fù)載均衡機(jī)制使其可以構(gòu)建在普通 X86 服務(wù)器上。另外培遵,現(xiàn)行擴(kuò)展能力也使得增減機(jī)器非常方便浙芙,可以實(shí)現(xiàn)自動(dòng)運(yùn)維。

分布式存儲(chǔ)主要挑戰(zhàn):數(shù)據(jù)籽腕、狀態(tài)信息的持久化嗡呼,在自動(dòng)遷移、自動(dòng)容錯(cuò)皇耗、并發(fā)讀寫(xiě)的過(guò)程中保持一致性

  • 數(shù)據(jù)分布

    1. 將數(shù)據(jù)均勻分布到多臺(tái)服務(wù)器上
    2. 之后如何實(shí)現(xiàn)跨服務(wù)器讀寫(xiě)操作
  • 一致性
    將數(shù)據(jù)的多個(gè)副本復(fù)制到多臺(tái)服務(wù)器上南窗,即使在異常情況下也能夠保證不同副本之間的數(shù)據(jù)一致性

  • 容錯(cuò)

    1. 檢測(cè)服務(wù)器故障
    2. 自動(dòng)將出現(xiàn)故障的服務(wù)器上的數(shù)據(jù)和服務(wù)前移到集群中的其他服務(wù)器上
  • 負(fù)載均衡

    1. 新增服務(wù)器和集群在正常運(yùn)行過(guò)程中如何實(shí)現(xiàn)自動(dòng)負(fù)載均衡
    2. 數(shù)據(jù)遷移過(guò)程中保證不影響已有服務(wù)

分布式存儲(chǔ)幾大分類:

  • 分布式塊存儲(chǔ)

    通過(guò)聚合集群內(nèi)本地服務(wù)器的磁盤(pán)容量和性能,以創(chuàng)建虛擬存儲(chǔ)池郎楼,通過(guò)軟件對(duì)虛擬存儲(chǔ)池進(jìn)行管理万伤,并向計(jì)算節(jié)點(diǎn)提供塊設(shè)備訪問(wèn)接口。

    可以滿足服務(wù)器虛擬化呜袁,數(shù)據(jù)庫(kù)敌买、開(kāi)發(fā)測(cè)試與虛擬桌面等場(chǎng)景下對(duì)性能、容量阶界、可靠性的要求虹钮。

    1. 采用橫向拓展的分布式架構(gòu),具有很強(qiáng)的擴(kuò)展性荐操,規(guī)奈呤悖可以擴(kuò)展到上千個(gè)節(jié)點(diǎn)珍策,且隨著存儲(chǔ)服務(wù)器數(shù)量的增加托启,吞吐量和每秒進(jìn)行讀寫(xiě)操作的次數(shù)也會(huì)呈線性增長(zhǎng)。
    2. 可以實(shí)現(xiàn)彈性伸縮攘宙,按需增減節(jié)點(diǎn)屯耸。
    3. 分為三大模塊:
      1. 元數(shù)據(jù)管理模塊:配置管理塊存儲(chǔ)單元與元數(shù)據(jù)信息、集群管理節(jié)點(diǎn)蹭劈、IO 請(qǐng)求路由疗绣、拓?fù)洹⒕硇畔⒐芾砥倘汀⒐?jié)點(diǎn)狀態(tài)監(jiān)控等多矮,同時(shí)還負(fù)責(zé)設(shè)備的分配、容量管理等
      2. 存儲(chǔ)服務(wù)器:負(fù)責(zé)數(shù)據(jù)分布和存儲(chǔ),對(duì)邏輯資源池進(jìn)行有效分配和管理塔逃。一定數(shù)量的塊(chunk)構(gòu)成一個(gè)塊組(chunk group)讯壶,客戶端進(jìn)行讀寫(xiě)的時(shí)候從元數(shù)據(jù)存儲(chǔ)服務(wù)器獲取數(shù)據(jù)所在的塊組,具體的數(shù)據(jù)到塊的映射可以通過(guò)特定算法進(jìn)行計(jì)算湾盗,可以大大減少元數(shù)據(jù)服務(wù)器管理的元數(shù)據(jù)伏蚊,并減輕對(duì)應(yīng)的負(fù)載。
        同時(shí)為了實(shí)現(xiàn)多副本數(shù)據(jù)存放格粪,不同服務(wù)器上的多個(gè)塊組構(gòu)成一組(group)躏吊,同一組存放一模一樣的數(shù)據(jù)副本,實(shí)際寫(xiě)數(shù)據(jù)的時(shí)候顯寫(xiě)主組帐萎,再同步到次組比伏,只有所有副本都寫(xiě)成功了才算真正的成功。
        在讀數(shù)據(jù)的時(shí)候通過(guò)算法定位后疆导,只需要讀取其中一個(gè)副本即可凳怨。
      3. 客戶端模塊
    4. 數(shù)據(jù)均衡機(jī)制保證了上層應(yīng)用對(duì)數(shù)據(jù)的 IO 操作均勻分布在不同的存儲(chǔ)服務(wù)器的不同硬盤(pán)上,不會(huì)出現(xiàn)局部的特點(diǎn)是鬼,從而實(shí)現(xiàn)全局負(fù)載均衡肤舞。
      1. 系統(tǒng)自動(dòng)將數(shù)據(jù)塊大三存儲(chǔ)在不同服務(wù)器的不同硬盤(pán)上,冷熱不均的數(shù)據(jù)會(huì)均勻分布在不同的服務(wù)器上均蜜,不會(huì)出現(xiàn)集中的熱點(diǎn)
      2. 數(shù)據(jù)分片分配算法保證主用副本和備用副本在不同服務(wù)器和不同硬盤(pán)上的均勻分布李剖,也就是說(shuō)每個(gè)硬盤(pán)上的主用副本和備用副本的數(shù)量是均勻的
      3. 當(dāng)擴(kuò)容節(jié)點(diǎn)或者故障減容節(jié)點(diǎn)時(shí),數(shù)據(jù)恢復(fù)重建算法保證重建后系統(tǒng)中各節(jié)點(diǎn)負(fù)載的均衡性
  • 分布式文件系統(tǒng)

    運(yùn)行在多臺(tái)計(jì)算機(jī)上囤耳,相互之間通過(guò)某種方式實(shí)現(xiàn)通信篙顺,從而將集群內(nèi)的所有存儲(chǔ)空間資源整合、虛擬化充择,并對(duì)外提供文件服務(wù)的文件系統(tǒng)德玫。

    分布式文件系統(tǒng)與文不是塊存儲(chǔ)系統(tǒng)很相似,區(qū)別在于兩者所提供的訪問(wèn)方式不一樣:

    • 分布式塊存儲(chǔ)提供塊設(shè)備接口椎麦,通過(guò)塊協(xié)議進(jìn)行訪問(wèn)
    • 分布式文件系統(tǒng)提供文件系統(tǒng)接口宰僧,通過(guò) OS 系統(tǒng)調(diào)用進(jìn)行訪問(wèn)

    主要解決數(shù)據(jù)的分布和數(shù)據(jù)多副本的一致性問(wèn)題,以及在異常情況下的數(shù)據(jù)遷移和數(shù)據(jù)修復(fù)問(wèn)題观挎。

  • 分布式對(duì)象存儲(chǔ)

    面向?qū)ο蟮那俣⒑A康幕ヂ?lián)網(wǎng)存儲(chǔ),以 AWS S3 為代表的通過(guò) HTTP 接口提供訪問(wèn)的存儲(chǔ)服務(wù)或者存儲(chǔ)系統(tǒng)嘁捷。

    提供鍵值對(duì)方式的 RESTful 數(shù)據(jù)讀寫(xiě)接口造成,并且常以網(wǎng)絡(luò)服務(wù)的形式提供數(shù)據(jù)的訪問(wèn)。
    對(duì)象名稱就是一個(gè)地址雄嚣,一旦對(duì)象被設(shè)置為公開(kāi)晒屎,所有人都可以進(jìn)行訪問(wèn)。

    主流使用場(chǎng)景為存儲(chǔ)網(wǎng)站、移動(dòng) App 等互聯(lián)網(wǎng) / 移動(dòng)互聯(lián)網(wǎng)應(yīng)用的靜態(tài)內(nèi)容(視頻鼓鲁、圖片履肃、文件、軟件安裝包等)坐桩。

    最大優(yōu)勢(shì)是超大規(guī)模數(shù)據(jù)管理能力(性能不下降):

    • 文件系統(tǒng)
      采用屬性結(jié)構(gòu)對(duì)所有文件和目錄進(jìn)行管理尺棋,當(dāng)文件或目錄過(guò)多時(shí),檢索性能就會(huì)極大下降
      系統(tǒng)級(jí)接口
    • 對(duì)象存儲(chǔ)
      只有目錄和對(duì)象兩層結(jié)構(gòu)绵跷,這種扁平化的結(jié)構(gòu)令對(duì)象數(shù)量即使達(dá)到百億級(jí)別膘螟,檢索速度依然不會(huì)有大的變化
      應(yīng)用級(jí)接口

分布式消息總線

消息總線的主要功能:

  • 消息傳遞
    基本功能
  • 服務(wù)管理
    找到提供服務(wù)的模塊,發(fā)送方和接受方不需要了解彼此碾局,僅需將消息交給消息總線即可荆残,消息總線根據(jù)消息的請(qǐng)求內(nèi)容查找提供服務(wù)。
  • 異步解耦
    消息接收方可以異步處理消息后再將結(jié)果返回給發(fā)送方净当,在有些情況甚至不需要返回處理結(jié)果内斯。消息發(fā)送者和消費(fèi)者無(wú)需感知對(duì)方的存在,實(shí)現(xiàn)發(fā)送和接受的異步解耦像啼。
  • 屏蔽差異
    不同模塊之間通過(guò)消息總線來(lái)實(shí)現(xiàn)交互俘闯,服務(wù)提供者和消費(fèi)者僅僅關(guān)心消息的發(fā)送與讀取,和平臺(tái)忽冻、語(yǔ)言等均無(wú)關(guān)系真朗。
  • 流量控制
    消息總線可以在不堵塞消息發(fā)送者的前提下暫存消息,根據(jù)接受者的實(shí)際處理能力做到按需推送僧诚,起到削峰填谷的作用遮婶,在營(yíng)銷(xiāo)、秒殺活動(dòng)中尤為重要湖笨,可以保證消費(fèi)者不會(huì)被超過(guò)服務(wù)能力的請(qǐng)求壓垮引發(fā)雪崩旗扑。
  • 廣播訂閱
    在某些情況下,對(duì)于一條消息慈省,需要在不同的模塊中各處理一次臀防,廣播訂閱功能可以做到一次發(fā)送多次接受消費(fèi),發(fā)送的消息可以被不同場(chǎng)景中的消費(fèi)者接受訂閱辫呻,增加新模塊無(wú)需任何改動(dòng)清钥,方便擴(kuò)展。
  • 負(fù)載均衡
    對(duì)于有多個(gè)接受者的情況放闺,消息總線可以將請(qǐng)求均衡地推送給各個(gè)接受者,接受者也可以依據(jù)本身的處理能力來(lái)判斷是否接受双泪。另外冈钦,消息總線還可以判斷出消息接收端是否異常,對(duì)于異常的接收端可以進(jìn)行故障隔離右锨,以免擴(kuò)大影響范圍匾寝。
  • 審計(jì)鑒權(quán)
    判斷發(fā)起請(qǐng)求的模塊是否合法搬葬,服務(wù)之前需要授權(quán)才能互通,對(duì)于非法的訪問(wèn)會(huì)返回鑒權(quán)失敗艳悔。
  • 可靠轉(zhuǎn)發(fā)
    保證交互數(shù)據(jù)不丟失
  • 故障自愈
    應(yīng)該預(yù)備一定的容錯(cuò)性急凰,以便在某個(gè)節(jié)點(diǎn)發(fā)生故障時(shí)不會(huì)影響服務(wù)的可用性。當(dāng)主節(jié)點(diǎn)異常時(shí)猜年,系統(tǒng)能及時(shí)發(fā)現(xiàn)并提升備份節(jié)點(diǎn)來(lái)繼續(xù)服務(wù)抡锈。
  • 性能問(wèn)題
    單機(jī)處理能力是有上限的,分布式系統(tǒng)中的模塊個(gè)數(shù)以及模塊間的請(qǐng)求量是無(wú)法預(yù)計(jì)的乔外,因此必須保證消息總線的處理能力不是分布式系統(tǒng)的性能瓶頸床三。
  • 跨中心
    分布式系統(tǒng)的不同模塊有可能分布在不同的數(shù)據(jù)中心,因此消息總線必須具有跨區(qū)域傳輸?shù)哪芰ρ钣祝總€(gè)請(qǐng)求模塊就近接入撇簿,由分布式消息總線來(lái)做透明底層聯(lián)通。
  • 監(jiān)控審計(jì)
    對(duì)于分布式系統(tǒng)差购,優(yōu)勢(shì)需要對(duì)分布在不同機(jī)器甚至地區(qū)的模塊間的消息交互進(jìn)行審計(jì)四瘫,消息總線作為一個(gè)通信總控可以全量備份一定時(shí)間段內(nèi)所有通過(guò)總線的消息,以備審計(jì)使用欲逃,這在金融領(lǐng)域十分常見(jiàn)莲组。

消息總線以消息中間件為底層數(shù)據(jù)通信基礎(chǔ),并在這一基礎(chǔ)上增加了服務(wù)目錄暖夭、鑒權(quán)管理锹杈、流量控制、故障隔離迈着、安全審計(jì)等功能竭望,為分布式系統(tǒng)提供基礎(chǔ)架構(gòu)支撐。

分布式消息很好地解決以下問(wèn)題:

  • 分布式系統(tǒng)的不同組件分布在不同的網(wǎng)絡(luò)計(jì)算機(jī)上裕菠,不同機(jī)器進(jìn)程間如果直接使用網(wǎng)絡(luò)應(yīng)用程序不變成接口編寫(xiě)跨進(jìn)程通信咬清,會(huì)是一件非常麻煩的事情,可以避免編寫(xiě)大量的底層 socket 代碼奴潘。

分布式消息總線的核心特性:

  • 高可靠性:包括發(fā)送旧烧、存儲(chǔ)和投遞三個(gè)階段

    1. 發(fā)送階段:消息發(fā)送者確保得到消息總線返回的成功結(jié)果后才算完成發(fā)送,否則需要充實(shí)以避免發(fā)送階段的消息丟失画髓。
    2. 存儲(chǔ)階段:消息總線受到發(fā)送端的消息后需要多副本(防止單節(jié)點(diǎn)宕機(jī)后丟失消息掘剪,需要保證副本間的數(shù)據(jù)一致性)、持久化存儲(chǔ)(避免在系統(tǒng)緩存中的消息還沒(méi)來(lái)得及持久到磁盤(pán)等介質(zhì)時(shí)節(jié)點(diǎn)斷電等異常造成的數(shù)據(jù)丟失或損壞)成功后才能返回成功的消息奈虾。
    3. 投遞階段:消息總線將消息投遞給接收端后并不能馬上刪除消息夺谁,而是在接收端處理完消息并明確告知后廉赔,才能刪除這條消息并投遞下一條。主要是為了防止接收端受到消息還未來(lái)得及處理就宕機(jī)的場(chǎng)景匾鸥,在接收端看來(lái)這就相當(dāng)于丟失了消息蜡塌。
  • 高可用性:主要由數(shù)據(jù)冗余(確保節(jié)點(diǎn)故障時(shí)數(shù)據(jù)不丟失,保證 RPO)和故障快速發(fā)現(xiàn)切換機(jī)制(消息生產(chǎn)者和消費(fèi)者能夠及時(shí)發(fā)現(xiàn)并切換到可用的消息總線節(jié)點(diǎn)勿负,保證 RTO)來(lái)保證馏艾。

  • 高彈性:通過(guò)流量控制實(shí)現(xiàn)削峰填谷,需要支持億萬(wàn)級(jí)消息的長(zhǎng)時(shí)間堆積奴愉。為了使消息以方便不能堵塞發(fā)送端琅摩,另一方面不能壓垮接收方,消息總線起到蓄水防洪躁劣、按需流控的作用迫吐。分布式消息隊(duì)列突破了單機(jī)存在的存儲(chǔ)上限,使得消息總線的存儲(chǔ)容量理論上達(dá)到無(wú)上限账忘。

  • 易用性:支持對(duì)每條消息的生產(chǎn)志膀、消費(fèi)等整個(gè)流程進(jìn)行可視化跟蹤,方便開(kāi)發(fā)運(yùn)維 Debug 定位問(wèn)題鳖擒。

消息總線典型應(yīng)用場(chǎng)景:

  • 異步解耦溉浙,錯(cuò)峰流控
    如果系統(tǒng)模塊間時(shí)直連同步調(diào)用模式,消息接受者出現(xiàn)任何異常蒋荚,都會(huì)影響發(fā)送者的正常服務(wù)戳稽。通過(guò)分布式消息總線來(lái)實(shí)現(xiàn)異步解耦后,消息發(fā)送方和急售房無(wú)需感知對(duì)方的存在期升,同時(shí)消息總線還可以緩存消息惊奇,防止大量請(qǐng)求涌入后引起雪崩,提高了分布式系統(tǒng)的整體可用性播赁。

  • 一次發(fā)送颂郎,消息多場(chǎng)景服用

分布式負(fù)載均衡網(wǎng)關(guān):

  • 網(wǎng)關(guān)
    連接不同網(wǎng)絡(luò)的關(guān)口
  • 負(fù)載均衡
    負(fù)責(zé)將請(qǐng)求按照指定策略分發(fā)給后端的服務(wù)器,能夠均衡請(qǐng)求壓力容为,發(fā)現(xiàn)和屏蔽后端服務(wù)故障乓序,提升服務(wù)的穩(wěn)定性和資源利用率。
  • 分為硬件負(fù)載均衡(由廠商提供專用的軟件和硬件)和軟件負(fù)載均衡(運(yùn)行在通用的服務(wù)器上)
  • 流量轉(zhuǎn)發(fā)
    根據(jù)請(qǐng)求的特征字段將請(qǐng)求轉(zhuǎn)發(fā)給指定集群坎背,比如 HTTP 協(xié)議的頭部字段替劈、URL 內(nèi)容等
  • 協(xié)議轉(zhuǎn)換 / SSL 卸載
    將客戶端不同的應(yīng)用層協(xié)議轉(zhuǎn)換成服務(wù)器支持的統(tǒng)一協(xié)議,減少后端服務(wù)的協(xié)議適配壓力得滤,提升業(yè)務(wù)開(kāi)發(fā)效率陨献,節(jié)省研發(fā)成本。
  • 安全防攻擊
    分析請(qǐng)求特征和它的安全行為耿戚,比較適合實(shí)現(xiàn)常見(jiàn)的安全功能湿故,比如黑名單阿趁、訪問(wèn)頻率限制膜蛔、WAF(應(yīng)用層防火墻)等坛猪。

負(fù)載均衡實(shí)現(xiàn)原理:

  • 域名解析服務(wù)(DNS)
    提供一個(gè)域名作為負(fù)載均衡器的訪問(wèn)入口,然后給該域名綁定多個(gè)后端機(jī)器 IP 作為 A 記錄皂股,用戶訪問(wèn)域名時(shí)墅茉,通過(guò)輪詢方式返回不同 IP,實(shí)現(xiàn)負(fù)載均衡
    缺點(diǎn):只能支持輪詢的策略呜呐,受限于 DNS 緩存生效時(shí)間就斤,無(wú)法實(shí)現(xiàn)快速地健康檢查機(jī)制,而且每次返回的都是真實(shí)的服務(wù)器 IP 地址蘑辑,存在安全隱患等缺陷

  • 內(nèi)容分發(fā)網(wǎng)絡(luò)(CDN)
    首先將大量?jī)?nèi)容緩存到各個(gè)地方的服務(wù)器集群洋机,用戶訪問(wèn)時(shí),返回離用戶最近的或者負(fù)載最低的集群地址洋魂,實(shí)現(xiàn)負(fù)載均衡
    優(yōu)點(diǎn):提升用戶訪問(wèn)速度绷旗,減少主站壓力
    缺點(diǎn):方案比較復(fù)雜,成本也很高

  • HTTP 負(fù)載均衡
    可以針對(duì) HTTP 協(xié)議的任意特征字段進(jìn)行負(fù)載均衡副砍,包括 HTTP 協(xié)議的 URL衔肢、頭消息,甚至主體內(nèi)容

  • 鏈路層負(fù)載均衡
    負(fù)載均衡器受到用戶請(qǐng)求后豁翎,通過(guò)修改請(qǐng)求的 MAC 地址來(lái)實(shí)現(xiàn)負(fù)載均衡
    優(yōu)點(diǎn):性能最高
    缺點(diǎn):負(fù)載均衡網(wǎng)關(guān)必須和業(yè)務(wù)集群的機(jī)器在同一個(gè) LAN 或者 VLAN 內(nèi)角骤,否則無(wú)法通過(guò) APP 協(xié)議找到業(yè)務(wù)機(jī)器 IP;心剥;業(yè)務(wù)集群的機(jī)器必須綁定 VIP邦尊,否則即使受到廣播包也會(huì)丟棄掉。

  • IP 負(fù)載均衡
    通過(guò)修改源 IP(SIP)或者目的 IP(DIP)實(shí)現(xiàn)負(fù)載均衡
    使用最多优烧、使用場(chǎng)景最廣且性能很好地負(fù)載均衡方案

負(fù)載均衡調(diào)度策略:

  • 輪詢 / 加權(quán)輪詢

  • 隨機(jī)算法

  • 最小響應(yīng)時(shí)間
    通過(guò)記錄每次請(qǐng)求所需的時(shí)間蝉揍,得出平均的響應(yīng)時(shí)間,然后根據(jù)響應(yīng)時(shí)間的長(zhǎng)短選擇響應(yīng)時(shí)間最短的機(jī)器匙隔。
    該策略能較好地反映服務(wù)器的狀態(tài)疑苫,但是由于是平均響應(yīng)時(shí)間,時(shí)間上有些滯后纷责,無(wú)法滿足快速響應(yīng)的要求捍掺。

  • 最小連接數(shù)
    記錄當(dāng)前時(shí)刻每個(gè)后端服務(wù)器正在處理的連接數(shù),然后選擇并發(fā)連接數(shù)最少的后端服務(wù)器再膳。
    該策略能夠快速地反映服務(wù)器的當(dāng)前情況挺勿,較為合理地分配請(qǐng)求,適用于對(duì)當(dāng)前系統(tǒng)負(fù)載較為敏感的場(chǎng)景喂柒。

  • 哈希
    常用的哈希包括 IP 哈希不瓶、URL 哈希等禾嫉,將輸入按照指定的哈希算法生成響應(yīng)的哈希值,根據(jù)哈希值取模在選擇對(duì)應(yīng)的后端服務(wù)器蚊丐。
    該策略能夠?qū)⑾嗤?IP 或者 URL 的請(qǐng)求轉(zhuǎn)發(fā)到相同的后端服務(wù)器上熙参,使用有狀態(tài)的服務(wù)場(chǎng)景。
    缺點(diǎn):如果后端服務(wù)器發(fā)生變化(比如死機(jī)或者增加機(jī)器)麦备,請(qǐng)求和服務(wù)器的對(duì)應(yīng)關(guān)系也會(huì)發(fā)生很大的重排孽椰。如果后端是 Cache 服務(wù),會(huì)導(dǎo)致 Cache 命中率大幅降低凛篙。

  • 本機(jī) / 本機(jī)房?jī)?yōu)先

  • 一致性哈希

分布式系統(tǒng)面臨著遠(yuǎn)比單機(jī)系統(tǒng)更加復(fù)雜的環(huán)境黍匾,包括不同的網(wǎng)絡(luò)環(huán)境、運(yùn)行平臺(tái)呛梆、機(jī)器配置等锐涯。負(fù)載均衡網(wǎng)關(guān)在如此復(fù)雜的環(huán)境中,通過(guò)運(yùn)用各種不同的負(fù)載均衡策略填物,能夠極大地減少各類錯(cuò)誤的發(fā)生纹腌,提升系統(tǒng)的可用性和整體性能。

第 3 章 當(dāng)前主流的 IT 架構(gòu)分析

技術(shù)體系架構(gòu):對(duì)整個(gè) IT 規(guī)劃起到重要的支撐作用融痛。

  • 描述了定義所交付的業(yè)務(wù)系統(tǒng)采用的技術(shù)環(huán)境結(jié)構(gòu)
  • 建立和維護(hù)一套評(píng)價(jià)技術(shù)項(xiàng)目的核心技術(shù)標(biāo)準(zhǔn)
  • 建立技術(shù)和業(yè)務(wù)系統(tǒng)有機(jī)結(jié)合的一種行之有效的方法
  • 建立技術(shù)實(shí)現(xiàn)決策的框架
  • 為企業(yè)的技術(shù)環(huán)境保持良好的發(fā)展態(tài)勢(shì)提供管理架構(gòu)

集中式松耦合架構(gòu)理論和實(shí)踐

耦合性架構(gòu)

模塊化設(shè)計(jì)理論:設(shè)計(jì)具有獨(dú)立功能壶笼,并且和其他模塊間沒(méi)有過(guò)多相互作用的模塊。

分而治之:把復(fù)雜的問(wèn)題分解成許多容易解決的小問(wèn)題雁刷。

耦合性:對(duì)一個(gè)軟件結(jié)構(gòu)內(nèi)不同模塊之間互聯(lián)程度的度量覆劈。
耦合性強(qiáng)弱取決于模塊間接口的復(fù)雜程度、調(diào)用方式和傳遞的信息沛励。
耦合性從低到高责语,模塊獨(dú)立性從高到低:

  • 非直接耦合
    模塊之間完全獨(dú)立
  • 數(shù)據(jù)耦合
    模塊間僅僅交換數(shù)據(jù)信息
  • 標(biāo)記耦合
    模塊間通過(guò)參數(shù)表傳遞記錄信息
  • 控制耦合
    一個(gè)模塊通過(guò)傳送開(kāi)關(guān)、標(biāo)志目派、名字等控制信息坤候,明顯地控制選擇另一模塊的功能
  • 外部耦合
    一組模塊均訪問(wèn)統(tǒng)一全局簡(jiǎn)單變量而不是統(tǒng)一全局?jǐn)?shù)據(jù)結(jié)構(gòu),而且不是通過(guò)參數(shù)表傳遞該全局變量的信息
  • 公共環(huán)境耦合
    模塊之間通過(guò)一個(gè)公共數(shù)據(jù)環(huán)境相互作用
  • 內(nèi)容耦合
    一個(gè)模塊可以直接訪問(wèn)另一個(gè)模塊中的數(shù)據(jù)企蹭,或者不通過(guò)正常入口直接轉(zhuǎn)到另一個(gè)模塊中白筹,或者一個(gè)模塊有多個(gè)入口,或者兩個(gè)模塊有部分代碼重疊

軟件設(shè)計(jì)采取原則:盡量使用數(shù)據(jù)耦合谅摄,少量使用控制耦合和特征耦合徒河,限制公共環(huán)境耦合的范圍,完全不允許內(nèi)容耦合送漠,最終降低模塊間接口的復(fù)雜性顽照。

追求盡可能低耦合性(松散耦合)的系統(tǒng)架構(gòu),研究闽寡、測(cè)試或者維護(hù)任何一個(gè)模塊代兵,而不需要對(duì)系統(tǒng)其它模塊有很多了解尼酿。模塊間的耦合程度直接影響著系統(tǒng)的可理解性、可測(cè)試性植影、可靠性和可維護(hù)性裳擎。

從風(fēng)險(xiǎn)分散的角度出發(fā),針對(duì)集中式松耦合架構(gòu)的局限性何乎,以分布式松耦合架構(gòu)取而代之句惯。在每個(gè)節(jié)點(diǎn)上以客戶為單位土辩,部署用于支撐該客戶群的全部應(yīng)用系統(tǒng)支救,每個(gè)應(yīng)用系統(tǒng)在保持集中式松耦合架構(gòu)特性的同時(shí),在每個(gè)客戶服務(wù)節(jié)點(diǎn)中有獨(dú)立的物理資源拷淘,每個(gè)節(jié)點(diǎn)成為一個(gè)自包含的客戶服務(wù)節(jié)點(diǎn)各墨。

  • 一個(gè)客戶的全生命周期集中在一個(gè)節(jié)點(diǎn)上
  • 設(shè)計(jì)單一客戶的交易處理在單一節(jié)點(diǎn)上完成,節(jié)點(diǎn)間無(wú)依賴關(guān)系

分布式松耦合架構(gòu)打破了銀行應(yīng)用系統(tǒng)間高依賴性對(duì)集中式松耦合架構(gòu)整體可用性的影響启涯,將單節(jié)點(diǎn)故障的影響范圍從一個(gè)業(yè)務(wù)的所有客戶(最終可能升級(jí)成為全部客戶的全部業(yè)務(wù))贬堵,變?yōu)椴糠挚蛻舻娜繕I(yè)務(wù)。隨著節(jié)點(diǎn)數(shù)量的增加结洼,每個(gè)節(jié)點(diǎn)所服務(wù)的客戶群在全行客戶群中的占比會(huì)越來(lái)越低黎做。由此可見(jiàn),分布式松耦合架構(gòu)通過(guò)有效的隔離松忍,控制了單點(diǎn)故障可能引發(fā)的風(fēng)險(xiǎn)蒸殿。

同時(shí),依托分布式松耦合架構(gòu)鸣峭,通過(guò)節(jié)點(diǎn)數(shù)量來(lái)提升整體架構(gòu)的并發(fā)處理性能宏所。銀行業(yè)務(wù)的并發(fā)來(lái)自不同的客戶,單一客戶無(wú)法造成系統(tǒng)并發(fā)處理壓力摊溶。因此爬骤,當(dāng)客戶被分配到不同的節(jié)點(diǎn)上時(shí),由于節(jié)點(diǎn)的自包含特性莫换,架構(gòu)整體處理性能在多客戶并發(fā)的場(chǎng)景下霞玄,隨著壓力被分配到了更多的節(jié)點(diǎn)上,架構(gòu)整體性能也會(huì)得到顯著的提升拉岁,此外坷剧,但應(yīng)用的研發(fā)難度大大降低,對(duì)硬件性能的依賴也大大降低膛薛。

在這個(gè)架構(gòu)體系下听隐,節(jié)點(diǎn)數(shù)量和客戶米達(dá)很大程度上決定了分布式松耦合架構(gòu)對(duì)于風(fēng)險(xiǎn)的分散和性能的提升。但是哄啄,節(jié)點(diǎn)數(shù)量的增加對(duì)于架構(gòu)的整體建設(shè)和運(yùn)營(yíng)將提出巨大的挑戰(zhàn)雅任。因此风范,節(jié)點(diǎn)規(guī)劃設(shè)計(jì)的標(biāo)準(zhǔn)化、相關(guān)技術(shù)的簡(jiǎn)約化成為分布式松耦合架構(gòu)的工作重心沪么。

集中式系統(tǒng)與分布式系統(tǒng)

集中式系統(tǒng):事務(wù)的 ACID 特性

  • 原子性(atomicity)
  • 一致性(consistency)
  • 隔離性(isolation)
  • 持久性(durability)

分布式系統(tǒng):CAP 理論和 BASE 理論

  • CAP 理論
    一個(gè)分布式系統(tǒng)不可能同時(shí)滿足一致性(C)硼婿、可用性(A)和分區(qū)容忍性(P)這三個(gè)基本需求,最多只能同時(shí)滿足其中的兩個(gè)禽车。

  • BASE 理論
    基本可用(basically available)
    弱狀態(tài)(soft state)
    最終一致性(eventually consistent)

BASE 理論面向的是大型高可用寇漫、可擴(kuò)展的分布式系統(tǒng),跟傳統(tǒng)事務(wù)的 ACI 特性是相反的殉摔。它完全不同于 ACID 的強(qiáng)一致性模型州胳,剔除通過(guò)犧牲強(qiáng)一致性來(lái)獲得可用性,并允許數(shù)據(jù)在一段時(shí)間內(nèi)是不一致的逸月,但最終依然會(huì)達(dá)到一致?tīng)顟B(tài)栓撞。

在實(shí)際的分布式場(chǎng)景中,不同業(yè)務(wù)單元和組件對(duì)數(shù)據(jù)一致性的要求是不同的碗硬,因此在具體的分布式系統(tǒng)架構(gòu)設(shè)計(jì)過(guò)程中瓤湘,ACID 特性與 BASE 理論往往又會(huì)結(jié)合在一起使用。

第 4 章 新一代銀行 IT 架構(gòu)分析

  • 六大設(shè)計(jì)原則:高性能恩尾、高彈性弛说、低成本、高可用性翰意、高規(guī)范性木人、低風(fēng)險(xiǎn)
  • 分布式松耦合結(jié)構(gòu)
  • 分布式單主多副本架構(gòu)

新一代架構(gòu)概念模型解析:

從風(fēng)險(xiǎn)分散的角度,在集中式松耦合架構(gòu)的基礎(chǔ)上猎物,橫向切分集群虎囚,每個(gè)節(jié)點(diǎn)以客戶為單位,部署用于支撐該客戶的全部應(yīng)用系統(tǒng)并擁有一個(gè)客戶的所有數(shù)據(jù)蔫磨,形成由多個(gè)可擴(kuò)展的標(biāo)準(zhǔn)化客戶處理節(jié)點(diǎn)構(gòu)成的分布式松耦合架構(gòu)淘讥。

為了規(guī)避 CAP 理論對(duì)分布式多節(jié)點(diǎn)架構(gòu)的限制,將多主節(jié)點(diǎn)架構(gòu)降級(jí)為單主多副本模式堤如,在保證高可用性的前提下蒲列,犧牲一定的處理性能。對(duì)于任何一份數(shù)據(jù)搀罢,在保證存儲(chǔ)至少三個(gè)副本的前提下蝗岖,所有副本之間實(shí)現(xiàn)數(shù)據(jù)強(qiáng)同步,但僅由一個(gè)主副本對(duì)外提供全面的讀寫(xiě)服務(wù)榔至,其余從副本值提供有限的度服務(wù)或者不提供服務(wù)抵赢。這樣做雖然犧牲了性能,但確保了架構(gòu)可用性。

同時(shí)铅鲤,通過(guò)分布式架構(gòu)在降低了單集群的負(fù)載要求后划提,通過(guò)增加集群數(shù)量實(shí)現(xiàn)了架構(gòu)整體的高性能。

關(guān)鍵概念:

  • 數(shù)據(jù)中心(Internet Data Center邢享,IDC)
    微眾銀行新一代互聯(lián)網(wǎng)架構(gòu)規(guī)劃與管理的物理單元

    1. 網(wǎng)絡(luò)吞吐能力以及安全防護(hù)能力
    2. 數(shù)據(jù)中心根據(jù)本中心定位鹏往,選擇需要的模塊組成數(shù)據(jù)中心的物理架構(gòu)
    3. 每個(gè)模塊的標(biāo)準(zhǔn)化包括其網(wǎng)絡(luò)架構(gòu)、物理部署骇塘、硬件設(shè)備型號(hào)等伊履,但不包括其容量,模塊的容量可按需橫向擴(kuò)展
  • 數(shù)據(jù)中心節(jié)點(diǎn)(Data Center Node款违,DCN)
    微眾銀行新一代互聯(lián)網(wǎng)架構(gòu)規(guī)劃與管理的邏輯單元唐瀑,每個(gè) DCN 是一個(gè)物理資源獨(dú)立、應(yīng)用邏輯自包含的節(jié)點(diǎn)奠货,用于承載一個(gè)特定的客戶群或者提供一組特定的服務(wù)介褥。

    1. 分布式架構(gòu)最小的邏輯部署單元
    2. 擁有獨(dú)立的物理計(jì)算和存儲(chǔ)資源,不同節(jié)點(diǎn)之間不共享
    3. 不同節(jié)點(diǎn)之間共享數(shù)據(jù)中心級(jí)的資源递惋,主要包括:數(shù)據(jù)中心的基礎(chǔ)設(shè)施、基礎(chǔ)網(wǎng)絡(luò)和數(shù)據(jù)中心的公共服務(wù)(例如消息總線等)
    4. 數(shù)據(jù)中心節(jié)點(diǎn)屬于并值屬于一個(gè) IDC 中的一個(gè)物理模塊
    5. 按照不同的用途溢陪,可以分為xxx
  • 微眾銀行應(yīng)用架構(gòu)
    由應(yīng)用域萍虽、應(yīng)用系統(tǒng)、應(yīng)用子系統(tǒng)形真、應(yīng)用進(jìn)程杉编、應(yīng)用服務(wù)和服務(wù)場(chǎng)景組成

  • 標(biāo)準(zhǔn)賬戶
    在進(jìn)行架構(gòu)容量規(guī)劃時(shí),需要選擇一種類型的賬戶作為標(biāo)準(zhǔn)咆霜,來(lái)衡量架構(gòu)在當(dāng)前資源部署形勢(shì)下的整體容量邓馒。我們選擇了業(yè)務(wù)邏輯清晰、穩(wěn)定的個(gè)人人民幣活期存款賬戶作為標(biāo)準(zhǔn)賬戶蛾坯,其他類型的賬戶按照業(yè)務(wù)復(fù)雜度光酣、數(shù)據(jù)量等維度定義折算系數(shù),折算為標(biāo)準(zhǔn)賬戶后進(jìn)行容量規(guī)劃與評(píng)估脉课。

實(shí)施成果:

  • 2015 年 8 月 16日救军,App 上線,標(biāo)志著中國(guó)銀行業(yè)首個(gè)完全基于安全可控技術(shù)的互聯(lián)網(wǎng)銀行 IT 架構(gòu)全面投入使用倘零。

  • 依托 2014 年年底投產(chǎn)的深圳同城雙活數(shù)據(jù)中心唱遭,規(guī)劃建設(shè)了一個(gè)同城雙活中心集群。

  • 基于安全可控技術(shù)呈驶,設(shè)計(jì)實(shí)施了中國(guó)銀行業(yè)第一個(gè)全行級(jí)分布式架構(gòu)及所屬的生產(chǎn)數(shù)據(jù)中心集群拷泽,完全采用基于 X86 技術(shù)框架的 PC 服務(wù)器以及基于開(kāi)源產(chǎn)品的安全可控技術(shù),沒(méi)有使用任何由傳統(tǒng)企業(yè)服務(wù)提供商提供的高端商業(yè)化技術(shù)產(chǎn)品或解決方案,實(shí)現(xiàn)了全行信息技術(shù)完全安全可控司致。

  • 同時(shí)在整個(gè)架構(gòu)設(shè)計(jì)過(guò)程中订晌,全面研究了當(dāng)前銀行業(yè)和互聯(lián)網(wǎng)行業(yè)主流的架構(gòu)設(shè)計(jì)理念,融合了銀行和互聯(lián)網(wǎng)兩個(gè)領(lǐng)域的特點(diǎn)蚌吸,球童存疑锈拨,最終采用了分布式架構(gòu)設(shè)計(jì)理念,實(shí)現(xiàn)了以計(jì)算節(jié)點(diǎn)為單位的具備高性能羹唠、高彈性奕枢、高可用性和高規(guī)范性的銀行業(yè)務(wù)處理集群,實(shí)現(xiàn)了對(duì)微眾銀行完全以互聯(lián)網(wǎng)作為客戶渠道的而全新業(yè)務(wù)形態(tài)強(qiáng)有力的支撐佩微。

第 5 章 新一代銀行 IT 架構(gòu)實(shí)踐

安全可控技術(shù)實(shí)踐

傳統(tǒng) IOE 技術(shù)體系:

  • 主機(jī):以 IBM 為代表的商業(yè)化高端計(jì)算資源缝彬、操作系統(tǒng)及虛擬化技術(shù)
  • 數(shù)據(jù)庫(kù):甲骨文、DB2 等數(shù)據(jù)庫(kù)產(chǎn)品
  • 存儲(chǔ):EMC 等公司提供的商業(yè)化高端存儲(chǔ)解決方案

新一代技術(shù)架構(gòu):安全可控的 XML 技術(shù)體系

  • 主機(jī):以 X86 技術(shù)的 PC 服務(wù)器為主的低端計(jì)算資源集群
  • 數(shù)據(jù)庫(kù):基于 MySQL 技術(shù)的分布式高可用多副本強(qiáng)一致數(shù)據(jù)庫(kù)和基于低端計(jì)算資源的本地化存儲(chǔ)
  • 存儲(chǔ):以 Linux哺眯、Ceph谷浅、KVM為代表的開(kāi)源操作系統(tǒng)、分布式存儲(chǔ)和虛擬化技術(shù)

安全可控技術(shù)核心理念:

  • 簡(jiǎn)單可靠
    不信任基礎(chǔ)平臺(tái)及基礎(chǔ)設(shè)施

    1. 不依賴底層平臺(tái)的性能來(lái)實(shí)現(xiàn)整體的應(yīng)用性能
    2. 不依賴底層平臺(tái)的可用性來(lái)實(shí)現(xiàn)最終整個(gè)架構(gòu)的整體可用性
  • 透明可控
    掌握技術(shù)組件的源代碼

    1. 優(yōu)先使用掌握核心技術(shù)的安全可控技術(shù)組件
    2. 在核心節(jié)點(diǎn)只允許使用掌握核心技術(shù)的組件奶卓,不允許使用原生開(kāi)源技術(shù)
      基于這兩個(gè)基本原則一疯,我們仨會(huì)用了大量由騰訊云提供的云計(jì)算技術(shù),這些技術(shù)源自開(kāi)源技術(shù)夺姑,但是在開(kāi)源技術(shù)之上進(jìn)行了深度的二次定制開(kāi)發(fā)墩邀。
  • 安全可信
    確保技術(shù)本身的安全可控

    1. 無(wú)論是適用于核心場(chǎng)景的已充分掌握的關(guān)鍵技術(shù),還是適用于邊緣場(chǎng)景的原生開(kāi)源技術(shù)盏浙,均需要通過(guò)嚴(yán)格的代碼安全掃描眉睹,發(fā)現(xiàn)代碼中隱藏的安全漏洞與風(fēng)險(xiǎn)
    2. 對(duì)核心技術(shù)組件以及其相關(guān)的業(yè)務(wù)場(chǎng)景,定期進(jìn)行攻防演練废膘,確保組件本身在當(dāng)前的技術(shù)條件下是安全可信的竹海,并發(fā)現(xiàn)在代碼掃描中不能發(fā)現(xiàn)的問(wèn)題
    3. 核心組件的更新或升級(jí),均依托頂層分布式架構(gòu)設(shè)計(jì)所帶來(lái)的的優(yōu)勢(shì)丐黄,以節(jié)點(diǎn)為單位斋配,顯進(jìn)行充分的灰度測(cè)試,再逐步推廣孵稽,有效地控制新版本技術(shù)組件的安全影響范圍
    4. 在構(gòu)建整體的信息安全體系時(shí)许起,融合傳統(tǒng)金融機(jī)構(gòu)的標(biāo)準(zhǔn)安全架構(gòu)和互聯(lián)網(wǎng)企業(yè)的安全防御體系,既有傳統(tǒng)的物理防火墻菩鲜,也有互聯(lián)網(wǎng)公司基于軟件的防 DDOS 攻擊的平臺(tái)和 WAF 平臺(tái)园细。一個(gè)縱深、多層次的安全防御體系接校,為業(yè)務(wù)系統(tǒng)構(gòu)筑了強(qiáng)大的安全防護(hù)

[安全治理與管理] | [應(yīng)用安全] 漏洞掃描 WAF 驗(yàn)證碼 反欺詐 | [安全審計(jì)]
-------------- | [數(shù)據(jù)安全] 數(shù)據(jù)訪問(wèn) 數(shù)據(jù)傳輸 數(shù)據(jù)存儲(chǔ) 數(shù)據(jù)銷(xiāo)毀 | --------
安全組織和制度 | [主機(jī)安全] 高危端口掃描 入侵檢測(cè) 登陸防護(hù) 流水查詢 | 違規(guī)內(nèi)容掃描 | 違規(guī)內(nèi)容掃描
人員安全 | [網(wǎng)絡(luò)安全]網(wǎng)絡(luò)訪問(wèn)控制 內(nèi)網(wǎng)流量監(jiān)控 宙斯盾 DDOS防護(hù) DNS篡改檢測(cè) 邊界區(qū)異構(gòu)防火墻 核心防火墻 | 對(duì)外攻擊審計(jì)
安全事件管理 | [IDC物理安全] 機(jī)房安全 設(shè)備安全 監(jiān)控?cái)z像 | 堡壘機(jī)
| [業(yè)務(wù)連續(xù)性管理] 物理容災(zāi) 應(yīng)用容災(zāi) 數(shù)據(jù)容災(zāi) 7*24支持 | 日志審計(jì)

整體技術(shù)堆棧

承載分布式架構(gòu)的是一個(gè)標(biāo)準(zhǔn)的云計(jì)算架構(gòu)猛频。在騰訊云的基礎(chǔ)上進(jìn)行了金融企業(yè)級(jí)的升級(jí)與改造狮崩,形成了一套適用于銀行業(yè)的金融云計(jì)算技術(shù)架構(gòu)。

  • 基礎(chǔ)設(shè)施即服務(wù)(IAAS):底層提供基礎(chǔ)的計(jì)算和網(wǎng)絡(luò)環(huán)境
  • 平臺(tái)即服務(wù)(PAAS):提供豐富的平臺(tái)組件
  • 應(yīng)用系統(tǒng):運(yùn)行于 IAAS 提供的資源和 PAAS 提供的基礎(chǔ)平臺(tái)之上鹿寻,為客戶提供豐富的金融服務(wù)
  • 運(yùn)維即服務(wù)(OPAAS)
  • 安全即服務(wù)(SEAAS)

核心技術(shù)介紹

  • 新一代統(tǒng)一管理調(diào)度平臺(tái)(WeDOS)
    邏輯分層:

    1. 資源調(diào)度層:對(duì)外提供需求訪問(wèn)接口睦柴,通過(guò)內(nèi)部資源申請(qǐng)系統(tǒng)進(jìn)入蓋層,同時(shí)資源調(diào)度層根據(jù)資源需求確認(rèn)不同的資源中心毡熏,并調(diào)度該資源中心的虛擬化管理層接口
    2. 虛擬化管理層:接受資源調(diào)度層的請(qǐng)求坦敌,分析處理對(duì)應(yīng)資源需求,確認(rèn)計(jì)算節(jié)點(diǎn)信息痢法,虛擬主機(jī)配置(CPU狱窘、Memory、IP 等)财搁,完成整個(gè)虛擬化的生命周期(創(chuàng)建->運(yùn)行->回收)蘸炸,同時(shí)向計(jì)算資源層下發(fā)資源分配指令
    3. IDC 資源計(jì)算層:接受虛擬化管理層指令,實(shí)施虛擬化主機(jī)生產(chǎn)與投產(chǎn)尖奔,并對(duì)虛擬化管理層返回實(shí)施結(jié)果
      生產(chǎn)環(huán)境搭儒、容災(zāi)環(huán)境、準(zhǔn)生產(chǎn)環(huán)境提茁、開(kāi)發(fā)測(cè)試環(huán)境

    各個(gè)層面都通過(guò) API 接口進(jìn)行訪問(wèn)控制淹禾。

    1. 各個(gè)邏輯區(qū)域通過(guò) API 交互,相互不存在強(qiáng)依賴型甘凭,邏輯區(qū)域內(nèi)部組件自身實(shí)現(xiàn)高可用性
    2. 單一邏輯區(qū)域的維護(hù)變更稀拐,不影響其他邏輯區(qū)域(保持 API 一致性即可)
    3. 通過(guò) API 獲取執(zhí)行結(jié)果,在故障處理 / 異常定位方面更方便丹弱、清晰
  • 分布式計(jì)算集群
    存儲(chǔ)虛擬化:共享存儲(chǔ)資源池、本地資源池
    共享資源池:計(jì)算節(jié)點(diǎn)只提供 CPU 與內(nèi)存資源,使用分布式存儲(chǔ)系統(tǒng) / 傳統(tǒng)存儲(chǔ)產(chǎn)品建設(shè)共享存儲(chǔ)資源池來(lái)提供虛擬化存儲(chǔ)服務(wù)
    原則:安全可控铲咨、通用性躲胳、資源快速擴(kuò)容與快速交付、計(jì)算節(jié)點(diǎn)網(wǎng)絡(luò)雙 A 模式纤勒、資源快速部署

  • 監(jiān)控體系與故障演練
    所有主機(jī)統(tǒng)一接入自建的監(jiān)控系統(tǒng)坯苹,當(dāng)出現(xiàn)基礎(chǔ)性能與可用性告警時(shí)能及時(shí)上報(bào)告警并進(jìn)行故障處理。
    編寫(xiě)完善的應(yīng)急與故障處理手冊(cè)摇天、組織定期故障演練粹湃,以快速、準(zhǔn)確定位故障泉坐,提高處理時(shí)效

  • 容量管理
    判斷資源使用是否合理为鳄,根據(jù)業(yè)務(wù)發(fā)展趨勢(shì)預(yù)估 IT 資源是否存在瓶頸,并提前進(jìn)行容量預(yù)警

  • 制定管理規(guī)范
    明確的管理規(guī)范腕让、完善的流程制度是系統(tǒng)穩(wěn)定運(yùn)行的保障孤钦,要根據(jù)對(duì)應(yīng)的管理操作規(guī)范,對(duì)設(shè)備管理、安全基線偏形、變更流程静袖、運(yùn)維操作進(jìn)行約束與指引

  • 分布式數(shù)據(jù)庫(kù)集群

    1. 多副本間數(shù)據(jù)強(qiáng)一致性
    2. 服務(wù)高可用性
    3. 高并發(fā)與可擴(kuò)展性
    4. 低成本
  • 數(shù)據(jù)庫(kù)運(yùn)營(yíng)管理

    1. 監(jiān)控與告警
    2. 容量管理
    3. 慢查詢優(yōu)化
  • 安全審計(jì)

    1. 訪問(wèn)審計(jì)
    2. 保護(hù)核心數(shù)據(jù)表
    3. 支持審計(jì)任意數(shù)目的數(shù)據(jù)庫(kù)
  • 規(guī)范化使用

新一代互聯(lián)網(wǎng)架構(gòu)

  • 架構(gòu)總覽

    1. 建設(shè)初期:IDC1.0,兩地三中心(包含同城兩個(gè)生產(chǎn)數(shù)據(jù)中心以及異地?cái)?shù)據(jù)級(jí)異地容災(zāi)中心)
    2. 成長(zhǎng)期:IDC2.0俊扭,兩地四中心(重點(diǎn)引入同城的第三個(gè)數(shù)據(jù)中心队橙,依托該中心,應(yīng)用逐步實(shí)現(xiàn)同城三中心多活的設(shè)計(jì)方案)
  • 復(fù)雜大規(guī)模集群的運(yùn)維管理

    1. 閉環(huán)
    2. 自動(dòng)化
    3. 智能化
  • 多數(shù)據(jù)副本間的一致性及數(shù)據(jù)備份

    1. TDSQL 基于 MySQL 的半同步復(fù)制算法進(jìn)行了性能優(yōu)化萨惑,在滿足主備數(shù)據(jù)強(qiáng)一致的金融級(jí)別要求的前提下捐康,大幅提升數(shù)據(jù)庫(kù)主備同步的性能
    2. TDSQL 多副本部署及容災(zāi)切換機(jī)制
    3. TDSQL 備份系統(tǒng)
  • 基于低端硬件設(shè)備的高可用應(yīng)用架構(gòu):多活

    1. 對(duì)于每個(gè)數(shù)據(jù)中心節(jié)點(diǎn),在同城部署 3 個(gè)節(jié)點(diǎn)咒钟,且分布在 3 個(gè)不同的數(shù)據(jù)中心吹由,在異地?cái)?shù)據(jù)中心部署 1 個(gè)異地備節(jié)點(diǎn)
    2. 對(duì)于重要應(yīng)用子系統(tǒng),在每個(gè)數(shù)據(jù)中心節(jié)點(diǎn)至少部署 3 個(gè)實(shí)例朱嘴;對(duì)于非重要應(yīng)用子系統(tǒng)倾鲫,在每個(gè)數(shù)據(jù)中心節(jié)點(diǎn)至少部署 2 個(gè)實(shí)例
    3. 一個(gè)應(yīng)用子系統(tǒng)的多個(gè)實(shí)例,至少分布在 2 個(gè)或以上不同的物理機(jī)上
    4. 在單個(gè)數(shù)據(jù)中心節(jié)點(diǎn)內(nèi)萍嬉,所有實(shí)例至少分布在 2 個(gè)或以上不同的機(jī)柜上
    5. 不同應(yīng)用域不共享物理機(jī)

以客戶為單位的分布式架構(gòu)

對(duì)外提供的所有服務(wù)乌昔,根據(jù)服務(wù)對(duì)象不同,分成以下兩種類型:

  • 對(duì)客戶服務(wù)壤追,即銀行對(duì)各種不同類型的銀行客戶提供的對(duì)外服務(wù)
  • 銀行后臺(tái)管理服務(wù)磕道,即銀行自身使用的內(nèi)部服務(wù),例如總賬行冰、管理會(huì)計(jì)等

分布式架構(gòu)邏輯:

  • 通過(guò)數(shù)據(jù)分布算法溺蕉,把所有客戶的數(shù)據(jù)分布在多個(gè) DCN(分布式客戶數(shù)據(jù)節(jié)點(diǎn))上,每個(gè)節(jié)點(diǎn)都采用完全相同的節(jié)點(diǎn)結(jié)構(gòu)進(jìn)行部署設(shè)計(jì)悼做,節(jié)點(diǎn)之間通過(guò)消息總線的信息實(shí)現(xiàn)交換
  • 隨著大型高端計(jì)算資源的引入疯特,同時(shí)為了統(tǒng)一信息系統(tǒng)建設(shè)規(guī)劃及運(yùn)營(yíng)管理,實(shí)現(xiàn)全行數(shù)據(jù)統(tǒng)一視圖肛走,各家銀行紛紛進(jìn)行了大集中建設(shè)漓雅,形成全行集中部署的新架構(gòu)
  • 集中統(tǒng)一管理的分行數(shù)據(jù)中心模式:后來(lái)又把大集中之后的集中式架構(gòu)分拆開(kāi),但管理仍維持集中模式
  • 節(jié)點(diǎn)數(shù)據(jù)分布遵循原則:一個(gè)客戶的所有數(shù)據(jù)都包含在一個(gè)數(shù)據(jù)節(jié)點(diǎn)中朽色,包括用戶保證客戶數(shù)據(jù)高可用性的三個(gè)強(qiáng)同步的數(shù)據(jù)副本(一主兩從)邻吞,因此每個(gè) DCN 都能提供處理該類型單個(gè)客戶所有業(yè)務(wù)所需要的應(yīng)用系統(tǒng)
  • 通過(guò)自主研發(fā)的客戶分片及定位的應(yīng)用系統(tǒng)(GNS)來(lái)實(shí)現(xiàn)客戶的分配以及后續(xù)交易處理中的客戶定位,GNS 通過(guò)加權(quán)隨機(jī)算法決定在創(chuàng)建新客戶的時(shí)候該客戶被分配在哪個(gè)節(jié)點(diǎn)下葫男,以及后續(xù)進(jìn)行交易的時(shí)候由它來(lái)告訴交易的相關(guān)處理系統(tǒng)抱冷,所涉及的客戶在哪個(gè)節(jié)點(diǎn),并完成客戶分片策略管理以及之后的客戶定位

雙維度擴(kuò)展性:

  • 橫向擴(kuò)展解決用戶量增加
  • 縱向擴(kuò)展解決交易頻度增加

灰度發(fā)布提升產(chǎn)品更新效率:

  • 通過(guò) GNS 把其中一個(gè)節(jié)點(diǎn)的客戶分配權(quán)重調(diào)低腾誉,使得這個(gè)節(jié)點(diǎn)擁有和其他節(jié)點(diǎn)完全相同的應(yīng)用架構(gòu)徘层、部署架構(gòu)和資源配置峻呕,但是低于其他節(jié)點(diǎn)的客戶負(fù)載,其灰度結(jié)果可以真實(shí)地反映該變更在其他節(jié)點(diǎn)的效果
  • 由于其擁有較低的客戶占比趣效,即使灰度驗(yàn)證出現(xiàn)異常瘦癌,也可以將相關(guān)影響控制在很小的一個(gè)客戶群體內(nèi)
  • 通過(guò)各個(gè)客戶節(jié)點(diǎn)的隔離和標(biāo)準(zhǔn)化的節(jié)點(diǎn)部署以及客戶分配權(quán)重的控制,可以方便地做到真實(shí)有效的灰度驗(yàn)證跷敬,從而大大壓縮應(yīng)用發(fā)布的周期讯私,降低對(duì)測(cè)試過(guò)程的依賴,通過(guò)灰度而生產(chǎn)流量西傀,直接在生產(chǎn)環(huán)境完成軟硬件更新的最后一個(gè)測(cè)試環(huán)節(jié)

通過(guò)安全可控技術(shù)構(gòu)建新一代應(yīng)用架構(gòu):

  • 依托分布式數(shù)據(jù)庫(kù)與分布式緩存的高性能應(yīng)用:以 GNS 為例
  • 依托分布式消息總線以分布式分析框架的服務(wù)治理

第 6 章 新一代架構(gòu)下的運(yùn)維管理

新一代架構(gòu)下的運(yùn)維管理體系

DevOps 運(yùn)維管理體系:構(gòu)建一個(gè)可靠的斤寇、可重復(fù)的、可自動(dòng)哈的交付過(guò)程拥褂,并持續(xù)改進(jìn)

邏輯結(jié)構(gòu):

  • ITSM <-> CMDB <-> DE
  • IRAA <-> AOMP <-> IMS CI

物理架構(gòu):

  • 云環(huán)境:DE / ITSM-OA / 云存儲(chǔ)
  • IDC:
    • DMZ:AGENT / IMS-MOBILE
    • ECN:AGENT
    • MGMT:AOMP / IMS / CMDB / IRAA
    • TDSQL
    • SF:AGENT / ITSM-PRD / BDP

應(yīng)用架構(gòu):

  • 采集層:從各應(yīng)用系統(tǒng)采集數(shù)據(jù)
  • 存儲(chǔ)層:DB
  • 處理層:智能監(jiān)控娘锁、配置管理設(shè)計(jì)驅(qū)動(dòng)、自動(dòng)化運(yùn)維饺鹃、IT 服務(wù)管理魔策、集成接口
  • 展示層:監(jiān)控展示忿峻、配置查詢群发、設(shè)計(jì)圖繪制宰睡、自動(dòng)化運(yùn)維、IT 服務(wù)管理

體系關(guān)鍵點(diǎn)

  • 運(yùn)維閉環(huán)
  • 高可用資源分配
  • 靈活可配的 IT 服務(wù)管理
  • 運(yùn)維流程方法及指引
  • 灰度發(fā)布機(jī)制

體系的關(guān)鍵工具系統(tǒng)

  • DE 專家設(shè)計(jì)工具
  • ITSM IT 服務(wù)管理系統(tǒng)
  • IRAA 智能資源管家
  • CMDB 配置管理數(shù)據(jù)庫(kù)
  • AOMP 自動(dòng)化運(yùn)維平臺(tái)
  • IMS 監(jiān)控
  • WeDOS 云平臺(tái)管理系統(tǒng)

系統(tǒng)效能

智能化運(yùn)維管理體系提供了一整套自動(dòng)化茄螃、智能化的系統(tǒng)工具缝驳,解決了分布式架構(gòu)帶來(lái)的海量運(yùn)維難題,節(jié)省了運(yùn)維人力成本归苍,同時(shí)提升了運(yùn)維管理能力用狱,確保應(yīng)用系統(tǒng)的穩(wěn)定運(yùn)行和業(yè)務(wù)連續(xù)性,提升了客戶信任度拼弃。

服務(wù)治理

管理系統(tǒng)間的服務(wù)調(diào)用關(guān)系齿拂,對(duì)服務(wù)進(jìn)行權(quán)限控制、流量控制肴敛、灰度發(fā)布等

第 7 章 架構(gòu)效能分析

架構(gòu)特性的實(shí)現(xiàn)效果(四高二低)

  • 高性能
  • 高可用性
  • 高規(guī)范性
  • 高可擴(kuò)展性
  • 低成本
  • 低風(fēng)險(xiǎn)

架構(gòu)效能

  • 經(jīng)濟(jì)效益

    1. 有效降低運(yùn)維成本
    2. 整體架構(gòu)具備無(wú)限擴(kuò)展能力,業(yè)務(wù)容量無(wú)上限
    3. 高冗余度設(shè)計(jì)實(shí)現(xiàn)最高級(jí)別的可用性吗购,確保業(yè)務(wù)連續(xù)性
  • 社會(huì)效益

    1. 在同業(yè)間樹(shù)立示范標(biāo)準(zhǔn)医男,助推我國(guó)普惠金融發(fā)展
    2. 全面提升金融機(jī)構(gòu)信息安全水平,提升客戶信任度
最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
  • 序言:七十年代末捻勉,一起剝皮案震驚了整個(gè)濱河市镀梭,隨后出現(xiàn)的幾起案子,更是在濱河造成了極大的恐慌踱启,老刑警劉巖报账,帶你破解...
    沈念sama閱讀 206,126評(píng)論 6 481
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件研底,死亡現(xiàn)場(chǎng)離奇詭異,居然都是意外死亡透罢,警方通過(guò)查閱死者的電腦和手機(jī)榜晦,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 88,254評(píng)論 2 382
  • 文/潘曉璐 我一進(jìn)店門(mén),熙熙樓的掌柜王于貴愁眉苦臉地迎上來(lái)羽圃,“玉大人乾胶,你說(shuō)我怎么就攤上這事⌒嗄” “怎么了识窿?”我有些...
    開(kāi)封第一講書(shū)人閱讀 152,445評(píng)論 0 341
  • 文/不壞的土叔 我叫張陵,是天一觀的道長(zhǎng)脑融。 經(jīng)常有香客問(wèn)我喻频,道長(zhǎng),這世上最難降的妖魔是什么肘迎? 我笑而不...
    開(kāi)封第一講書(shū)人閱讀 55,185評(píng)論 1 278
  • 正文 為了忘掉前任甥温,我火速辦了婚禮,結(jié)果婚禮上膜宋,老公的妹妹穿的比我還像新娘窿侈。我一直安慰自己,他們只是感情好秋茫,可當(dāng)我...
    茶點(diǎn)故事閱讀 64,178評(píng)論 5 371
  • 文/花漫 我一把揭開(kāi)白布史简。 她就那樣靜靜地躺著,像睡著了一般肛著。 火紅的嫁衣襯著肌膚如雪圆兵。 梳的紋絲不亂的頭發(fā)上,一...
    開(kāi)封第一講書(shū)人閱讀 48,970評(píng)論 1 284
  • 那天枢贿,我揣著相機(jī)與錄音殉农,去河邊找鬼。 笑死局荚,一個(gè)胖子當(dāng)著我的面吹牛超凳,可吹牛的內(nèi)容都是我干的。 我是一名探鬼主播耀态,決...
    沈念sama閱讀 38,276評(píng)論 3 399
  • 文/蒼蘭香墨 我猛地睜開(kāi)眼轮傍,長(zhǎng)吁一口氣:“原來(lái)是場(chǎng)噩夢(mèng)啊……” “哼!你這毒婦竟也來(lái)了首装?” 一聲冷哼從身側(cè)響起创夜,我...
    開(kāi)封第一講書(shū)人閱讀 36,927評(píng)論 0 259
  • 序言:老撾萬(wàn)榮一對(duì)情侶失蹤,失蹤者是張志新(化名)和其女友劉穎仙逻,沒(méi)想到半個(gè)月后驰吓,有當(dāng)?shù)厝嗽跇?shù)林里發(fā)現(xiàn)了一具尸體涧尿,經(jīng)...
    沈念sama閱讀 43,400評(píng)論 1 300
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡,尸身上長(zhǎng)有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 35,883評(píng)論 2 323
  • 正文 我和宋清朗相戀三年檬贰,在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了姑廉。 大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片。...
    茶點(diǎn)故事閱讀 37,997評(píng)論 1 333
  • 序言:一個(gè)原本活蹦亂跳的男人離奇死亡偎蘸,死狀恐怖庄蹋,靈堂內(nèi)的尸體忽然破棺而出,到底是詐尸還是另有隱情迷雪,我是刑警寧澤限书,帶...
    沈念sama閱讀 33,646評(píng)論 4 322
  • 正文 年R本政府宣布,位于F島的核電站章咧,受9級(jí)特大地震影響倦西,放射性物質(zhì)發(fā)生泄漏。R本人自食惡果不足惜赁严,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 39,213評(píng)論 3 307
  • 文/蒙蒙 一扰柠、第九天 我趴在偏房一處隱蔽的房頂上張望。 院中可真熱鬧疼约,春花似錦卤档、人聲如沸。這莊子的主人今日做“春日...
    開(kāi)封第一講書(shū)人閱讀 30,204評(píng)論 0 19
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽(yáng)。三九已至织鲸,卻和暖如春舔腾,著一層夾襖步出監(jiān)牢的瞬間,已是汗流浹背搂擦。 一陣腳步聲響...
    開(kāi)封第一講書(shū)人閱讀 31,423評(píng)論 1 260
  • 我被黑心中介騙來(lái)泰國(guó)打工稳诚, 沒(méi)想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留,地道東北人瀑踢。 一個(gè)月前我還...
    沈念sama閱讀 45,423評(píng)論 2 352
  • 正文 我出身青樓扳还,卻偏偏與公主長(zhǎng)得像,于是被迫代替她去往敵國(guó)和親橱夭。 傳聞我的和親對(duì)象是個(gè)殘疾皇子普办,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 42,722評(píng)論 2 345

推薦閱讀更多精彩內(nèi)容