一仇穗、分布式數(shù)據(jù)庫(kù)系統(tǒng)概述

1流部、概述一

分布式數(shù)據(jù)庫(kù)（Distributed Database，DDB）是指數(shù)據(jù)分散存儲(chǔ)在計(jì)算機(jī)網(wǎng)絡(luò)中的各臺(tái)計(jì)算機(jī)上的數(shù)據(jù)庫(kù)纹坐。
分布式數(shù)據(jù)庫(kù)系統(tǒng)（Distributed Database System枝冀，DDBS）通常使用較小的計(jì)算機(jī)系統(tǒng)，每臺(tái)計(jì)算機(jī)可單獨(dú)放在一個(gè)地方耘子；每臺(tái)計(jì)算機(jī)中都可能有DBMS（數(shù)據(jù)庫(kù)管理系統(tǒng)）的一份完整拷貝副本果漾，或者部分拷貝副本，并具有自己局部的數(shù)據(jù)庫(kù)谷誓；位于不同地點(diǎn)的許多計(jì)算機(jī)通過(guò)網(wǎng)絡(luò)互相連接绒障，共同組成一個(gè)完整的、全局的捍歪、邏輯上集中户辱、物理上分布的大型數(shù)據(jù)庫(kù)系統(tǒng)。

2糙臼、概述二

分布式數(shù)據(jù)庫(kù)庐镐，是指利用高速計(jì)算機(jī)網(wǎng)絡(luò)，將物理上分散的多個(gè)數(shù)據(jù)存儲(chǔ)單元連接起來(lái)組成一個(gè)邏輯上統(tǒng)一的數(shù)據(jù)庫(kù)变逃。
分布式數(shù)據(jù)庫(kù)的基本思想必逆，是將原來(lái)集中式數(shù)據(jù)庫(kù)中的數(shù)據(jù)分散存儲(chǔ)到多個(gè)通過(guò)網(wǎng)絡(luò)連接的數(shù)據(jù)存儲(chǔ)節(jié)點(diǎn)上，以獲取更大的存儲(chǔ)容量和更高的并發(fā)訪(fǎng)問(wèn)量揽乱。
近年來(lái)名眉，隨著數(shù)據(jù)量的高速增長(zhǎng)，分布式數(shù)據(jù)庫(kù)技術(shù)也得到了快速的發(fā)展凰棉。傳統(tǒng)的關(guān)系型數(shù)據(jù)庫(kù)開(kāi)始從集中式模型向分布式架構(gòu)發(fā)展损拢。基于關(guān)系型的分布式數(shù)據(jù)庫(kù)渊啰，在保留傳統(tǒng)數(shù)據(jù)庫(kù)的數(shù)據(jù)模型和基本特征前提下探橱，從集中式存儲(chǔ)走向分布式存儲(chǔ)，從集中式計(jì)算走向分布式計(jì)算绘证。

3隧膏、分布式數(shù)據(jù)庫(kù)系統(tǒng)主要特點(diǎn)

在大數(shù)據(jù)時(shí)代，面對(duì)海量數(shù)據(jù)量的井噴式增長(zhǎng)和不斷增長(zhǎng)的用戶(hù)需求嚷那，分布式數(shù)據(jù)庫(kù)系統(tǒng)必須具有如下特征胞枕，才能應(yīng)對(duì)不斷增長(zhǎng)的海量數(shù)據(jù)。
1魏宽、高可擴(kuò)展性
分布式數(shù)據(jù)庫(kù)系統(tǒng)必須具有高可擴(kuò)展性腐泻，能夠動(dòng)態(tài)地增添存儲(chǔ)節(jié)點(diǎn)以實(shí)現(xiàn)存儲(chǔ)容量的線(xiàn)性擴(kuò)展决乎。
2、高并發(fā)性
分布式數(shù)據(jù)庫(kù)系統(tǒng)必須及時(shí)響應(yīng)大規(guī)模用戶(hù)的讀/寫(xiě)請(qǐng)求派桩，能對(duì)海量數(shù)據(jù)進(jìn)行隨機(jī)讀/寫(xiě)构诚。
3、高可用性
分布式數(shù)據(jù)庫(kù)系統(tǒng)必須提供容錯(cuò)機(jī)制铆惑，能夠?qū)崿F(xiàn)對(duì)數(shù)據(jù)的冗余備份范嘱，保證數(shù)據(jù)和服務(wù)的高度可靠性。

4员魏、分布式數(shù)據(jù)庫(kù)系統(tǒng)優(yōu)點(diǎn)

在大數(shù)據(jù)時(shí)代丑蛤，面對(duì)日益增長(zhǎng)的海量數(shù)據(jù)，傳統(tǒng)的集中式數(shù)據(jù)庫(kù)系統(tǒng)的弊端日益顯現(xiàn)撕阎，分布式數(shù)據(jù)庫(kù)系統(tǒng)相對(duì)傳統(tǒng)的集中式數(shù)據(jù)庫(kù)系統(tǒng)具有如下優(yōu)點(diǎn)：
1受裹、更高的數(shù)據(jù)訪(fǎng)問(wèn)速度
分布式數(shù)據(jù)庫(kù)系統(tǒng)為了保證數(shù)據(jù)的高可靠性，往往采用備份的策略實(shí)現(xiàn)容錯(cuò)機(jī)制虏束。所以棉饶，在讀取數(shù)據(jù)的時(shí)候，客戶(hù)端可以并發(fā)地從多個(gè)備份服務(wù)器同時(shí)讀取魄眉，從而提高了數(shù)據(jù)訪(fǎng)問(wèn)速度砰盐。
2、更強(qiáng)的可擴(kuò)展性
分布式數(shù)據(jù)庫(kù)系統(tǒng)可以通過(guò)增添存儲(chǔ)節(jié)點(diǎn)來(lái)實(shí)現(xiàn)存儲(chǔ)容量的線(xiàn)性擴(kuò)展坑律，而集中式數(shù)據(jù)庫(kù)系統(tǒng)的可擴(kuò)展性十分有限。
3囊骤、更高的并發(fā)訪(fǎng)問(wèn)量
分布式數(shù)據(jù)庫(kù)系統(tǒng)由于采用多臺(tái)主機(jī)組成存儲(chǔ)集群晃择，所以相對(duì)集中式數(shù)據(jù)庫(kù)系統(tǒng)，它可以提供更高的用戶(hù)并發(fā)訪(fǎng)問(wèn)量也物。

5宫屠、典型應(yīng)用

以最典型應(yīng)用的銀行領(lǐng)域?yàn)槔?br> 1、可以大大提高數(shù)據(jù)的管理效率
將分散的數(shù)據(jù)庫(kù)從邏輯上聯(lián)系在一起滑蚯，可以大大提高數(shù)據(jù)的管理效率浪蹂。這就是總行和支行之間的關(guān)系：總行與全國(guó)各地的支行之間，既有各自需要處理的數(shù)據(jù)告材，又有需要交換的數(shù)據(jù)坤次。
2、可以提高故障發(fā)生時(shí)的數(shù)據(jù)安全性
將數(shù)據(jù)分散存儲(chǔ)在各地的數(shù)據(jù)庫(kù)中斥赋，可提高故障發(fā)生時(shí)的數(shù)據(jù)安全性缰猴。一旦上海支行的數(shù)據(jù)庫(kù)出現(xiàn)故障，比如停機(jī)疤剑、損壞滑绒，也是僅僅限于上海支行闷堡，總行、廣州等其他地區(qū)的支行數(shù)據(jù)庫(kù)的數(shù)據(jù)都不會(huì)受到影響疑故。
3杠览、分布式架構(gòu)具備良好的擴(kuò)展性
例如，在建立一個(gè)新的海外支行時(shí)纵势，只要將新建的數(shù)據(jù)庫(kù)加入到原有的分布式數(shù)據(jù)庫(kù)架構(gòu)中就可以了倦零，以最小的代價(jià)在不影響原有支行、總行的情況下完成數(shù)據(jù)庫(kù)系統(tǒng)的擴(kuò)展吨悍。
4扫茅、以冗余方式進(jìn)行數(shù)據(jù)的備份
以備在系統(tǒng)崩潰、數(shù)據(jù)丟失的情況下育瓜，仍有備份數(shù)據(jù)可以進(jìn)行恢復(fù)葫隙。

6、集中式數(shù)據(jù)庫(kù)和分布式數(shù)據(jù)庫(kù)的區(qū)別：

二耳标、集中式數(shù)據(jù)庫(kù)

集中式數(shù)據(jù)庫(kù)基本上是一種存儲(chǔ)，定位以及僅在單個(gè)位置維護(hù)的數(shù)據(jù)庫(kù)邑跪。此類(lèi)數(shù)據(jù)庫(kù)是從該位置本身修改和管理的次坡。因此，該位置主要是任何數(shù)據(jù)庫(kù)系統(tǒng)或中央計(jì)算機(jī)系統(tǒng)呀袱∶潮希可以通過(guò)Internet連接（LAN，WAN等）訪(fǎng)問(wèn)集中位置夜赵。該集中式數(shù)據(jù)庫(kù)主要由機(jī)構(gòu)或組織使用。

image.png

優(yōu)點(diǎn) ：
由于所有數(shù)據(jù)僅存儲(chǔ)在單個(gè)位置乡革，因此更易于訪(fǎng)問(wèn)和協(xié)調(diào)數(shù)據(jù)寇僧。
集中式數(shù)據(jù)庫(kù)的數(shù)據(jù)冗余非常小，因?yàn)樗袛?shù)據(jù)都存儲(chǔ)在單個(gè)位置沸版。
與所有其他可用數(shù)據(jù)庫(kù)相比嘁傀，它更便宜。
缺點(diǎn)：
在集中式數(shù)據(jù)庫(kù)的情況下视粮，數(shù)據(jù)流量更多细办。
如果集中式系統(tǒng)發(fā)生任何類(lèi)型的系統(tǒng)故障，那么整個(gè)數(shù)據(jù)將被破壞。

三笑撞、分布式數(shù)據(jù)庫(kù)：

分布式數(shù)據(jù)庫(kù)基本上是一種數(shù)據(jù)庫(kù)岛啸，它由多個(gè)相互連接并分布在不同物理位置的數(shù)據(jù)庫(kù)組成。因此茴肥，可以獨(dú)立于其他物理位置來(lái)管理存儲(chǔ)在各個(gè)物理位置上的數(shù)據(jù)坚踩。因此，在不同物理位置的數(shù)據(jù)庫(kù)之間的通信是由計(jì)算機(jī)網(wǎng)絡(luò)完成的瓤狐。

image.png

優(yōu)點(diǎn)：
由于數(shù)據(jù)已經(jīng)分散在不同的物理位置瞬铸，因此可以輕松擴(kuò)展該數(shù)據(jù)庫(kù)。
可以從不同的網(wǎng)絡(luò)輕松訪(fǎng)問(wèn)分布式數(shù)據(jù)庫(kù)础锐。
與集中式數(shù)據(jù)庫(kù)相比嗓节，該數(shù)據(jù)庫(kù)更安全。
缺點(diǎn)：
該數(shù)據(jù)庫(kù)非常昂貴皆警，并且由于其復(fù)雜性而難以維護(hù)拦宣。
在此數(shù)據(jù)庫(kù)中，由于它分布在不同的物理位置耀怜，因此很難為用戶(hù)提供統(tǒng)一的視圖恢着。

四、集中式和分布式業(yè)務(wù)場(chǎng)景解析：

4.1财破、集中式

由于集中式數(shù)據(jù)庫(kù)已經(jīng)是非常成熟且應(yīng)用范圍極為廣泛掰派，從目前銀行的眾多系統(tǒng)來(lái)看，適用的業(yè)務(wù)場(chǎng)景超過(guò)了95%以上左痢。

4.2靡羡、交易型分布式

分布式數(shù)據(jù)庫(kù)由于將大量的數(shù)據(jù)，如賬戶(hù)信息分散到了多個(gè)數(shù)據(jù)節(jié)點(diǎn)上俊性。當(dāng)系統(tǒng)出現(xiàn)各種資金流轉(zhuǎn)的事務(wù)略步，就極有可能導(dǎo)致一個(gè)事務(wù)跨越多個(gè)數(shù)據(jù)節(jié)點(diǎn)的問(wèn)題。這就導(dǎo)致了分布式事務(wù)的問(wèn)題定页。
最初的交易型分布式數(shù)據(jù)庫(kù)的出現(xiàn)趟薄，其應(yīng)用場(chǎng)景主要是互聯(lián)網(wǎng)型的業(yè)務(wù)場(chǎng)景，比如說(shuō)電商交易典徊，用戶(hù)下單買(mǎi)東西杭煎、支付等等操作，根本不是完整的交易卒落，因?yàn)榇嬖诎l(fā)貨和收貨的過(guò)程羡铲，這些交易被拆散成了多個(gè)極為簡(jiǎn)單的過(guò)程，整體數(shù)據(jù)完全不需要強(qiáng)一致性的要求儡毕，所以在數(shù)據(jù)庫(kù)層面的交易基本可以避免出現(xiàn)分布式事務(wù)的出現(xiàn)也切，即使有分布式事務(wù)也沒(méi)有那么高的一致性要求。
而銀行的交易絕大多數(shù)對(duì)事務(wù)和數(shù)據(jù)有強(qiáng)一致性的要求，且有嚴(yán)格的校驗(yàn)規(guī)則雷恃，這就導(dǎo)致了銀行的交易中涉及到了諸多賬戶(hù)和數(shù)據(jù)的關(guān)聯(lián)性疆股。這種特點(diǎn)對(duì)于分布式來(lái)說(shuō)尤其難以處理，數(shù)據(jù)庫(kù)領(lǐng)域里較為成熟的技術(shù)是通過(guò)兩階段提交技術(shù)解決分布式事務(wù)的強(qiáng)一致性問(wèn)題褂萧，但是該種技術(shù)存在多次網(wǎng)絡(luò)通訊押桃，會(huì)造成較大的資源開(kāi)銷(xiāo)和交易延遲。對(duì)常規(guī)的銀行交易并不太合適导犹。
所以交易型分布式數(shù)據(jù)庫(kù)唱凯，就目前的行業(yè)技術(shù)而言，比較適合用在互聯(lián)網(wǎng)型的簡(jiǎn)單交易的業(yè)務(wù)場(chǎng)景谎痢。所以若要在銀行業(yè)中應(yīng)用磕昼，必須將傳統(tǒng)的業(yè)務(wù)系統(tǒng)中的不同業(yè)務(wù)進(jìn)行分離和改造。這其實(shí)也是一種業(yè)務(wù)拆分节猿，跟微服務(wù)是類(lèi)似的思路票从。

五、應(yīng)用改造解析

5.1滨嘱、集中式

從業(yè)務(wù)角度來(lái)說(shuō)峰鄙，業(yè)務(wù)邏輯基本不需要改造。只需要關(guān)注數(shù)據(jù)庫(kù)語(yǔ)法太雨、驅(qū)動(dòng)等的差異上吟榴，應(yīng)用開(kāi)發(fā)的工作量比較小。
但是如果本身系統(tǒng)的負(fù)載量很重囊扳，超過(guò)了單臺(tái)服務(wù)器的算力極限吩翻，就需要進(jìn)行微服務(wù)改造。也就是將一個(gè)大型的應(yīng)用進(jìn)行業(yè)務(wù)拆分锥咸。跟過(guò)去銀行的胖核心向瘦核心轉(zhuǎn)變的發(fā)展歷程類(lèi)似狭瞎，所以微服務(wù)化的發(fā)展方向也在銀行業(yè)的這個(gè)發(fā)展歷程中被證實(shí)是行之有效的。
一個(gè)大型應(yīng)用的負(fù)載量進(jìn)行微服務(wù)化以后搏予，實(shí)際上是一種業(yè)務(wù)層面的分布式改造方式熊锭，稱(chēng)為垂直分片。這種分片的好處就是系統(tǒng)之間相對(duì)比較獨(dú)立雪侥，不會(huì)出現(xiàn)交易跨節(jié)點(diǎn)的問(wèn)題球涛，不存在數(shù)據(jù)一致性的困難。
況且微服務(wù)化也是各行業(yè)校镐，包括銀行業(yè)，未來(lái)業(yè)務(wù)系統(tǒng)發(fā)展的一種方向捺典。

5.2鸟廓、分布式

從業(yè)務(wù)適用場(chǎng)景來(lái)看，在前述章節(jié)中也描述過(guò)了，交易型分布式數(shù)據(jù)庫(kù)主要適用于互聯(lián)網(wǎng)型的簡(jiǎn)單交易場(chǎng)景引谜。必須在特定的業(yè)務(wù)系統(tǒng)中牍陌，找到合適的業(yè)務(wù)模塊才能適用。而且在傳統(tǒng)數(shù)據(jù)庫(kù)中的諸多全局的特性员咽，都需要在應(yīng)用層進(jìn)行考慮和改造毒涧，例如：
●數(shù)據(jù)一致性，需要考慮強(qiáng)一致性贝室、最終一致性和柔性事務(wù)對(duì)事務(wù)數(shù)據(jù)的影響契讲；
●備份恢復(fù)的一致性問(wèn)題，為了滿(mǎn)足一致性對(duì)生產(chǎn)可能會(huì)造成影響滑频；
●數(shù)據(jù)分片的算法捡偏，盡可能保證交易不跨節(jié)點(diǎn)；
●外鍵關(guān)聯(lián)峡迷，由于不同表的關(guān)聯(lián)字段和分布式的分片鍵可能不一樣银伟，所以該功能無(wú)法實(shí)現(xiàn)；
●全局索引绘搞，由于數(shù)據(jù)跨多節(jié)點(diǎn)彤避，索引沒(méi)辦法做到跨物理節(jié)點(diǎn)檢索，所以count(*)等操作無(wú)法優(yōu)化夯辖；
●全局唯一性琉预，有的產(chǎn)品在主鍵、唯一鍵的全局唯一性很難保證楼雹，即使能支持也會(huì)嚴(yán)重影響性能模孩；
●全局序列，大多產(chǎn)品每個(gè)節(jié)點(diǎn)只能維持自己的序列贮缅，但對(duì)于業(yè)務(wù)來(lái)說(shuō)這沒(méi)有意義榨咐。有的產(chǎn)品支持全局序列，但又會(huì)出現(xiàn)嚴(yán)重的瓶頸谴供，性能還不如集中式數(shù)據(jù)庫(kù)块茁；
●聚合運(yùn)算受限，可能出現(xiàn)眾多聚合函數(shù)不支持桂肌；
●在存儲(chǔ)過(guò)程数焊、自定義函數(shù)功能有極大限制，以至于眾多數(shù)據(jù)處理必須靠應(yīng)用層解決崎场；
●臨時(shí)表和模式功能使用受限佩耳，需要應(yīng)用層處理；
●事務(wù)隔離級(jí)別谭跨，無(wú)法做到集中式數(shù)據(jù)庫(kù)支持得豐富干厚，可能會(huì)導(dǎo)致某些應(yīng)用需要重新設(shè)計(jì)李滴；
●擴(kuò)展性，分布式數(shù)據(jù)庫(kù)的擴(kuò)展性較好蛮瞄，但是要聯(lián)機(jī)動(dòng)態(tài)擴(kuò)展對(duì)生產(chǎn)仍然存在明顯的影響所坯；
即使我們找到一個(gè)合適的業(yè)務(wù)場(chǎng)景可用于分布式數(shù)據(jù)庫(kù)，但是應(yīng)用也不可能做到不改造挂捅，從上述列舉的內(nèi)容來(lái)看芹助，改造量非常大。從應(yīng)用的拆分闲先，到業(yè)務(wù)邏輯的修改状土，甚至到很多細(xì)節(jié)代碼層面都需要考慮，基本上應(yīng)用得完全重寫(xiě)饵蒂。

六声诸、基礎(chǔ)架構(gòu)層面解析

6.1、集中式

初期投入：在負(fù)載量許可的范圍內(nèi)退盯，資源利用率較高彼乌，集中式架構(gòu)的硬件投入比較低；
研發(fā)投入：中小型業(yè)務(wù)系統(tǒng)研發(fā)投入成本極小渊迁，即使是大型應(yīng)用進(jìn)行微服務(wù)化的改造量也相對(duì)較低慰照；
長(zhǎng)期投入：集中式架構(gòu)簡(jiǎn)單、組件少琉朽、更為成熟毒租，運(yùn)維成本更低。且用電量更低箱叁。

6.2墅垮、分布式

初期投入：由于分布式存在大量分布式交互，負(fù)載能力上是分布式架構(gòu)需要多臺(tái)機(jī)器等效于集中式1臺(tái)服務(wù)器耕漱。尤其是小型集群算色，起步可能是5~8臺(tái)節(jié)點(diǎn)才能等效于1臺(tái)集中式的能力。性?xún)r(jià)比很低螟够；
研發(fā)投入：首先要進(jìn)行業(yè)務(wù)拆分灾梦，找到合適的交易業(yè)務(wù)進(jìn)行分布式改造，還得考慮兼容差異問(wèn)題妓笙，研發(fā)投入無(wú)論如何都比較大若河；
長(zhǎng)期投入：架構(gòu)復(fù)雜，一般都是幾十節(jié)點(diǎn)寞宫，大型系統(tǒng)幾百節(jié)點(diǎn)萧福，運(yùn)維成本和用電成本都很高，與國(guó)家雙碳規(guī)劃相悖辈赋。