每年“雙11”都是一場電商盛會线罕，消費(fèi)者狂歡日。今年雙11的意義尤為重大凶掰，它已經(jīng)發(fā)展成為全世界電商和消費(fèi)者都參與進(jìn)來的盛宴。而對技術(shù)人員來說蜈亩，雙十一無疑已經(jīng)成為一場大考懦窘，考量的角度是整體架構(gòu)、基礎(chǔ)中間件勺拣、運(yùn)維工具、人員等鱼填。

一次成功的大促準(zhǔn)備不光是針對活動本身對系統(tǒng)和架構(gòu)做的優(yōu)化措施药有，比如：流量控制，緩存策略苹丸，依賴管控愤惰，性能優(yōu)化……更是與長時間的技術(shù)積累和打磨分不開。下面我將簡單介紹支付寶的整體架構(gòu)赘理，讓大家有個初步認(rèn)識宦言，然后會以本次在大促中大放異彩的“螞蟻花唄”為例，大致介紹一個新業(yè)務(wù)是如何從頭開始準(zhǔn)備大促的商模。

架構(gòu)

支付寶的架構(gòu)設(shè)計上應(yīng)該考慮到互聯(lián)網(wǎng)金融業(yè)務(wù)的特殊性奠旺，比如要求更高的業(yè)務(wù)連續(xù)性蜘澜，更好的高擴(kuò)展性，更快速的支持新業(yè)務(wù)發(fā)展等特點(diǎn)响疚。目前其架構(gòu)如下：

整個平臺被分成了三個層：

1.運(yùn)維平臺（IAAS）：主要提供基礎(chǔ)資源的可伸縮性鄙信，比如網(wǎng)絡(luò)、存儲忿晕、數(shù)據(jù)庫装诡、虛擬化、IDC等践盼，保證底層系統(tǒng)平臺的穩(wěn)定性鸦采；

2.技術(shù)平臺（PAAS）：主要提供可伸縮、高可用的分布式事務(wù)處理和服務(wù)計算能力咕幻，能夠做到彈性資源的分配和訪問控制渔伯，提供一套基礎(chǔ)的中間件運(yùn)行環(huán)境，屏蔽底層資源的復(fù)雜性谅河；

3.業(yè)務(wù)平臺（SAAS）：提供隨時隨地高可用的支付服務(wù)咱旱，并且提供一個安全易用的開放支付應(yīng)用開發(fā)平臺。

架構(gòu)特性

邏輯數(shù)據(jù)中心架構(gòu)

在雙十一大促當(dāng)天業(yè)務(wù)量年年翻番的情況下绷耍，支付寶面臨的考驗(yàn)也越來越大：系統(tǒng)的容量越來越大吐限，服務(wù)器、網(wǎng)絡(luò)褂始、數(shù)據(jù)庫诸典、機(jī)房都隨之?dāng)U展，這帶來了一些比較大的問題崎苗，比如系統(tǒng)規(guī)模越來越大狐粱，系統(tǒng)的復(fù)雜度越來越高，以前按照點(diǎn)的伸縮性架構(gòu)無法滿足要求胆数，需要我們有一套整體性的可伸縮方案肌蜻，可以按照一個單元的維度進(jìn)行擴(kuò)展。能夠提供支持異地伸縮的能力必尼，提供N+1的災(zāi)備方案蒋搜，提供整體性的故障恢復(fù)體系∨欣颍基于以上幾個需求豆挽，我們提出了邏輯數(shù)據(jù)中心架構(gòu)，核心思想是把數(shù)據(jù)水平拆分的思路向上層提到接入層券盅、終端帮哈， 從接入層開始把系統(tǒng)分成多個單元，單元有幾個特性：

1.每個單元對外是封閉的锰镀，包括系統(tǒng)間交換各類存儲的訪問;

2.每個單元的實(shí)時數(shù)據(jù)是獨(dú)立的娘侍，不共享咖刃。而會員或配置類對延時性要求不高的數(shù)據(jù)可共享;

3.單元之間的通信統(tǒng)一管控，盡量走異步化消息私蕾。同步消息走單元代理方案僵缺；

下面是支付寶邏輯機(jī)房架構(gòu)的概念圖：

這套架構(gòu)解決了幾個關(guān)鍵問題：

1.由于盡量減少了跨單元交互和使用異步化，使得異地部署成為可能踩叭。整個系統(tǒng)的水平可伸縮性大大提高磕潮，不再依賴同城IDC；

2.可以實(shí)現(xiàn)N+1的異地災(zāi)備策略容贝，大大縮減災(zāi)備成本自脯，同時確保災(zāi)備設(shè)施真實(shí)可用；

3.整個系統(tǒng)已無單點(diǎn)存在斤富，大大提升了整體的高可用性膏潮；同城和異地部署的多個單元可用作互備的容災(zāi)設(shè)施，通過運(yùn)維管控平臺進(jìn)行快速切換满力，有機(jī)會實(shí)現(xiàn)100%的持續(xù)可用率焕参；

4.該架構(gòu)下業(yè)務(wù)級別的流量入口和出口形成了統(tǒng)一的可管控、可路由的控制點(diǎn)油额，整體系統(tǒng)的可管控能力得到很大提升叠纷。基于該架構(gòu)潦嘶，線上壓測涩嚣、流量管控、灰度發(fā)布等以前難以實(shí)現(xiàn)的運(yùn)維管控模式掂僵，現(xiàn)在能夠十分輕松地實(shí)現(xiàn)航厚。

目前新架構(gòu)的同城主體框架在2013年已經(jīng)完成，并且順利的面對了雙十一的考驗(yàn)锰蓬，讓整套架構(gòu)的落地工作得到了很好的證明幔睬。

在2015年完成了基于邏輯機(jī)房，異地部署的“異地多活”的架構(gòu)落地芹扭÷槎ィ“異地多活”架構(gòu)是指，基于邏輯機(jī)房擴(kuò)展能力冯勉，在不同的地域IDC部署邏輯機(jī)房澈蚌，并且每個邏輯機(jī)房都是“活”的摹芙，真正承接線上業(yè)務(wù)灼狰，在發(fā)生故障的時候可以快速進(jìn)行邏輯機(jī)房之間的快速切換。

這比傳統(tǒng)的“兩地三中心”架構(gòu)有更好的業(yè)務(wù)連續(xù)性保障浮禾。在“異地多活”的架構(gòu)下交胚，一個IDC對應(yīng)的故障容災(zāi)IDC是一個“活”的IDC份汗，平時就承接著正常線上業(yè)務(wù)，保證其穩(wěn)定性和業(yè)務(wù)的正確性是一直被確保的蝴簇。

以下是支付寶“異地多活”架構(gòu)示意圖：

除了更好的故障應(yīng)急能力之外杯活，基于邏輯機(jī)房我們又具備的“藍(lán)綠發(fā)布”或者說“灰度發(fā)布”的驗(yàn)證能力。我們把單個邏輯機(jī)房（后續(xù)簡稱LDC）內(nèi)部又分成A熬词、B兩個邏輯機(jī)房旁钧，A 、B機(jī)房在功能上完全對等互拾。日常情況下歪今，調(diào)用請求按照對等概率隨機(jī)路由到A或B 。當(dāng)開啟藍(lán)綠模式時颜矿，上層路由組件會調(diào)整路由計算策略寄猩，隔離A與B之間的調(diào)用， A組內(nèi)應(yīng)用只能相互訪問骑疆，而不會訪問B組田篇。

然后進(jìn)行藍(lán)綠發(fā)布流程大致如下：

Step1. 發(fā)布前，將“藍(lán)”流量調(diào)至0%箍铭，對“藍(lán)”的所有應(yīng)用整體無序分2組發(fā)布泊柬。

Step2. “藍(lán)”引流1%觀察，如無異常坡疼，逐步上調(diào)分流比例至100%彬呻。

Step3. “綠”流量為0%，對“綠”所有應(yīng)用整體無序分2組發(fā)布柄瑰。

Step4. 恢復(fù)日常運(yùn)行狀態(tài)闸氮，藍(lán)、綠單元各承擔(dān)線上50%的業(yè)務(wù)流量教沾。

分布式數(shù)據(jù)架構(gòu)

支付寶在2015年雙十一當(dāng)天的高峰期間處理支付峰值8.59萬筆/秒蒲跨，已經(jīng)是國際第一大系統(tǒng)支付。支付寶已經(jīng)是全球最大的OLTP處理者之一授翻，對事務(wù)的敏感使支付寶的數(shù)據(jù)架構(gòu)有別于其他的互聯(lián)網(wǎng)公司或悲，卻繼承了互聯(lián)網(wǎng)公司特有的巨大用戶量，最主要的是支付寶對交易的成本比傳統(tǒng)金融公司更敏感堪唐，所以支付寶數(shù)據(jù)架構(gòu)發(fā)展巡语，就是一部低成本、線性可伸縮淮菠、分布式的數(shù)據(jù)架構(gòu)演變史男公。

現(xiàn)在支付寶的數(shù)據(jù)架構(gòu)已經(jīng)從集中式的小型機(jī)和高端存儲升級到了分布式PC服務(wù)解決方案，整體數(shù)據(jù)架構(gòu)的解決方案盡量做到無廠商依賴合陵，并且標(biāo)準(zhǔn)化枢赔。

支付寶分布式數(shù)據(jù)架構(gòu)可伸縮策略主要分為三個維度：

1.按照業(yè)務(wù)類型進(jìn)行垂直拆分

2.按照客戶請求進(jìn)行水平拆分（也就是常說的數(shù)據(jù)的sharding策略）

3.對于讀遠(yuǎn)遠(yuǎn)大于寫的數(shù)據(jù)進(jìn)行讀寫分離和數(shù)據(jù)復(fù)制處理

下圖是支付寶內(nèi)部交易數(shù)據(jù)的可伸縮性設(shè)計：

交易系統(tǒng)的數(shù)據(jù)主要分為三個大數(shù)據(jù)庫集群：

1.主交易數(shù)據(jù)庫集群澄阳，每一筆交易創(chuàng)建和狀態(tài)的修改首先在這?完成，產(chǎn)生的變更再通過可靠數(shù)據(jù)復(fù)制中心復(fù)制到其他兩個數(shù)據(jù)庫集群：消費(fèi)記錄數(shù)據(jù)庫集群踏拜、商戶查詢數(shù)據(jù)庫集群碎赢。該數(shù)據(jù)庫集群的數(shù)據(jù)被水平拆分成多份，為了同時保證可伸縮性和高可靠性速梗，每一個節(jié)點(diǎn)都會有與之對應(yīng)的備用節(jié)點(diǎn)和failover節(jié)點(diǎn)肮塞，在出現(xiàn)故障的時候可以在秒級內(nèi)切換到failover節(jié)點(diǎn)。

2.消費(fèi)記錄數(shù)據(jù)庫集群姻锁，提供消費(fèi)者更好的用戶體驗(yàn)和需求峦嗤；

3.商戶查詢數(shù)據(jù)庫集群，提供商戶更好的用戶體驗(yàn)和需求屋摔；

對于分拆出來的各個數(shù)據(jù)節(jié)點(diǎn)烁设，為了保證對上層應(yīng)用系統(tǒng)的透明，我們研發(fā)一套數(shù)據(jù)中間產(chǎn)品來保證交易數(shù)據(jù)做到彈性擴(kuò)容钓试。

數(shù)據(jù)的可靠性

分布式數(shù)據(jù)架構(gòu)下装黑，在保證事務(wù)原有的ACID（原子性、一致性弓熏、隔離性恋谭、持久性）特性的基礎(chǔ)上，還要保證高可用和可伸縮性挽鞠，挑戰(zhàn)非常大疚颊。試想你同時支付了兩筆資金，這兩筆資金的事務(wù)如果在分布式環(huán)境下相互影響信认，在其中一筆交易資金回滾的情況下材义，還會影響另外一筆是多么不能接受的情況。

根據(jù)CAP和BASE原則嫁赏，再結(jié)合支付寶系統(tǒng)的特點(diǎn)其掂，我們設(shè)計了一套基于服務(wù)層面的分布式事務(wù)框架，他支持兩階段提交協(xié)議潦蝇，但是做了很多的優(yōu)化款熬，在保證事務(wù)的ACID原則的前提下，確保事務(wù)的最終一致性 攘乒。我們叫做“柔性事物”策略贤牛。原理如下：

以下是分布式事務(wù)框架的流程圖：

實(shí)現(xiàn)：

1.一個完整的業(yè)務(wù)活動由一個主業(yè)務(wù)服務(wù)與若干從業(yè)務(wù)服務(wù)組成。

2.主業(yè)務(wù)服務(wù)負(fù)責(zé)發(fā)起并完成整個業(yè)務(wù)活動则酝。

3.從業(yè)務(wù)服務(wù)提供TCC型業(yè)務(wù)操作殉簸。

4.業(yè)務(wù)活動管理器控制業(yè)務(wù)活動的一致性，它登記業(yè)務(wù)活動中的操作，并在活動提交時確認(rèn)所有的兩階段事務(wù)的confirm操作喂链，在業(yè)務(wù)活動取消時調(diào)用所有兩階段事務(wù)的cancel操作⊥兹”

與2PC協(xié)議比較：

1.沒有單獨(dú)的Prepare階段椭微，降低協(xié)議成本

2.系統(tǒng)故障容忍度高，恢復(fù)簡單

其中關(guān)鍵組件異步可靠消息策略如下：

其中一些關(guān)鍵設(shè)計點(diǎn)：

1.若在第2盲链、3蝇率、4步出現(xiàn)故障，業(yè)務(wù)系統(tǒng)自行決定回滾還是另起補(bǔ)償機(jī)制刽沾；若在第6本慕、7步出現(xiàn)異常，消息中心需要回查生產(chǎn)者侧漓；若在第8步出現(xiàn)異常锅尘，消息中心需要重試。第6步的確認(rèn)消息由消息中心組件封裝布蔗，應(yīng)用系統(tǒng)無需感知藤违。

2.此套機(jī)制保障了消息數(shù)據(jù)的完整性，進(jìn)而保障了與通過異步可靠消息通訊的系統(tǒng)數(shù)據(jù)最終一致性纵揍。

3.某些業(yè)務(wù)的前置檢查顿乒，需要消息中心提供指定條件回查機(jī)制。

螞蟻花唄

螞蟻花唄是今年增加的一個新支付工具泽谨，“確認(rèn)收貨后璧榄、下月還”的支付體驗(yàn)受到了越來越多的消費(fèi)者信賴。跟余額和余額寶一樣吧雹，螞蟻花唄避開了銀行間的交易鏈路骨杂，最大限度避免支付時的擁堵。據(jù)官方數(shù)據(jù)披露雄卷，在今天的雙十一大促中腊脱，螞蟻花唄支付成功率達(dá)到99.99%、平均每筆支付耗時0.035秒龙亲，和各大銀行渠道一起確保了支付的順暢陕凹。

螞蟻花唄距今發(fā)展不到一年，但發(fā)展速度非出快杜耙。從上線初期的10筆/秒的支付量發(fā)展到雙十一當(dāng)天峰值2.1w筆/秒。支撐螞蟻花唄業(yè)務(wù)發(fā)展的技術(shù)體系經(jīng)過不斷演進(jìn)拂盯、已經(jīng)完全依托于螞蟻金服的金融云架構(gòu)佑女。

在2014年12月，螞蟻花唄團(tuán)隊完成業(yè)務(wù)系統(tǒng)優(yōu)化，按照標(biāo)準(zhǔn)將系統(tǒng)架設(shè)到了金融云上团驱，依次對接了渠道層摸吠、業(yè)務(wù)層、核心平臺層嚎花、數(shù)據(jù)層寸痢，使得用戶對螞蟻花唄在營銷、下單和支付整個過程中體驗(yàn)統(tǒng)一紊选。

2015年4月啼止，螞蟻花唄系統(tǒng)同步金融云的單元化的建設(shè)，即LDC兵罢，使得數(shù)據(jù)和應(yīng)用走向異地成為了現(xiàn)實(shí)献烦，具備了較好的擴(kuò)展性和流量管控能力。在可用性方面卖词，與金融云賬務(wù)體系深度結(jié)合巩那，借用賬務(wù)系統(tǒng)的failover能力，使得螞蟻花唄通過低成本改造就具備了同城災(zāi)備此蜈、異地災(zāi)備等高可用能力拢操。任何一個單元的數(shù)據(jù)庫出了問題、能夠快速進(jìn)行容災(zāi)切換舶替、不會影響這個單元的用戶進(jìn)行螞蟻花唄支付令境。在穩(wěn)定性方面，借助于云客戶平臺的高穩(wěn)定性的能力顾瞪，將螞蟻花唄客戶簽約形成的合約數(shù)據(jù)遷移進(jìn)去舔庶，并預(yù)先寫入云客戶平臺的緩存中，在大促高峰期緩存的命中率達(dá)到100%陈醒。同時惕橙，結(jié)合全鏈路壓測平臺，對螞蟻花唄進(jìn)行了能力摸高和持續(xù)的穩(wěn)定性測試钉跷，發(fā)現(xiàn)系統(tǒng)的性能點(diǎn)反復(fù)進(jìn)行優(yōu)化弥鹦，使得大促當(dāng)天系統(tǒng)平穩(wěn)運(yùn)行。在之前的架構(gòu)中爷辙，系統(tǒng)的秒級處理能力無法有效衡量彬坏，通過簡單的引流壓測無法得到更加準(zhǔn)確、可信的數(shù)據(jù)膝晾。立足于金融云栓始，系統(tǒng)很快通過全鏈路壓測得到了每秒處理4w筆支付的穩(wěn)定能力。

螞蟻花唄業(yè)務(wù)中最為關(guān)鍵的一環(huán)在于買家授信和支付風(fēng)險的控制血当。從買家下單的那一刻開始幻赚，后臺便開始對虛假交易禀忆、限額限次、套現(xiàn)落恼、支用風(fēng)險等風(fēng)險模型進(jìn)行并行計算箩退，這些模型最終將在20ms以內(nèi)完成對僅百億數(shù)據(jù)的計算和判定，能夠在用戶到達(dá)收銀臺前確定這筆交易是否存在潛在風(fēng)險佳谦。

為了保證螞蟻花唄雙11期間的授信資金充足戴涝，在金融云體系下搭建了機(jī)構(gòu)資產(chǎn)中心，對接支付清算平臺吠昭，將表內(nèi)的信貸資產(chǎn)打包形成一個一定期限的資產(chǎn)池，并以這個資產(chǎn)池為基礎(chǔ)胧瓜，發(fā)行可交易證券進(jìn)行融資矢棚，即通過資產(chǎn)轉(zhuǎn)讓的方式獲得充足資金，通過這一創(chuàng)新確保了用戶能夠通過花唄服務(wù)順利完成交易府喳，并分流對銀行渠道的壓力蒲肋。通過資產(chǎn)證券化運(yùn)作，不僅幫助100多萬小微企業(yè)實(shí)現(xiàn)融資钝满，也支撐了螞蟻花唄用戶的消費(fèi)信貸需求兜粘。螞蟻小貸的資產(chǎn)證券化業(yè)務(wù)平臺可達(dá)到每小時過億筆、總規(guī)模數(shù)十億元級別的資產(chǎn)轉(zhuǎn)讓弯蚜。

總結(jié)

經(jīng)過這么多年的高可用架構(gòu)和大促的準(zhǔn)備工作溅潜，螞蟻金融技術(shù)團(tuán)隊可以做到“先勝而后求戰(zhàn)”陷寝，主要分為三方面技術(shù)積累：“謀”，“器”，“將”蚂斤。

“謀”就是整體的架構(gòu)設(shè)計方案和策略；

“器”就是支持技術(shù)工作的各種基礎(chǔ)中間件和基礎(chǔ)組件缴啡；

“將”就是通過實(shí)踐鍛煉成長起來的技術(shù)人員砸讳。

縱觀現(xiàn)在各種架構(gòu)分享，大家喜歡談“謀”的方面較多诵叁，各種架構(gòu)設(shè)計方案優(yōu)化策略分享雁竞，但實(shí)際最后多是兩種情況：“吹的牛X根本沒被證實(shí)過”（各種框架能力根本沒經(jīng)過實(shí)際考驗(yàn)，只是一紙空談）拧额，“吹過的牛X一經(jīng)實(shí)際考驗(yàn)就破了”（說的設(shè)計理念很好碑诉，但是一遇到實(shí)際的大業(yè)務(wù)的沖擊系統(tǒng)就掛了），最后能成功的少之又少侥锦。這些說明雖然架構(gòu)上的“心靈雞湯”和“成功學(xué)”技術(shù)人員都已經(jīng)熟的不行联贩，但是發(fā)現(xiàn)一到實(shí)踐其實(shí)根本不是那么回事。從此可以看出捎拯，其實(shí)最后起決定作用的不是 “謀”方面的理論層面的分析設(shè)計泪幌，最重要的是落地“器”和“將”的層面盲厌。有過硬高穩(wěn)定性的各種基礎(chǔ)設(shè)施工具的和身經(jīng)百戰(zhàn)被“虐了千百次”的技術(shù)人員的支撐才是最后取勝的關(guān)鍵。而這個兩個層面的問題是不能通過分享學(xué)到的祸泪，是要通過日積月累的吗浩，無數(shù)流血流淚趟雷中招鍛煉出來的，沒有近路可抄没隘。

而目前從業(yè)務(wù)和市場的發(fā)展形勢來看懂扼，往往就是需要技術(shù)在某個特定時間有個質(zhì)的能力的提升和飛躍，不會給你太多的準(zhǔn)備技術(shù)架構(gòu)提升的時間右蒲，在技術(shù)積累和人員儲備都不足的時候阀湿，如何構(gòu)建平臺能力，把更多的精力放在業(yè)務(wù)相關(guān)的開發(fā)任務(wù)中瑰妄，是每個技術(shù)團(tuán)隊的希望得到的能力 陷嘴。

過去我們是通過某個開源或者商業(yè)組件來實(shí)現(xiàn)技術(shù)共享得到快速解決謀發(fā)展技術(shù)的能力的，但是隨著業(yè)務(wù)復(fù)雜性间坐，專業(yè)性灾挨，規(guī)模的逐步變大，這種方式的缺點(diǎn)也是顯而易見的：1竹宋、很多組件根本無法滿足大并發(fā)場景下的各種技術(shù)指標(biāo)劳澄；2、隨著業(yè)務(wù)的復(fù)雜和專業(yè)性的提高蜈七，沒有可以直接使用的開源組件秒拔；3、“人”本身的經(jīng)驗(yàn)和能力是無法傳遞的飒硅。

所以現(xiàn)在我們通過“云”分享的技術(shù)和業(yè)務(wù)的能力的方式也發(fā)展的越來越快溯警，這就我們剛才介紹的“螞蟻花唄”技術(shù)用幾個月的時間快速的成功的達(dá)到“從上線初期的10筆/秒的支付量發(fā)展到雙十一當(dāng)天峰值2.1w筆/秒，快速走完了別人走了幾年都可能達(dá)不到的能力狡相。類似的例子還有大家熟知的“余額寶”系統(tǒng)梯轻。

這些都是建立在原來螞蟻金服用了10年打磨的基礎(chǔ)組件和技術(shù)人員經(jīng)驗(yàn)的云服務(wù)上的，通過目前基于這種能力尽棕，我們目前可以快速給內(nèi)部和外部的客戶組建喳挑，高可用、安全滔悉、高效伊诵、合規(guī)的金融云服務(wù)架構(gòu)下的系統(tǒng)。