每年“雙11”都是一場電商盛會排截，消費者狂歡日嫌蚤。今年雙11的意義尤為重大，它已經(jīng)發(fā)展成為全世界電商和消費者都參與進(jìn)來的盛宴断傲。而對技術(shù)人員來說脱吱，雙十一無疑已經(jīng)成為一場大考，考量的角度是整體架構(gòu)认罩、基礎(chǔ)中間件箱蝠、運維工具、人員等垦垂。

一次成功的大促準(zhǔn)備不光是針對活動本身對系統(tǒng)和架構(gòu)做的優(yōu)化措施宦搬，比如：流量控制，緩存策略劫拗，依賴管控间校，性能優(yōu)化……更是與長時間的技術(shù)積累和打磨分不開。下面我將簡單介紹支付寶的整體架構(gòu)页慷，讓大家有個初步認(rèn)識憔足，然后會以本次在大促中大放異彩的“螞蟻花唄”為例，大致介紹一個新業(yè)務(wù)是如何從頭開始準(zhǔn)備大促的酒繁。

架構(gòu)

支付寶的架構(gòu)設(shè)計上應(yīng)該考慮到互聯(lián)網(wǎng)金融業(yè)務(wù)的特殊性滓彰，比如要求更高的業(yè)務(wù)連續(xù)性，更好的高擴(kuò)展性州袒，更快速的支持新業(yè)務(wù)發(fā)展等特點揭绑。目前其架構(gòu)如下：

整個平臺被分成了三個層：

運維平臺（IAAS）：主要提供基礎(chǔ)資源的可伸縮性，比如網(wǎng)絡(luò)郎哭、存儲他匪、數(shù)據(jù)庫、虛擬化彰居、IDC等诚纸，保證底層系統(tǒng)平臺的穩(wěn)定性；

技術(shù)平臺（PAAS）：主要提供可伸縮陈惰、高可用的分布式事務(wù)處理和服務(wù)計算能力，能夠做到彈性資源的分配和訪問控制毕籽，提供一套基礎(chǔ)的中間件運行環(huán)境抬闯，屏蔽底層資源的復(fù)雜性；

業(yè)務(wù)平臺（SAAS）：提供隨時隨地高可用的支付服務(wù)关筒，并且提供一個安全易用的開放支付應(yīng)用開發(fā)平臺溶握。

架構(gòu)特性

邏輯數(shù)據(jù)中心架構(gòu)

在雙十一大促當(dāng)天業(yè)務(wù)量年年翻番的情況下，支付寶面臨的考驗也越來越大：系統(tǒng)的容量越來越大蒸播，服務(wù)器睡榆、網(wǎng)絡(luò)萍肆、數(shù)據(jù)庫、機(jī)房都隨之?dāng)U展胀屿，這帶來了一些比較大的問題塘揣，比如系統(tǒng)規(guī)模越來越大，系統(tǒng)的復(fù)雜度越來越高宿崭，以前按照點的伸縮性架構(gòu)無法滿足要求亲铡，需要我們有一套整體性的可伸縮方案，可以按照一個單元的維度進(jìn)行擴(kuò)展葡兑。能夠提供支持異地伸縮的能力奖蔓，提供N+1的災(zāi)備方案，提供整體性的故障恢復(fù)體系讹堤∵汉祝基于以上幾個需求，我們提出了邏輯數(shù)據(jù)中心架構(gòu)洲守，核心思想是把數(shù)據(jù)水平拆分的思路向上層提到接入層疑务、終端， 從接入層開始把系統(tǒng)分成多個單元岖沛，單元有幾個特性：

每個單元對外是封閉的暑始，包括系統(tǒng)間交換各類存儲的訪問;

每個單元的實時數(shù)據(jù)是獨立的，不共享婴削。而會員或配置類對延時性要求不高的數(shù)據(jù)可共享;

單元之間的通信統(tǒng)一管控廊镜，盡量走異步化消息。同步消息走單元代理方案唉俗；

下面是支付寶邏輯機(jī)房架構(gòu)的概念圖：

這套架構(gòu)解決了幾個關(guān)鍵問題：

由于盡量減少了跨單元交互和使用異步化嗤朴，使得異地部署成為可能。整個系統(tǒng)的水平可伸縮性大大提高虫溜，不再依賴同城IDC雹姊；

可以實現(xiàn)N+1的異地災(zāi)備策略，大大縮減災(zāi)備成本衡楞，同時確保災(zāi)備設(shè)施真實可用吱雏；

整個系統(tǒng)已無單點存在，大大提升了整體的高可用性瘾境；同城和異地部署的多個單元可用作互備的容災(zāi)設(shè)施歧杏，通過運維管控平臺進(jìn)行快速切換，有機(jī)會實現(xiàn)100%的持續(xù)可用率迷守；

該架構(gòu)下業(yè)務(wù)級別的流量入口和出口形成了統(tǒng)一的可管控犬绒、可路由的控制點，整體系統(tǒng)的可管控能力得到很大提升兑凿】Γ基于該架構(gòu)茵瘾，線上壓測、流量管控咐鹤、灰度發(fā)布等以前難以實現(xiàn)的運維管控模式拗秘，現(xiàn)在能夠十分輕松地實現(xiàn)。

目前新架構(gòu)的同城主體框架在2013年已經(jīng)完成慷暂，并且順利的面對了雙十一的考驗聘殖，讓整套架構(gòu)的落地工作得到了很好的證明。

在2015年完成了基于邏輯機(jī)房行瑞，異地部署的“異地多活”的架構(gòu)落地奸腺。“異地多活”架構(gòu)是指血久，基于邏輯機(jī)房擴(kuò)展能力突照，在不同的地域IDC部署邏輯機(jī)房，并且每個邏輯機(jī)房都是“活”的氧吐，真正承接線上業(yè)務(wù)讹蘑，在發(fā)生故障的時候可以快速進(jìn)行邏輯機(jī)房之間的快速切換。

這比傳統(tǒng)的“兩地三中心”架構(gòu)有更好的業(yè)務(wù)連續(xù)性保障筑舅。在“異地多活”的架構(gòu)下座慰，一個IDC對應(yīng)的故障容災(zāi)IDC是一個“活”的IDC，平時就承接著正常線上業(yè)務(wù)翠拣，保證其穩(wěn)定性和業(yè)務(wù)的正確性是一直被確保的版仔。

以下是支付寶“異地多活”架構(gòu)示意圖：

除了更好的故障應(yīng)急能力之外，基于邏輯機(jī)房我們又具備的“藍(lán)綠發(fā)布”或者說“灰度發(fā)布”的驗證能力误墓。我們把單個邏輯機(jī)房（后續(xù)簡稱LDC）內(nèi)部又分成A蛮粮、B兩個邏輯機(jī)房，A 谜慌、B機(jī)房在功能上完全對等然想。日常情況下，調(diào)用請求按照對等概率隨機(jī)路由到A或B 欣范。當(dāng)開啟藍(lán)綠模式時变泄，上層路由組件會調(diào)整路由計算策略，隔離A與B之間的調(diào)用恼琼， A組內(nèi)應(yīng)用只能相互訪問杖刷，而不會訪問B組。

然后進(jìn)行藍(lán)綠發(fā)布流程大致如下：

Step1. 發(fā)布前驳癌，將“藍(lán)”流量調(diào)至0%，對“藍(lán)”的所有應(yīng)用整體無序分2組發(fā)布役听。

Step2. “藍(lán)”引流1%觀察颓鲜，如無異常表窘，逐步上調(diào)分流比例至100%。

Step3. “綠”流量為0%甜滨，對“綠”所有應(yīng)用整體無序分2組發(fā)布乐严。

Step4. 恢復(fù)日常運行狀態(tài)，藍(lán)衣摩、綠單元各承擔(dān)線上50%的業(yè)務(wù)流量昂验。

分布式數(shù)據(jù)架構(gòu)

支付寶在2015年雙十一當(dāng)天的高峰期間處理支付峰值8.59萬筆/秒，已經(jīng)是國際第一大系統(tǒng)支付艾扮。支付寶已經(jīng)是全球最大的OLTP處理者之一既琴，對事務(wù)的敏感使支付寶的數(shù)據(jù)架構(gòu)有別于其他的互聯(lián)網(wǎng)公司，卻繼承了互聯(lián)網(wǎng)公司特有的巨大用戶量泡嘴，最主要的是支付寶對交易的成本比傳統(tǒng)金融公司更敏感甫恩，所以支付寶數(shù)據(jù)架構(gòu)發(fā)展，就是一部低成本酌予、線性可伸縮磺箕、分布式的數(shù)據(jù)架構(gòu)演變史。

現(xiàn)在支付寶的數(shù)據(jù)架構(gòu)已經(jīng)從集中式的小型機(jī)和高端存儲升級到了分布式PC服務(wù)解決方案抛虫，整體數(shù)據(jù)架構(gòu)的解決方案盡量做到無廠商依賴松靡，并且標(biāo)準(zhǔn)化。

支付寶分布式數(shù)據(jù)架構(gòu)可伸縮策略主要分為三個維度：

按照業(yè)務(wù)類型進(jìn)行垂直拆分

按照客戶請求進(jìn)行水平拆分（也就是常說的數(shù)據(jù)的sharding策略）

對于讀遠(yuǎn)遠(yuǎn)大于寫的數(shù)據(jù)進(jìn)行讀寫分離和數(shù)據(jù)復(fù)制處理

下圖是支付寶內(nèi)部交易數(shù)據(jù)的可伸縮性設(shè)計：

交易系統(tǒng)的數(shù)據(jù)主要分為三個大數(shù)據(jù)庫集群：

主交易數(shù)據(jù)庫集群建椰，每一筆交易創(chuàng)建和狀態(tài)的修改首先在這?完成雕欺，產(chǎn)生的變更再通過可靠數(shù)據(jù)復(fù)制中心復(fù)制到其他兩個數(shù)據(jù)庫集群：消費記錄數(shù)據(jù)庫集群、商戶查詢數(shù)據(jù)庫集群广凸。該數(shù)據(jù)庫集群的數(shù)據(jù)被水平拆分成多份阅茶，為了同時保證可伸縮性和高可靠性，每一個節(jié)點都會有與之對應(yīng)的備用節(jié)點和failover節(jié)點谅海，在出現(xiàn)故障的時候可以在秒級內(nèi)切換到failover節(jié)點脸哀。

消費記錄數(shù)據(jù)庫集群，提供消費者更好的用戶體驗和需求扭吁；

商戶查詢數(shù)據(jù)庫集群撞蜂，提供商戶更好的用戶體驗和需求；

對于分拆出來的各個數(shù)據(jù)節(jié)點侥袜，為了保證對上層應(yīng)用系統(tǒng)的透明蝌诡，我們研發(fā)一套數(shù)據(jù)中間產(chǎn)品來保證交易數(shù)據(jù)做到彈性擴(kuò)容。

數(shù)據(jù)的可靠性

分布式數(shù)據(jù)架構(gòu)下枫吧，在保證事務(wù)原有的ACID（原子性浦旱、一致性、隔離性九杂、持久性）特性的基礎(chǔ)上颁湖，還要保證高可用和可伸縮性宣蠕，挑戰(zhàn)非常大。試想你同時支付了兩筆資金甥捺，這兩筆資金的事務(wù)如果在分布式環(huán)境下相互影響抢蚀，在其中一筆交易資金回滾的情況下，還會影響另外一筆是多么不能接受的情況镰禾。

根據(jù)CAP和BASE原則皿曲，再結(jié)合支付寶系統(tǒng)的特點，我們設(shè)計了一套基于服務(wù)層面的分布式事務(wù)框架吴侦，他支持兩階段提交協(xié)議屋休，但是做了很多的優(yōu)化，在保證事務(wù)的ACID原則的前提下妈倔，確保事務(wù)的最終一致性 博投。我們叫做“柔性事物”策略。原理如下：

以下是分布式事務(wù)框架的流程圖：

實現(xiàn)：

一個完整的業(yè)務(wù)活動由一個主業(yè)務(wù)服務(wù)與若干從業(yè)務(wù)服務(wù)組成盯蝴。

主業(yè)務(wù)服務(wù)負(fù)責(zé)發(fā)起并完成整個業(yè)務(wù)活動毅哗。

從業(yè)務(wù)服務(wù)提供TCC型業(yè)務(wù)操作。

業(yè)務(wù)活動管理器控制業(yè)務(wù)活動的一致性捧挺，它登記業(yè)務(wù)活動中的操作虑绵，并在活動提交時確認(rèn)所有的兩階段事務(wù)的confirm操作，在業(yè)務(wù)活動取消時調(diào)用所有兩階段事務(wù)的cancel操作闽烙〕峋Γ”

與2PC協(xié)議比較：

沒有單獨的Prepare階段，降低協(xié)議成本

系統(tǒng)故障容忍度高黑竞，恢復(fù)簡單

其中關(guān)鍵組件異步可靠消息策略如下：

其中一些關(guān)鍵設(shè)計點：

若在第2捕发、3、4步出現(xiàn)故障很魂，業(yè)務(wù)系統(tǒng)自行決定回滾還是另起補(bǔ)償機(jī)制扎酷；若在第6、7步出現(xiàn)異常遏匆，消息中心需要回查生產(chǎn)者法挨；若在第8步出現(xiàn)異常，消息中心需要重試幅聘。第6步的確認(rèn)消息由消息中心組件封裝凡纳，應(yīng)用系統(tǒng)無需感知。

此套機(jī)制保障了消息數(shù)據(jù)的完整性帝蒿，進(jìn)而保障了與通過異步可靠消息通訊的系統(tǒng)數(shù)據(jù)最終一致性荐糜。

某些業(yè)務(wù)的前置檢查，需要消息中心提供指定條件回查機(jī)制。

針對上面的技術(shù)我特意整理了一下狞尔，有很多技術(shù)不是靠幾句話能講清楚丛版，所以干脆找朋友錄制了一些視頻，很多問題其實答案很簡單偏序，但是背后的思考和邏輯不簡單，要做到知其然還要知其所以然胖替。如果想學(xué)習(xí)Java工程化研儒、高性能及分布式、深入淺出独令。微服務(wù)端朵、Spring，MyBatis燃箭，Netty源碼分析的朋友可以加我的Java進(jìn)階群：694549689冲呢，群里有阿里大牛直播講解技術(shù)，以及Java大型互聯(lián)網(wǎng)技術(shù)的視頻免費分享給大家招狸。

螞蟻花唄

螞蟻花唄是今年增加的一個新支付工具敬拓，“確認(rèn)收貨后、下月還”的支付體驗受到了越來越多的消費者信賴裙戏。跟余額和余額寶一樣乘凸，螞蟻花唄避開了銀行間的交易鏈路，最大限度避免支付時的擁堵累榜。據(jù)官方數(shù)據(jù)披露营勤，在今天的雙十一大促中，螞蟻花唄支付成功率達(dá)到99.99%壹罚、平均每筆支付耗時0.035秒葛作，和各大銀行渠道一起確保了支付的順暢。

螞蟻花唄距今發(fā)展不到一年猖凛，但發(fā)展速度非陈复溃快。從上線初期的10筆/秒的支付量發(fā)展到雙十一當(dāng)天峰值2.1w筆/秒形病。支撐螞蟻花唄業(yè)務(wù)發(fā)展的技術(shù)體系經(jīng)過不斷演進(jìn)客年、已經(jīng)完全依托于螞蟻金服的金融云架構(gòu)。

在2014年12月漠吻，螞蟻花唄團(tuán)隊完成業(yè)務(wù)系統(tǒng)優(yōu)化量瓜，按照標(biāo)準(zhǔn)將系統(tǒng)架設(shè)到了金融云上，依次對接了渠道層途乃、業(yè)務(wù)層绍傲、核心平臺層、數(shù)據(jù)層，使得用戶對螞蟻花唄在營銷烫饼、下單和支付整個過程中體驗統(tǒng)一猎塞。

2015年4月，螞蟻花唄系統(tǒng)同步金融云的單元化的建設(shè)杠纵，即LDC荠耽，使得數(shù)據(jù)和應(yīng)用走向異地成為了現(xiàn)實，具備了較好的擴(kuò)展性和流量管控能力比藻。在可用性方面铝量，與金融云賬務(wù)體系深度結(jié)合，借用賬務(wù)系統(tǒng)的failover能力银亲，使得螞蟻花唄通過低成本改造就具備了同城災(zāi)備慢叨、異地災(zāi)備等高可用能力。任何一個單元的數(shù)據(jù)庫出了問題务蝠、能夠快速進(jìn)行容災(zāi)切換拍谐、不會影響這個單元的用戶進(jìn)行螞蟻花唄支付。在穩(wěn)定性方面馏段，借助于云客戶平臺的高穩(wěn)定性的能力轩拨，將螞蟻花唄客戶簽約形成的合約數(shù)據(jù)遷移進(jìn)去，并預(yù)先寫入云客戶平臺的緩存中毅弧，在大促高峰期緩存的命中率達(dá)到100%气嫁。同時，結(jié)合全鏈路壓測平臺够坐，對螞蟻花唄進(jìn)行了能力摸高和持續(xù)的穩(wěn)定性測試寸宵，發(fā)現(xiàn)系統(tǒng)的性能點反復(fù)進(jìn)行優(yōu)化，使得大促當(dāng)天系統(tǒng)平穩(wěn)運行元咙。在之前的架構(gòu)中梯影，系統(tǒng)的秒級處理能力無法有效衡量，通過簡單的引流壓測無法得到更加準(zhǔn)確庶香、可信的數(shù)據(jù)甲棍。立足于金融云，系統(tǒng)很快通過全鏈路壓測得到了每秒處理4w筆支付的穩(wěn)定能力赶掖。

螞蟻花唄業(yè)務(wù)中最為關(guān)鍵的一環(huán)在于買家授信和支付風(fēng)險的控制感猛。從買家下單的那一刻開始，后臺便開始對虛假交易奢赂、限額限次陪白、套現(xiàn)、支用風(fēng)險等風(fēng)險模型進(jìn)行并行計算膳灶，這些模型最終將在20ms以內(nèi)完成對僅百億數(shù)據(jù)的計算和判定咱士，能夠在用戶到達(dá)收銀臺前確定這筆交易是否存在潛在風(fēng)險立由。

為了保證螞蟻花唄雙11期間的授信資金充足，在金融云體系下搭建了機(jī)構(gòu)資產(chǎn)中心序厉，對接支付清算平臺锐膜，將表內(nèi)的信貸資產(chǎn)打包形成一個一定期限的資產(chǎn)池，并以這個資產(chǎn)池為基礎(chǔ)弛房，發(fā)行可交易證券進(jìn)行融資道盏，即通過資產(chǎn)轉(zhuǎn)讓的方式獲得充足資金，通過這一創(chuàng)新確保了用戶能夠通過花唄服務(wù)順利完成交易庭再，并分流對銀行渠道的壓力捞奕。通過資產(chǎn)證券化運作，不僅幫助100多萬小微企業(yè)實現(xiàn)融資拄轻，也支撐了螞蟻花唄用戶的消費信貸需求。螞蟻小貸的資產(chǎn)證券化業(yè)務(wù)平臺可達(dá)到每小時過億筆伟葫、總規(guī)模數(shù)十億元級別的資產(chǎn)轉(zhuǎn)讓恨搓。

總結(jié)

經(jīng)過這么多年的高可用架構(gòu)和大促的準(zhǔn)備工作，螞蟻金融技術(shù)團(tuán)隊可以做到“先勝而后求戰(zhàn)”筏养，主要分為三方面技術(shù)積累：“謀”斧抱，“器”，“將”渐溶。

“謀”就是整體的架構(gòu)設(shè)計方案和策略辉浦；

“器”就是支持技術(shù)工作的各種基礎(chǔ)中間件和基礎(chǔ)組件；

“將”就是通過實踐鍛煉成長起來的技術(shù)人員茎辐。

縱觀現(xiàn)在各種架構(gòu)分享宪郊，大家喜歡談“謀”的方面較多，各種架構(gòu)設(shè)計方案優(yōu)化策略分享拖陆，但實際最后多是兩種情況：“吹的牛X根本沒被證實過”（各種框架能力根本沒經(jīng)過實際考驗弛槐，只是一紙空談），“吹過的牛X一經(jīng)實際考驗就破了”（說的設(shè)計理念很好依啰，但是一遇到實際的大業(yè)務(wù)的沖擊系統(tǒng)就掛了）乎串，最后能成功的少之又少。這些說明雖然架構(gòu)上的“心靈雞湯”和“成功學(xué)”技術(shù)人員都已經(jīng)熟的不行速警，但是發(fā)現(xiàn)一到實踐其實根本不是那么回事叹誉。從此可以看出，其實最后起決定作用的不是 “謀”方面的理論層面的分析設(shè)計闷旧，最重要的是落地“器”和“將”的層面长豁。有過硬高穩(wěn)定性的各種基礎(chǔ)設(shè)施工具的和身經(jīng)百戰(zhàn)被“虐了千百次”的技術(shù)人員的支撐才是最后取勝的關(guān)鍵。而這個兩個層面的問題是不能通過分享學(xué)到的鸠匀，是要通過日積月累的蕉斜，無數(shù)流血流淚趟雷中招鍛煉出來的，沒有近路可抄。

而目前從業(yè)務(wù)和市場的發(fā)展形勢來看宅此，往往就是需要技術(shù)在某個特定時間有個質(zhì)的能力的提升和飛躍机错，不會給你太多的準(zhǔn)備技術(shù)架構(gòu)提升的時間，在技術(shù)積累和人員儲備都不足的時候父腕，如何構(gòu)建平臺能力弱匪，把更多的精力放在業(yè)務(wù)相關(guān)的開發(fā)任務(wù)中，是每個技術(shù)團(tuán)隊的希望得到的能力 璧亮。

過去我們是通過某個開源或者商業(yè)組件來實現(xiàn)技術(shù)共享得到快速解決謀發(fā)展技術(shù)的能力的萧诫，但是隨著業(yè)務(wù)復(fù)雜性，專業(yè)性枝嘶，規(guī)模的逐步變大帘饶，這種方式的缺點也是顯而易見的：1、很多組件根本無法滿足大并發(fā)場景下的各種技術(shù)指標(biāo)群扶；2及刻、隨著業(yè)務(wù)的復(fù)雜和專業(yè)性的提高，沒有可以直接使用的開源組件竞阐；3缴饭、“人”本身的經(jīng)驗和能力是無法傳遞的。

所以現(xiàn)在我們通過“云”分享的技術(shù)和業(yè)務(wù)的能力的方式也發(fā)展的越來越快骆莹，這就我們剛才介紹的“螞蟻花唄”技術(shù)用幾個月的時間快速的成功的達(dá)到“從上線初期的10筆/秒的支付量發(fā)展到雙十一當(dāng)天峰值2.1w筆/秒颗搂，快速走完了別人走了幾年都可能達(dá)不到的能力。類似的例子還有大家熟知的“余額寶”系統(tǒng)幕垦。

這些都是建立在原來螞蟻金服用了10年打磨的基礎(chǔ)組件和技術(shù)人員經(jīng)驗的云服務(wù)上的丢氢，通過目前基于這種能力，我們目前可以快速給內(nèi)部和外部的客戶組建智嚷，高可用卖丸、安全、高效盏道、合規(guī)的金融云服務(wù)架構(gòu)下的系統(tǒng)稍浆。