來源： 《從0開始學(xué)架構(gòu)》（極客時(shí)間） ---李運(yùn)華

CAP理論

CAP理論指在一個(gè)分布式系統(tǒng)（指互相連接并共享數(shù)據(jù)的節(jié)點(diǎn)的集合）中，當(dāng)涉及讀寫操作時(shí)邀杏，只能保證一致性（Consistence）双妨、可用性（Availability）刁品、分區(qū)容錯(cuò)性（Partition Tolerance）三者中的兩個(gè)挑随，另外一個(gè)必須被犧牲兜挨。

• 分布式系統(tǒng)并不一定會(huì)互聯(lián)和共享數(shù)據(jù)眯分。最簡單的例如 Memcache 的集群弊决，相互之間就沒有連接和共享數(shù)據(jù)，因此 Memcache 集群這類分布式系統(tǒng)就不符合 CAP 理論探討的對(duì)象与倡；而 MySQL 集群就是互聯(lián)和進(jìn)行數(shù)據(jù)復(fù)制的纺座，因此是 CAP 理論探討的對(duì)象净响。
• CAP 關(guān)注的是對(duì)數(shù)據(jù)的讀寫操作，而不是分布式系統(tǒng)的所有功能馋贤。例如掸掸，ZooKeeper 的選舉機(jī)制就不是 CAP 探討的對(duì)象扰付。

1. 一致性

對(duì)某個(gè)指定的客戶端來說，讀操作保證能夠返回最新的寫操作結(jié)果实昨。

之所以站在客戶端的角度來說荒给，是因?yàn)閷?duì)于系統(tǒng)事務(wù)志电，在事務(wù)執(zhí)行過程中蛔趴，系統(tǒng)其實(shí)處于一個(gè)不一致的狀態(tài)，不同的節(jié)點(diǎn)的數(shù)據(jù)并不完全一致鱼蝉。但client 是無法讀取到未提交的數(shù)據(jù)的魁亦，只有等到事務(wù)提交后洁奈，client 才能讀取到事務(wù)寫入的數(shù)據(jù)睬魂，而如果事務(wù)失敗則會(huì)進(jìn)行回滾镀赌，client 也不會(huì)讀取到事務(wù)中間寫入的數(shù)據(jù)。

2. 可用性

非故障的節(jié)點(diǎn)在合理的時(shí)間內(nèi)返回合理的響應(yīng)（不是錯(cuò)誤和超時(shí)的響應(yīng)）姆打。

3. 分區(qū)容忍性

當(dāng)出現(xiàn)網(wǎng)絡(luò)分區(qū)后幔戏，系統(tǒng)能夠繼續(xù)“履行職責(zé)”税课。

CAP應(yīng)用

雖然 CAP 理論定義是三個(gè)要素中只能取兩個(gè)韩玩，但放到分布式環(huán)境下來思考找颓，我們會(huì)發(fā)現(xiàn)必須選擇 P（分區(qū)容忍）要素，因?yàn)榫W(wǎng)絡(luò)本身無法做到 100% 可靠佛析，有可能出故障寸莫，所以分區(qū)是一個(gè)必然的現(xiàn)象储狭。

如果不考慮分區(qū)，分布式系統(tǒng)是是可以滿足CA的慈参，但是一旦出現(xiàn)網(wǎng)絡(luò)分區(qū)后驮配，為了滿足C，則必定有一部分節(jié)點(diǎn)因?yàn)榭赡軤顟B(tài)不一致琐旁，所以不能提供服務(wù)灰殴，故不滿足A牺陶；而如果為了滿足A，同樣因?yàn)橛行┕?jié)點(diǎn)可能狀態(tài)不一致掰伸，而網(wǎng)絡(luò)又不可達(dá)狮鸭，所以不滿足C歧蕉。

CAP關(guān)鍵細(xì)節(jié)點(diǎn)

1. CAP關(guān)注的粒度是數(shù)據(jù)廊谓，而不是整個(gè)系統(tǒng)。

C 與 A 之間的取舍可以在同一系統(tǒng)內(nèi)以非常細(xì)小的粒度反復(fù)發(fā)生春弥，而每一次的決策可能因?yàn)榫唧w的操作肥卡，乃至因?yàn)闋可娴教囟ǖ臄?shù)據(jù)或用戶而有所不同后裸。

以一個(gè)最簡單的用戶管理系統(tǒng)為例习瑰，用戶管理系統(tǒng)包含用戶賬號(hào)數(shù)據(jù)（用戶 ID抡笼、密碼）推姻、用戶信息數(shù)據(jù)（昵稱藏古、興趣忍燥、愛好梅垄、性別、自我介紹等）蔫敲。通常情況下，用戶賬號(hào)數(shù)據(jù)會(huì)選擇 CP貌虾，而用戶信息數(shù)據(jù)會(huì)選擇 AP尽狠，如果限定整個(gè)系統(tǒng)為 CP袄膏，則不符合用戶信息數(shù)據(jù)的應(yīng)用場(chǎng)景掺冠；如果限定整個(gè)系統(tǒng)為 AP德崭，則又不符合用戶賬號(hào)數(shù)據(jù)的應(yīng)用場(chǎng)景眉厨。

2. CAP 是忽略網(wǎng)絡(luò)延遲的。

布魯爾在定義一致性時(shí)鹿蜀，并沒有將延遲考慮進(jìn)去茴恰。也就是說琐簇，當(dāng)事務(wù)提交時(shí)，數(shù)據(jù)能夠瞬間復(fù)制到所有節(jié)點(diǎn)似忧。但實(shí)際情況下盯捌，從節(jié)點(diǎn) A 復(fù)制數(shù)據(jù)到節(jié)點(diǎn) B，總是需要花費(fèi)一定時(shí)間的肠牲。如果是相同機(jī)房缀雳，耗費(fèi)時(shí)間可能是幾毫秒肥印；如果是跨地域的機(jī)房绝葡，例如北京機(jī)房同步到廣州機(jī)房，耗費(fèi)的時(shí)間就可能是幾十毫秒敷硅。這就意味著绞蹦，CAP 理論中的 C 在實(shí)踐中是不可能完美實(shí)現(xiàn)的坦辟，在數(shù)據(jù)復(fù)制的過程中锉走，節(jié)點(diǎn) A 和節(jié)點(diǎn) B 的數(shù)據(jù)并不一致挪蹭。

對(duì)于某些嚴(yán)苛的業(yè)務(wù)場(chǎng)景梁厉，例如和金錢相關(guān)的用戶余額踏兜，或者和搶購相關(guān)的商品庫存碱妆，技術(shù)上是無法做到分布式場(chǎng)景下完美的一致性的。而業(yè)務(wù)上必須要求一致性上忍，因此單個(gè)用戶的余額、單個(gè)商品的庫存腋颠，理論上要求選擇 CP 而實(shí)際上 CP 都做不到淑玫，只能選擇 CA观蓄。也就是說，只能單點(diǎn)寫入歌径，其他節(jié)點(diǎn)做備份亲茅，無法做到分布式情況下多點(diǎn)寫入克锣。

3. 正常運(yùn)行情況下袭祟，不存在 CP 和 AP 的選擇，可以同時(shí)滿足 CA您没。

CAP 理論告訴我們分布式系統(tǒng)只能選擇 CP 或者 AP氨鹏，但其實(shí)這里的前提是系統(tǒng)發(fā)生了“分區(qū)”現(xiàn)象仆抵。如果系統(tǒng)沒有發(fā)生分區(qū)現(xiàn)象种冬，也就是說 P 不存在的時(shí)候（節(jié)點(diǎn)間的網(wǎng)絡(luò)連接一切正常）娱两，我們沒有必要放棄 C 或者 A谷婆，應(yīng)該 C 和 A 都可以保證，這就要求架構(gòu)設(shè)計(jì)的時(shí)候既要考慮分區(qū)發(fā)生時(shí)選擇 CP 還是 AP期贫，也要考慮分區(qū)沒有發(fā)生時(shí)如何保證 CA通砍。

4. 放棄并不等于什么都不做封孙，需要為分區(qū)恢復(fù)后做準(zhǔn)備讽营。

CAP 理論的“犧牲”只是說在分區(qū)過程中我們無法保證 C 或者 A橱鹏，但并不意味著什么都不做莉兰。因?yàn)樵谙到y(tǒng)整個(gè)運(yùn)行周期中，大部分時(shí)間都是正常的杉辙，發(fā)生分區(qū)現(xiàn)象的時(shí)間并不長蜘矢。

最典型的就是在分區(qū)期間記錄一些日志硼端，當(dāng)分區(qū)故障解決后珍昨，系統(tǒng)根據(jù)日志進(jìn)行數(shù)據(jù)恢復(fù)镣典，使得重新達(dá)到 CA 狀態(tài)兄春。

BASE

BASE 是指基本可用（Basically Available）锡溯、軟狀態(tài)（ Soft State）、最終一致性（ Eventual Consistency）叙量，核心思想是即使無法做到強(qiáng)一致性（CAP 的一致性就是強(qiáng)一致性）九串，但應(yīng)用可以采用適合的方式達(dá)到最終一致性猪钮。

1. 基本可用

分布式系統(tǒng)在出現(xiàn)故障時(shí)烤低，允許損失部分可用性，即保證核心可用酸些。

這里的關(guān)鍵詞是“部分”和“核心”魄懂，具體選擇哪些作為可以損失的業(yè)務(wù)闯第，哪些是必須保證的業(yè)務(wù)咳短，是一項(xiàng)有挑戰(zhàn)的工作咙好。例如勾效，對(duì)于一個(gè)用戶管理系統(tǒng)來說层宫，“登錄”是核心功能，而“注冊(cè)”可以算作非核心功能限匣。

2. 軟狀態(tài)

允許系統(tǒng)存在中間狀態(tài)米死，而該中間狀態(tài)不會(huì)影響系統(tǒng)整體可用性峦筒。這里的中間狀態(tài)就是 CAP 理論中的數(shù)據(jù)不一致勘天。

3. 最終一致性

系統(tǒng)中的所有數(shù)據(jù)副本經(jīng)過一定時(shí)間后脯丝，最終能夠達(dá)到一致的狀態(tài)宠进。

這里的關(guān)鍵詞是“一定時(shí)間” 和 “最終”材蹬，“一定時(shí)間”和數(shù)據(jù)的特性是強(qiáng)關(guān)聯(lián)的堤器，不同的數(shù)據(jù)能夠容忍的不一致時(shí)間是不同的闸溃。

BASE 理論本質(zhì)上是對(duì) CAP 的延伸和補(bǔ)充:

1. CAP 理論是忽略延時(shí)的辉川，而實(shí)際應(yīng)用中延時(shí)是無法避免的拴测。

這一點(diǎn)就意味著完美的 CP 場(chǎng)景是不存在的集索，即使是幾毫秒的數(shù)據(jù)復(fù)制延遲抄谐，在這幾毫秒時(shí)間間隔內(nèi)蛹含，系統(tǒng)是不符合 CP 要求的浦箱。因此 CAP 中的 CP 方案，實(shí)際上也是實(shí)現(xiàn)了最終一致性伴网，只是“一定時(shí)間”是指幾毫秒而已妆棒。

2. AP 方案中犧牲一致性只是指分區(qū)期間糕珊，而不是永遠(yuǎn)放棄一致性红选。

分區(qū)期間犧牲一致性澜公，但分區(qū)故障恢復(fù)后，系統(tǒng)應(yīng)該達(dá)到最終一致性喇肋。

FMEA方法

高可用會(huì)比高性能更復(fù)雜一些坟乾，原因在于異常的場(chǎng)景很多，只要有一個(gè)場(chǎng)景遺漏蝶防，架構(gòu)設(shè)計(jì)就存在可用性隱患甚侣。

FMEA（Failure mode and effects analysis慧脱，故障模式與影響分析）又稱為失效模式與后果分析宗兼、失效模式與效應(yīng)分析、故障模式與后果分析等。FMEA 是一種在各行各業(yè)都有廣泛應(yīng)用的可用性分析方法登钥，通過對(duì)系統(tǒng)范圍內(nèi)潛在的故障模式加以分析，并按照嚴(yán)重程度進(jìn)行分類伯铣，以確定失效對(duì)于系統(tǒng)的最終影響。

FMEA 并不能指導(dǎo)我們?nèi)绾巫黾軜?gòu)設(shè)計(jì)放前，而是當(dāng)我們?cè)O(shè)計(jì)出一個(gè)架構(gòu)后，再使用 FMEA 對(duì)這個(gè)架構(gòu)進(jìn)行分析，看看架構(gòu)是否還存在某些可用性的隱患。

FMEA方法步驟

1. 給出初始的架構(gòu)設(shè)計(jì)圖挽拔。
2. 假設(shè)架構(gòu)中某個(gè)部件發(fā)生故障。
3. 分析此故障對(duì)系統(tǒng)功能造成的影響。
4. 根據(jù)分析結(jié)果袭艺，判斷架構(gòu)是否需要進(jìn)行優(yōu)化。

FMEA 分析的方法其實(shí)很簡單，就是一個(gè) FMEA 分析表瘪撇，常見的 FMEA 分析表格包含下面部分：

1. 功能點(diǎn)

這里的“功能點(diǎn)”指的是從用戶角度來看的锦茁，而不是從系統(tǒng)各個(gè)模塊功能點(diǎn)劃分來看的歼捏。

2. 故障模式

故障模式指的是系統(tǒng)會(huì)出現(xiàn)什么樣的故障瓣履，包括故障點(diǎn)和故障形式。需要特別注意的是燕锥，這里的故障模式并不需要給出真正的故障原因，我們只需要假設(shè)出現(xiàn)某種故障現(xiàn)象即可。

3. 故障影響

當(dāng)發(fā)生故障模式中描述的故障時(shí)，功能點(diǎn)具體會(huì)受到什么影響歉井。常見的影響有：功能點(diǎn)偶爾不可用、功能點(diǎn)完全不可用、部分用戶功能點(diǎn)不可用箭阶、功能點(diǎn)響應(yīng)緩慢、功能點(diǎn)出錯(cuò)等罩扇。

4. 嚴(yán)重程度

嚴(yán)重程度指站在業(yè)務(wù)的角度故障的影響程度，一般分為“致命 / 高 / 中 / 低 / 無”五個(gè)檔次。嚴(yán)重程度按照這個(gè)公式進(jìn)行評(píng)估：嚴(yán)重程度 = 功能點(diǎn)重要程度 × 故障影響范圍 × 功能點(diǎn)受損程度捞高。

5. 故障原因

之所以要單獨(dú)列出故障原因泡挺，是因?yàn)椋?/p>

• 不同的故障原因發(fā)生概率不相同
• 不同的故障原因檢測(cè)手段不一樣
• 不同的故障原因的處理措施不一樣

6. 故障概率

指某個(gè)具體故障原因發(fā)生的概率生闲。一般分為“高 / 中 / 低”三檔即可悬蔽。

7. 風(fēng)險(xiǎn)程度

風(fēng)險(xiǎn)程度就是綜合嚴(yán)重程度和故障概率來一起判斷某個(gè)故障的最終等級(jí)倍啥，風(fēng)險(xiǎn)程度 = 嚴(yán)重程度 × 故障概率始藕。

8. 已有措施

針對(duì)具體的故障原因，系統(tǒng)現(xiàn)在是否提供了某些措施來應(yīng)對(duì)祥国，包括：檢測(cè)告警扩借、容錯(cuò)、自恢復(fù)等。

9. 規(guī)避措施

規(guī)避措施指為了降低故障發(fā)生概率而做的一些事情，可以是技術(shù)手段嚼黔，也可以是管理手段。

10. 解決措施

解決措施指為了能夠解決問題而做的一些事情，一般都是技術(shù)手段胎撇。

一般來說受葛，如果某個(gè)故障既可以采取規(guī)避措施纲堵，又可以采取解決措施，那么我們會(huì)優(yōu)先選擇解決措施，畢竟能解決問題當(dāng)然是最好的。

11. 后續(xù)規(guī)劃

綜合前面的分析，就可以看出哪些故障我們目前還缺乏對(duì)應(yīng)的措施，哪些已有措施還不夠，針對(duì)這些不足的地方歪泳，再結(jié)合風(fēng)險(xiǎn)程度進(jìn)行排序，給出后續(xù)的改進(jìn)規(guī)劃。這些規(guī)劃既可以是技術(shù)手段，也可以是管理手段刑枝；可以是規(guī)避措施掠兄，也可以是解決措施婿牍。同時(shí)需要考慮資源的投入情況慎菲，優(yōu)先將風(fēng)險(xiǎn)程度高的系統(tǒng)隱患解決第煮。

高可用存儲(chǔ)架構(gòu)：雙機(jī)架構(gòu)

存儲(chǔ)高可用方案的本質(zhì)都是通過將數(shù)據(jù)復(fù)制到多個(gè)存儲(chǔ)設(shè)備害晦，通過數(shù)據(jù)冗余的方式來實(shí)現(xiàn)高可用稻轨，其復(fù)雜性主要體現(xiàn)在如何應(yīng)對(duì)復(fù)制延遲和中斷導(dǎo)致的數(shù)據(jù)不一致問題枚抵。

主備復(fù)制

主備復(fù)制是最常見也是最簡單的一種存儲(chǔ)高可用方案竖慧，幾乎所有的存儲(chǔ)系統(tǒng)都提供了主備復(fù)制的功能砍的，例如 MySQL床佳、Redis、MongoDB 等饼问。

其整體架構(gòu)比較簡單驮吱，主備架構(gòu)中的“備機(jī)”主要還是起到一個(gè)備份作用拇砰，并不承擔(dān)實(shí)際的業(yè)務(wù)讀寫操作瑰枫，如果要把備機(jī)改為主機(jī)性含，需要人工操作绪商。

主從復(fù)制

主機(jī)負(fù)責(zé)讀寫操作理张，從機(jī)只負(fù)責(zé)讀操作，不負(fù)責(zé)寫操作。

一般情況下捐顷，寫少讀多的業(yè)務(wù)使用主從復(fù)制的存儲(chǔ)架構(gòu)比較多。例如据悔，論壇讼昆、BBS既峡、新聞網(wǎng)站這類業(yè)務(wù)，此類業(yè)務(wù)的讀操作數(shù)量是寫操作數(shù)量的 10 倍甚至 100 倍以上泰佳。

雙機(jī)切換

雙機(jī)切換是在主備切換和主從切換兩種方案上產(chǎn)生的，就是在原有方案的基礎(chǔ)上增加“切換”功能跌宛，即系統(tǒng)自動(dòng)決定主機(jī)角色哎迄，并完成角色切換。

要實(shí)現(xiàn)一個(gè)完善的切換方案，必須考慮這幾個(gè)關(guān)鍵的設(shè)計(jì)點(diǎn)：

1. 主備間狀態(tài)判斷

狀態(tài)傳遞的渠道：是相互間互相連接管搪，還是第三方仲裁
狀態(tài)檢測(cè)的內(nèi)容：例如機(jī)器是否掉電、進(jìn)程是否存在纠亚、響應(yīng)是否緩慢等蛤织。

2. 切換決策

主要包括切換時(shí)機(jī)摊鸡、切換策略、自動(dòng)程度松逊。

3. 數(shù)據(jù)沖突解決

當(dāng)原有故障的主機(jī)恢復(fù)后烁兰，新舊主機(jī)之間可能存在數(shù)據(jù)沖突。

以上設(shè)計(jì)點(diǎn)并沒有放之四海而皆準(zhǔn)的答案，不同的業(yè)務(wù)要求不一樣晴弃，所以切換方案比復(fù)制方案不只是多了一個(gè)切換功能那么簡單枯怖，而是復(fù)雜度上升了一個(gè)量級(jí)驹暑。

主主復(fù)制

主主復(fù)制指的是兩臺(tái)機(jī)器都是主機(jī)叶雹，互相將數(shù)據(jù)復(fù)制給對(duì)方，客戶端可以任意挑選其中一臺(tái)機(jī)器進(jìn)行讀寫操作。

主主復(fù)制架構(gòu)對(duì)數(shù)據(jù)的設(shè)計(jì)有嚴(yán)格的要求，一般適合于那些臨時(shí)性、可丟失嬉荆、可覆蓋的數(shù)據(jù)場(chǎng)景躯舔。

高可用存儲(chǔ)架構(gòu)：集群和分區(qū)

隨著業(yè)務(wù)的發(fā)展，單臺(tái)服務(wù)器已經(jīng)不足以處理所有的數(shù)據(jù)了，我們必須使用多臺(tái)服務(wù)器來存儲(chǔ)數(shù)據(jù)画恰，這就是數(shù)據(jù)集群架構(gòu)。

數(shù)據(jù)集群

根據(jù)集群中機(jī)器承擔(dān)的不同角色來劃分抑胎，集群可以分為兩類：數(shù)據(jù)集中集群、數(shù)據(jù)分散集群。

1. 數(shù)據(jù)集中集群

數(shù)據(jù)集中集群與主備瘟芝、主從這類架構(gòu)相似签赃，我們也可以稱數(shù)據(jù)集中集群為 1 主多備或者 1 主多從芽淡。

2. 數(shù)據(jù)分散集群

數(shù)據(jù)分散集群指多個(gè)服務(wù)器組成一個(gè)集群，每臺(tái)服務(wù)器都會(huì)負(fù)責(zé)存儲(chǔ)一部分?jǐn)?shù)據(jù)豆赏；同時(shí)挣菲，為了提升硬件利用率，每臺(tái)服務(wù)器又會(huì)備份一部分?jǐn)?shù)據(jù)河绽。

數(shù)據(jù)分散集群的復(fù)雜點(diǎn)在于如何將數(shù)據(jù)分配到不同的服務(wù)器上己单，算法需要考慮這些設(shè)計(jì)點(diǎn)：

• 均衡性
• 容錯(cuò)性
• 可伸縮性

數(shù)據(jù)分區(qū)

數(shù)據(jù)分區(qū)指將數(shù)據(jù)按照一定的規(guī)則進(jìn)行分區(qū)，不同分區(qū)分布在不同的地理位置上耙饰，每個(gè)分區(qū)存儲(chǔ)一部分?jǐn)?shù)據(jù)纹笼，通過這種方式來規(guī)避地理級(jí)別的故障所造成的巨大影響。

設(shè)計(jì)一個(gè)良好的數(shù)據(jù)分區(qū)架構(gòu)苟跪，需要從多方面去考慮廷痘。

1. 數(shù)據(jù)量

數(shù)據(jù)量的大小直接決定了分區(qū)的規(guī)則復(fù)雜度蔓涧，數(shù)據(jù)量越大，分區(qū)規(guī)則會(huì)越復(fù)雜笋额，考慮的情況也越多元暴。

2. 分區(qū)規(guī)則

地理位置有近有遠(yuǎn)，因此可以得到不同的分區(qū)規(guī)則兄猩，包括洲際分區(qū)茉盏、國家分區(qū)、城市分區(qū)枢冤。具體采取哪種或者哪幾種規(guī)則鸠姨，需要綜合考慮業(yè)務(wù)范圍、成本等因素淹真。

3. 復(fù)制規(guī)則

數(shù)據(jù)分區(qū)指將數(shù)據(jù)分散在多個(gè)地區(qū)讶迁，在某些異常或者災(zāi)難情況下核蘸，雖然部分?jǐn)?shù)據(jù)受影響巍糯，但整體數(shù)據(jù)并沒有全部被影響，本身就相當(dāng)于一個(gè)高可用方案了客扎。但僅僅做到這點(diǎn)還不夠祟峦，因?yàn)槊總€(gè)分區(qū)本身的數(shù)據(jù)量雖然只是整體數(shù)據(jù)的一部分，但還是很大虐唠，這部分?jǐn)?shù)據(jù)如果損壞或者丟失搀愧，損失同樣難以接受惰聂。因此即使是分區(qū)架構(gòu)疆偿，同樣需要考慮復(fù)制方案。

常見的分區(qū)復(fù)制規(guī)則有三種：集中式搓幌、互備式和獨(dú)立式杆故。

集中式

集中式備份指存在一個(gè)總的備份中心，所有的分區(qū)都將數(shù)據(jù)備份到備份中心溉愁。

互備式

互備式備份指每個(gè)分區(qū)備份另外一個(gè)分區(qū)的數(shù)據(jù)

獨(dú)立式

獨(dú)立式備份指每個(gè)分區(qū)自己有獨(dú)立的備份中心处铛。各個(gè)分區(qū)的備份并不和原來的分區(qū)在一個(gè)地方。

計(jì)算高可用

計(jì)算高可用的主要設(shè)計(jì)目標(biāo)是當(dāng)出現(xiàn)部分硬件損壞時(shí)拐揭，計(jì)算任務(wù)能夠繼續(xù)正常運(yùn)行撤蟆。其設(shè)計(jì)思想很簡單：通過增加更多服務(wù)器來達(dá)到計(jì)算高可用。

計(jì)算高可用架構(gòu)的設(shè)計(jì)復(fù)雜度主要體現(xiàn)在任務(wù)管理方面堂污，即當(dāng)任務(wù)在某臺(tái)服務(wù)器上執(zhí)行失敗后家肯，如何將任務(wù)重新分配到新的服務(wù)器進(jìn)行執(zhí)行。因此盟猖，計(jì)算高可用架構(gòu)設(shè)計(jì)的關(guān)鍵點(diǎn)有下面兩點(diǎn)讨衣。

1. 哪些服務(wù)器可以執(zhí)行任務(wù)

• 每個(gè)服務(wù)器都可以執(zhí)行任務(wù)
• 只有特定服務(wù)器（通常叫“主機(jī)”）可以執(zhí)行任務(wù)

2. 任務(wù)如何重新執(zhí)行

• 對(duì)于已經(jīng)分配的任務(wù)即使執(zhí)行失敗也不做任何處理换棚，系統(tǒng)只需要保證新的任務(wù)能夠分配到其他非故障服務(wù)器上執(zhí)行即可。
• 設(shè)計(jì)一個(gè)任務(wù)管理器來管理需要執(zhí)行的計(jì)算任務(wù)反镇，服務(wù)器執(zhí)行完任務(wù)后固蚤，需要向任務(wù)管理器反饋任務(wù)執(zhí)行結(jié)果，任務(wù)管理器根據(jù)任務(wù)執(zhí)行結(jié)果來決定是否需要將任務(wù)重新分配到另外的服務(wù)器上執(zhí)行歹茶。

常見的計(jì)算高可用架構(gòu)有：主備夕玩、主從和集群。

主備

主備架構(gòu)是計(jì)算高可用最簡單的架構(gòu)惊豺，和存儲(chǔ)高可用的主備復(fù)制架構(gòu)類似风秤，但是要更簡單一些，因?yàn)橛?jì)算高可用的主備架構(gòu)無須數(shù)據(jù)復(fù)制扮叨。

詳細(xì)設(shè)計(jì)方案為：

1. 主機(jī)執(zhí)行所有計(jì)算任務(wù)缤弦。
2. 當(dāng)主機(jī)故障（例如，主機(jī)宕機(jī)）時(shí)彻磁，任務(wù)分配器不會(huì)自動(dòng)將計(jì)算任務(wù)發(fā)送給備機(jī)碍沐，此時(shí)系統(tǒng)處于不可用狀態(tài)。
3. 如果主機(jī)能夠恢復(fù)（不管是人工恢復(fù)還是自動(dòng)恢復(fù)）衷蜓，任務(wù)分配器繼續(xù)將任務(wù)發(fā)送給主機(jī)累提。
4. 如果主機(jī)不能夠恢復(fù)（例如，機(jī)器硬盤損壞磁浇，短時(shí)間內(nèi)無法恢復(fù)）斋陪，則需要人工操作，將備機(jī)升為主機(jī)置吓，然后讓任務(wù)分配器將任務(wù)發(fā)送給新的主機(jī)（即原來的備機(jī)）无虚；同時(shí)，為了繼續(xù)保持主備架構(gòu)衍锚，需要人工增加新的機(jī)器作為備機(jī)友题。

根據(jù)備機(jī)狀態(tài)的不同，主備架構(gòu)又可以細(xì)分為冷備架構(gòu)和溫備架構(gòu)戴质。

冷備

備機(jī)上的程序包和配置文件都準(zhǔn)備好度宦，但備機(jī)上的業(yè)務(wù)系統(tǒng)沒有啟動(dòng)（注意：備機(jī)的服務(wù)器是啟動(dòng)的），主機(jī)故障后告匠，需要人工手工將備機(jī)的業(yè)務(wù)系統(tǒng)啟動(dòng)戈抄，并將任務(wù)分配器的任務(wù)請(qǐng)求切換發(fā)送給備機(jī)。

溫備

備機(jī)上的業(yè)務(wù)系統(tǒng)已經(jīng)啟動(dòng)后专，只是不對(duì)外提供服務(wù)划鸽，主機(jī)故障后，人工只需要將任務(wù)分配器的任務(wù)請(qǐng)求切換發(fā)送到備機(jī)即可行贪。

主備架構(gòu)的優(yōu)點(diǎn)就是簡單漾稀，主備機(jī)之間不需要進(jìn)行交互模闲，狀態(tài)判斷和切換操作由人工執(zhí)行，系統(tǒng)實(shí)現(xiàn)很簡單崭捍。而缺點(diǎn)也在于人工切換效率比較低尸折，還可能出現(xiàn)錯(cuò)誤。

主從

計(jì)算高可用的主從架構(gòu)中的從機(jī)也是要執(zhí)行任務(wù)的殷蛇。任務(wù)分配器需要將任務(wù)進(jìn)行分類实夹，確定哪些任務(wù)可以發(fā)送給主機(jī)執(zhí)行，哪些任務(wù)可以發(fā)送給從機(jī)執(zhí)行粒梦。

詳細(xì)設(shè)計(jì)方案為：

1. 正常情況下亮航，主機(jī)執(zhí)行部分計(jì)算任務(wù)，從機(jī)執(zhí)行部分計(jì)算任務(wù)
2. 當(dāng)主機(jī)故障（例如匀们，主機(jī)宕機(jī)）時(shí)缴淋，任務(wù)分配器不會(huì)自動(dòng)將原本發(fā)送給主機(jī)的任務(wù)發(fā)送給從機(jī)，而是繼續(xù)發(fā)送給主機(jī)泄朴，不管這些任務(wù)執(zhí)行是否成功重抖。
3. 如果主機(jī)能夠恢復(fù)（不管是人工恢復(fù)還是自動(dòng)恢復(fù)），任務(wù)分配器繼續(xù)按照原有的設(shè)計(jì)策略分配任務(wù)祖灰。
4. 如果主機(jī)不能夠恢復(fù)（例如钟沛，機(jī)器硬盤損壞，短時(shí)間內(nèi)無法恢復(fù)）局扶，則需要人工操作恨统，將原來的從機(jī)升級(jí)為主機(jī)（一般只是修改配置即可），增加新的機(jī)器作為從機(jī)三妈，新的從機(jī)準(zhǔn)備就緒后畜埋，任務(wù)分配器繼續(xù)按照原有的設(shè)計(jì)策略分配任務(wù)。

集群

在可用性要求更加嚴(yán)格的場(chǎng)景中沈跨，我們需要系統(tǒng)能夠自動(dòng)完成切換操作由捎，這就是高可用集群方案兔综。

高可用計(jì)算的集群方案根據(jù)集群中服務(wù)器節(jié)點(diǎn)角色的不同饿凛，可以分為兩類：一類是對(duì)稱集群，即集群中每個(gè)服務(wù)器的角色都是一樣的软驰，都可以執(zhí)行所有任務(wù)涧窒；另一類是非對(duì)稱集群，集群中的服務(wù)器分為多個(gè)不同的角色锭亏，不同的角色執(zhí)行不同的任務(wù)纠吴。

對(duì)稱集群

對(duì)稱集群更通俗的叫法是負(fù)載均衡集群。

詳細(xì)設(shè)計(jì)方案為：

1. 任務(wù)分配器采取某種策略（隨機(jī)慧瘤、輪詢等）將計(jì)算任務(wù)分配給集群中的不同服務(wù)器戴已。
2. 當(dāng)集群中的某臺(tái)服務(wù)器故障后固该，任務(wù)分配器不再將任務(wù)分配給它，而是將任務(wù)分配給其他服務(wù)器執(zhí)行糖儡。
3. 當(dāng)故障的服務(wù)器恢復(fù)后伐坏，任務(wù)分配器重新將任務(wù)分配給它執(zhí)行。

非對(duì)稱集群

非對(duì)稱集群中不同服務(wù)器的角色是不同的握联，不同角色的服務(wù)器承擔(dān)不同的職責(zé)桦沉。

詳細(xì)設(shè)計(jì)方案為：

1. 集群會(huì)通過某種方式來區(qū)分不同服務(wù)器的角色。
2. 任務(wù)分配器將不同任務(wù)發(fā)送給不同服務(wù)器金闽。
3. 當(dāng)指定類型的服務(wù)器故障時(shí)纯露，需要重新分配角色。

業(yè)務(wù)高可用：異地多活

為了保障在極端災(zāi)難（地震代芜，斷電等）情況下埠褪，業(yè)務(wù)也不受影響，或者能在幾分鐘只能就恢復(fù)業(yè)務(wù)挤庇，需要設(shè)計(jì)異地多活架構(gòu)组橄。

異地就是指地理位置上不同的地方，類似于“不要把雞蛋都放在同一籃子里”罚随；多活就是指不同地理位置上的系統(tǒng)都能夠提供業(yè)務(wù)服務(wù)玉工。

一個(gè)異地多活系統(tǒng)需要滿足兩個(gè)標(biāo)準(zhǔn)：

• 正常情況下，用戶無論訪問哪一個(gè)地點(diǎn)的業(yè)務(wù)系統(tǒng)淘菩，都能夠得到正確的業(yè)務(wù)服務(wù)遵班。
• 某個(gè)地方業(yè)務(wù)異常的時(shí)候，用戶訪問其他地方正常的業(yè)務(wù)系統(tǒng)潮改，能夠得到正確的業(yè)務(wù)服務(wù)狭郑。

雖然異地多活系統(tǒng)很強(qiáng)大，但是代價(jià)很高汇在，表現(xiàn)為：

• 系統(tǒng)復(fù)雜度會(huì)發(fā)生質(zhì)的變化翰萨，需要設(shè)計(jì)復(fù)雜的異地多活架構(gòu)。
• 成本會(huì)上升糕殉，畢竟要多在一個(gè)或者多個(gè)機(jī)房搭建獨(dú)立的一套業(yè)務(wù)系統(tǒng)亩鬼。

架構(gòu)模式

根據(jù)地理位置上的距離來劃分，異地多活架構(gòu)可以分為同城異區(qū)阿蝶、跨城異地雳锋、跨國異地。

1. 同城異區(qū)

同城異區(qū)指的是將業(yè)務(wù)部署在同一個(gè)城市不同區(qū)的多個(gè)機(jī)房羡洁。

同城的兩個(gè)機(jī)房玷过，距離上一般大約就是幾十千米，通過搭建高速的網(wǎng)絡(luò)，同城異區(qū)的兩個(gè)機(jī)房能夠?qū)崿F(xiàn)和同一個(gè)機(jī)房內(nèi)幾乎一樣的網(wǎng)絡(luò)傳輸速度辛蚊。這就意味著雖然是兩個(gè)不同地理位置上的機(jī)房粤蝎，但邏輯上我們可以將它們看作同一個(gè)機(jī)房，這樣的設(shè)計(jì)大大降低了復(fù)雜度袋马，減少了異地多活的設(shè)計(jì)和實(shí)現(xiàn)復(fù)雜度及成本诽里。

同城異區(qū)無法解決超大的自然災(zāi)難，但是斷電等故障飞蛹，而且這種問題發(fā)生的概率更高谤狡。因此，結(jié)合復(fù)雜度卧檐、成本墓懂、故障發(fā)生概率來綜合考慮，同城異區(qū)是應(yīng)對(duì)機(jī)房級(jí)別故障的最優(yōu)架構(gòu)霉囚。

2. 跨城異地

跨城異地指的是業(yè)務(wù)部署在不同城市的多個(gè)機(jī)房捕仔，而且距離最好要遠(yuǎn)一些。

跨城異地雖然能夠有效應(yīng)對(duì)極端災(zāi)難事件盈罐，但“距離較遠(yuǎn)”這點(diǎn)并不只是一個(gè)距離數(shù)字上的變化榜跌，而是量變引起了質(zhì)變，導(dǎo)致了跨城異地的架構(gòu)復(fù)雜度大大上升盅粪。

光速真空傳播大約是每秒 30 萬千米钓葫，在光纖中傳輸?shù)乃俣却蠹s是每秒 20 萬千米，再加上傳輸中的各種網(wǎng)絡(luò)設(shè)備的處理票顾，實(shí)際還遠(yuǎn)遠(yuǎn)達(dá)不到理論上的速度础浮。廣州機(jī)房到北京機(jī)房，正常情況下 RTT 大約是 50 毫秒左右奠骄，遇到網(wǎng)絡(luò)波動(dòng)之類的情況豆同，RTT 可能飆升到 500 毫秒甚至 1 秒，更不用說經(jīng)常發(fā)生的線路丟包問題含鳞，那延遲可能就是幾秒幾十秒了影锈。

需要根據(jù)業(yè)務(wù)數(shù)據(jù)的特性來選擇對(duì)應(yīng)的架構(gòu)。如果是強(qiáng)一致性要求的數(shù)據(jù)蝉绷，例如銀行存款余額鸭廷、支付寶余額等，這類數(shù)據(jù)實(shí)際上是無法做到跨城異地多活的潜必。

3. 跨國異地

跨國異地指的是業(yè)務(wù)部署在不同國家的多個(gè)機(jī)房靴姿。

相比跨城異地，跨國異地的距離就更遠(yuǎn)了磁滚，因此數(shù)據(jù)同步的延時(shí)會(huì)更長，正常情況下可能就有幾秒鐘了。而延時(shí)達(dá)到幾秒鐘垂攘，用戶就會(huì)有比較明顯的感知维雇。
跨國異地多活的主要應(yīng)用場(chǎng)景一般有這幾種情況：

1. 為不同地區(qū)用戶提供服務(wù)
2. 只讀類業(yè)務(wù)做多活

設(shè)計(jì)技巧

采用多種手段，保證絕大部分用戶的核心業(yè)務(wù)異地多活晒他！

技巧 1：保證核心業(yè)務(wù)的異地多活

以用戶子系統(tǒng)為例吱型，這個(gè)子系統(tǒng)負(fù)責(zé)“注冊(cè)”“登錄”“用戶信息”三個(gè)業(yè)務(wù)≡山觯可以發(fā)現(xiàn)津滞，“登錄”才是最核心的業(yè)務(wù)，而對(duì)它來做“異地多活”恰恰是最簡單的灼伤，因?yàn)槊總€(gè)中心都有所有用戶的賬號(hào)和密碼信息触徐，用戶在哪個(gè)中心都可以登錄。

技巧 2：保證核心數(shù)據(jù)最終一致性

異地多活架構(gòu)面臨一個(gè)無法徹底解決的矛盾：業(yè)務(wù)上要求數(shù)據(jù)快速同步狐赡，物理上正好做不到數(shù)據(jù)快速同步撞鹉，因此所有數(shù)據(jù)都實(shí)時(shí)同步，實(shí)際上是一個(gè)無法達(dá)到的目標(biāo)颖侄。

既然是無法徹底解決的矛盾鸟雏，那就只能想辦法盡量減少影響。有幾種方法可以參考：

1. 盡量減少異地多活機(jī)房的距離览祖，搭建高速網(wǎng)絡(luò)
2. 盡量減少數(shù)據(jù)同步孝鹊，只同步核心業(yè)務(wù)相關(guān)的數(shù)據(jù)
3. 保證最終一致性，不保證實(shí)時(shí)一致性

技巧 3：采用多種手段同步數(shù)據(jù)

• 消息隊(duì)列方式
• 二次讀取方式

先讀取本地展蒂，讀取不到的時(shí)候根據(jù)規(guī)則去其他地方讀取

• 存儲(chǔ)系統(tǒng)同步方式
• 回源讀取方式

跟二次讀取方式差不多

• 重新生成數(shù)據(jù)方式

技巧 4：只保證絕大部分用戶的異地多活

異地多活也無法保證 100% 的業(yè)務(wù)可用惶室，這是由物理規(guī)律決定的，光速和網(wǎng)絡(luò)的傳播速度玄货、硬盤的讀寫速度皇钞、極端異常情況的不可控等，都是無法 100% 解決的松捉。我們要忍受這一小部分用戶或者業(yè)務(wù)上的損失夹界。

雖然我們無法做到 100% 可用性，但并不意味著我們什么都不能做隘世，為了讓用戶心里更好受一些凳谦，我們可以采取一些措施進(jìn)行安撫或者補(bǔ)償，例如：

• 掛公告
• 事后對(duì)用戶進(jìn)行補(bǔ)償
• 補(bǔ)充體驗(yàn)

設(shè)計(jì)步驟

1. 業(yè)務(wù)分級(jí)

按照一定的標(biāo)準(zhǔn)將業(yè)務(wù)進(jìn)行分級(jí)唱较，挑選出核心的業(yè)務(wù)悬秉，只為核心業(yè)務(wù)設(shè)計(jì)異地多活，降低方案整體復(fù)雜度和實(shí)現(xiàn)成本械媒。

常見的分級(jí)標(biāo)準(zhǔn)有下面幾種：

• 訪問量大的業(yè)務(wù)
• 核心業(yè)務(wù)
• 產(chǎn)生大量收入的業(yè)務(wù)

2. 數(shù)據(jù)分類

挑選出核心業(yè)務(wù)后目锭，需要對(duì)核心業(yè)務(wù)相關(guān)的數(shù)據(jù)進(jìn)一步分析评汰，目的在于識(shí)別所有的數(shù)據(jù)及數(shù)據(jù)特征，這些數(shù)據(jù)特征會(huì)影響后面的方案設(shè)計(jì)痢虹。

常見的數(shù)據(jù)特征分析維度有：

• 數(shù)據(jù)量
• 唯一性
• 實(shí)時(shí)性
• 可丟失性
• 可恢復(fù)性

3. 數(shù)據(jù)同步

確定數(shù)據(jù)的特點(diǎn)后被去，我們可以根據(jù)不同的數(shù)據(jù)設(shè)計(jì)不同的同步方案

常見的數(shù)據(jù)同步方案有：

• 存儲(chǔ)系統(tǒng)同步
• 消息隊(duì)列同步
• 重復(fù)生成

數(shù)據(jù)不同步到異地機(jī)房，每個(gè)機(jī)房都可以生成數(shù)據(jù)奖唯，這個(gè)方案適合于可以重復(fù)生成的數(shù)據(jù)惨缆。

4. 異常處理

無論數(shù)據(jù)同步方案如何設(shè)計(jì)，一旦出現(xiàn)極端異常的情況丰捷，總是會(huì)有部分?jǐn)?shù)據(jù)出現(xiàn)異常的坯墨。例如，同步延遲病往、數(shù)據(jù)丟失捣染、數(shù)據(jù)不一致等。異常處理就是假設(shè)在出現(xiàn)這些問題時(shí)荣恐，系統(tǒng)將采取什么措施來應(yīng)對(duì)液斜。

接口級(jí)故障

接口級(jí)故障的典型表現(xiàn)就是，系統(tǒng)并沒有宕機(jī)叠穆、網(wǎng)絡(luò)也沒有中斷少漆，但業(yè)務(wù)卻出現(xiàn)問題了，例如業(yè)務(wù)響應(yīng)緩慢硼被、大量訪問超時(shí)和大量訪問出現(xiàn)異常（給用戶彈出提示“無法連接數(shù)據(jù)庫”）示损。

主要原因在于系統(tǒng)壓力太大、負(fù)載太高嚷硫，導(dǎo)致無法快速處理業(yè)務(wù)請(qǐng)求检访，由此引發(fā)更多的后續(xù)問題。

• 內(nèi)部原因：包括程序 bug 導(dǎo)致死循環(huán)仔掸，某個(gè)接口導(dǎo)致數(shù)據(jù)庫慢查詢脆贵，程序邏輯不完善導(dǎo)致耗盡內(nèi)存等。
• 外部原因：包括黑客攻擊起暮，促銷或者搶購引入了超出平時(shí)幾倍甚至幾十倍的用戶卖氨，第三方系統(tǒng)大量請(qǐng)求，第三方系統(tǒng)響應(yīng)緩慢等负懦。

解決接口級(jí)故障的核心思想和異地多活基本類似筒捺，都是優(yōu)先保證核心業(yè)務(wù)和優(yōu)先保證絕大部分用戶。常見的應(yīng)對(duì)方法有四種纸厉，降級(jí)系吭、熔斷、限流和排隊(duì)颗品。

1. 降級(jí)

降級(jí)指系統(tǒng)將某些業(yè)務(wù)或者接口的功能降低肯尺，可以是只提供部分功能沃缘，也可以是完全停掉所有功能。

降級(jí)的核心思想就是丟車保帥蟆盹，優(yōu)先保證核心業(yè)務(wù)孩灯。

常見的實(shí)現(xiàn)降級(jí)的方式有兩種：

1. 系統(tǒng)后門降級(jí)
2. 獨(dú)立降級(jí)系統(tǒng)

2. 熔斷

熔斷是指按照規(guī)則停掉外部接口的訪問闺金，防止某些外部接口故障導(dǎo)致自己的系統(tǒng)處理能力急劇下降或者出故障逾滥。

熔斷和降級(jí)是兩個(gè)比較容易混淆的概念，因?yàn)閱渭儚拿稚峡窗芷ィ孟穸加薪鼓硞€(gè)功能的意思寨昙。但它們的內(nèi)涵是不同的，因?yàn)榻导?jí)的目的是應(yīng)對(duì)系統(tǒng)自身的故障掀亩，而熔斷的目的是應(yīng)對(duì)依賴的外部系統(tǒng)故障的情況舔哪。

實(shí)現(xiàn)熔斷機(jī)制有兩個(gè)關(guān)鍵點(diǎn)：

1. 需要有一個(gè)統(tǒng)一的 API 調(diào)用層，由 API 調(diào)用層來進(jìn)行采樣或者統(tǒng)計(jì)槽棍。如果接口調(diào)用散落在代碼各處捉蚤，就沒法進(jìn)行統(tǒng)一處理了。
2. 閾值的設(shè)計(jì)炼七。實(shí)踐中缆巧，一般都是先根據(jù)分析確定閾值，然后上線觀察效果豌拙，再進(jìn)行調(diào)優(yōu)陕悬。

3. 限流

降級(jí)是從系統(tǒng)功能優(yōu)先級(jí)的角度考慮如何應(yīng)對(duì)故障，而限流則是從用戶訪問壓力的角度來考慮如何應(yīng)對(duì)故障按傅。限流指只允許系統(tǒng)能夠承受的訪問量進(jìn)來捉超，超出系統(tǒng)訪問能力的請(qǐng)求將被丟棄。

限流一般都是系統(tǒng)內(nèi)實(shí)現(xiàn)的唯绍，常見的限流方式可以分為兩類：基于請(qǐng)求限流和基于資源限流拼岳。

基于請(qǐng)求限流

基于請(qǐng)求限流指從外部訪問的請(qǐng)求角度考慮限流，常見的方式有兩種况芒。

1. 限制總量惜纸，也就是限制某個(gè)指標(biāo)的累積上限，常見的是限制當(dāng)前系統(tǒng)服務(wù)的用戶總量牛柒。
2. 限制時(shí)間量堪簿，也就是限制一段時(shí)間內(nèi)某個(gè)指標(biāo)的上限。

因?yàn)殚撝岛茈y估算皮壁，所以根據(jù)閾值來限制訪問量的方式更多的適應(yīng)于業(yè)務(wù)功能比較簡單的系統(tǒng)椭更，例如負(fù)載均衡系統(tǒng)、網(wǎng)關(guān)系統(tǒng)蛾魄、搶購系統(tǒng)等虑瀑。

基于資源限流

基于請(qǐng)求限流是從系統(tǒng)外部考慮的湿滓，而基于資源限流是從系統(tǒng)內(nèi)部考慮的，也就是找到系統(tǒng)內(nèi)部影響性能的關(guān)鍵資源舌狗，對(duì)其使用上限進(jìn)行限制叽奥。常見的內(nèi)部資源包括連接數(shù)、文件句柄痛侍、線程數(shù)和請(qǐng)求隊(duì)列等朝氓。

基于資源限流相比基于請(qǐng)求限流能夠更加有效地反映當(dāng)前系統(tǒng)的壓力，但實(shí)際設(shè)計(jì)時(shí)也面臨兩個(gè)主要的難點(diǎn)：如何確定關(guān)鍵資源主届，以及如何確定關(guān)鍵資源的閾值赵哲。

通常情況下，這也是一個(gè)逐步調(diào)優(yōu)的過程：設(shè)計(jì)的時(shí)候先根據(jù)推斷選擇某個(gè)關(guān)鍵資源和閾值君丁，然后測(cè)試驗(yàn)證枫夺，再上線觀察，如果發(fā)現(xiàn)不合理绘闷，再進(jìn)行優(yōu)化橡庞。

限流算法

（1）時(shí)間窗

時(shí)間窗算法會(huì)限制一定時(shí)間窗口內(nèi)的請(qǐng)求量或者資源消耗量，根據(jù)實(shí)現(xiàn)方式又可以細(xì)分為“固定時(shí)間窗”和“滑動(dòng)時(shí)間窗”印蔗。

• 固定時(shí)間窗

固定時(shí)間窗算法的實(shí)現(xiàn)原理是扒最，統(tǒng)計(jì)固定時(shí)間周期內(nèi)的請(qǐng)求量或者資源消耗量，超過限額就會(huì)啟動(dòng)限流喻鳄。

• 滑動(dòng)時(shí)間窗

滑動(dòng)時(shí)間窗的實(shí)現(xiàn)原理是兩個(gè)統(tǒng)計(jì)周期部分重疊扼倘，從而避免短時(shí)間內(nèi)的兩個(gè)統(tǒng)計(jì)點(diǎn)分屬不同的時(shí)間窗的情況。

（2）桶算法

用一個(gè)虛擬的“桶”來臨時(shí)存儲(chǔ)一些東西除呵。根據(jù)桶里面放的東西再菊，又可以細(xì)分為“漏桶”和“令牌桶”。

• 漏桶

漏桶算法的實(shí)現(xiàn)原理是颜曾，將請(qǐng)求放入“桶”（消息隊(duì)列等）纠拔，業(yè)務(wù)處理單元（線程、進(jìn)程和應(yīng)用等）從桶里拿請(qǐng)求處理泛豪，桶滿則丟棄新的請(qǐng)求稠诲。

漏桶算法主要適用于瞬時(shí)高并發(fā)流量的場(chǎng)景（例如剛才提到的 0 點(diǎn)簽到、整點(diǎn)秒殺等）诡曙。在短短幾分鐘內(nèi)涌入大量請(qǐng)求時(shí)臀叙，為了更好的業(yè)務(wù)效果和用戶體驗(yàn)，即使處理慢一些价卤，也要做到盡量不丟棄用戶請(qǐng)求劝萤。

• 令牌桶

令牌桶算法和漏桶算法的不同之處在于，桶中放入的不是請(qǐng)求慎璧，而是“令牌”床嫌，這個(gè)令牌就是業(yè)務(wù)處理前需要拿到的“許可證”跨释。也就是說，當(dāng)系統(tǒng)收到一個(gè)請(qǐng)求時(shí)厌处，先要到令牌桶里面拿“令牌”鳖谈，拿到令牌才能進(jìn)一步處理，拿不到就要丟棄請(qǐng)求阔涉。

令牌桶的三個(gè)關(guān)鍵設(shè)計(jì)點(diǎn)為：

1. 有一個(gè)處理單元往桶里面放令牌缆娃，放的速率是可以控制的。
2. 桶里面可以累積一定數(shù)量的令牌洒敏，當(dāng)突發(fā)流量過來的時(shí)候龄恋，因?yàn)橥袄锩嬗欣鄯e的令牌疙驾，此時(shí)的業(yè)務(wù)處理速度會(huì)超過令牌放入的速度凶伙。
3. 如果令牌不足，即使系統(tǒng)有能力處理它碎，也會(huì)丟棄請(qǐng)求函荣。

令牌桶算法主要適用于兩種典型的場(chǎng)景，一種是需要控制訪問第三方服務(wù)的速度扳肛，防止把下游壓垮傻挂，例如支付寶需要控制訪問銀行接口的速率；另一種是需要控制自己的處理速度挖息，防止過載金拒，例如壓測(cè)結(jié)果顯示系統(tǒng)最大處理 TPS 是 100，那么就可以用令牌桶來限制最大的處理速度套腹。

4. 排隊(duì)

排隊(duì)實(shí)際上是限流的一個(gè)變種绪抛，限流是直接拒絕用戶，排隊(duì)是讓用戶等待一段時(shí)間

排隊(duì)雖然沒有直接拒絕用戶电禀，但用戶等了很長時(shí)間后進(jìn)入系統(tǒng)幢码，體驗(yàn)并不一定比限流好。