如果一個(gè)服務(wù)器出問(wèn)題的概率是a
那么遵堵，一個(gè)集群所有服務(wù)器同時(shí)都出問(wèn)題的概率是a^n箱玷，概率是相當(dāng)小的怨规；
但是，一個(gè)集群所有服務(wù)器同時(shí)都不出問(wèn)題的概率是(1-a)^n锡足，概率也是相當(dāng)小的波丰；
再加上集群有大量的通信，所以做分布式系統(tǒng)的時(shí)候舶得，必須要意識(shí)到你的系統(tǒng)必定時(shí)常內(nèi)部會(huì)出各種小問(wèn)題掰烟，你必須要設(shè)法使用乾坤大挪移化解掉這些問(wèn)題，不然就尷尬了沐批；
下面是一套內(nèi)功心法纫骑，大俠請(qǐng)收好：
1.冪等
- 前置條件：無(wú)
- 原因：不管是業(yè)務(wù)重試，框架產(chǎn)生的重試珠插，還是網(wǎng)絡(luò)層重傳導(dǎo)致的重試惧磺，都有可能讓一個(gè)請(qǐng)求發(fā)送多次；你必須保證捻撑，一個(gè)相同的請(qǐng)求發(fā)送2次甚至N次，產(chǎn)生的效果是一樣的缤底，不會(huì)因?yàn)榘l(fā)送了多次產(chǎn)生副作用顾患；
- 使用方式：大部分請(qǐng)求都有時(shí)效性，同樣的請(qǐng)求隔了幾個(gè)小時(shí)再發(fā)送過(guò)來(lái)个唧，大概率是新的業(yè)務(wù)而不會(huì)是導(dǎo)致的重試江解；因此冪等保證只要在一定時(shí)間內(nèi)，重復(fù)的請(qǐng)求你不再消費(fèi)即可徙歼；常用方式是采用一個(gè)分布式的緩存犁河，記錄請(qǐng)求中唯一標(biāo)識(shí)的requestId或者訂單ID，對(duì)于每個(gè)請(qǐng)求魄梯，都判斷一下是否有緩存記錄桨螺，有則直接跳過(guò)請(qǐng)求，或者返回第一次消費(fèi)得到的結(jié)果(看上層業(yè)務(wù)需求)酿秸；緩存的超時(shí)時(shí)間即為請(qǐng)求的有效判斷時(shí)間灭翔；
2.重試
- 前置條件：冪等
- 原因: 分布式系統(tǒng)中，請(qǐng)求未到達(dá)辣苏、或者請(qǐng)求失敗時(shí)肝箱，這種失敗很有可能是臨時(shí)的，不是永久的稀蟋，重新發(fā)送請(qǐng)求有可能成功煌张；
- 使用方式：重試必須先實(shí)現(xiàn)冪等，否則會(huì)破壞業(yè)務(wù)退客；重試頻率一般采用“有限次”骏融、“指數(shù)級(jí)避退”，同一個(gè)請(qǐng)求，成功率是逐次遞減的绎谦，因此重試的頻率也應(yīng)該逐漸降低管闷，否則會(huì)浪費(fèi)系統(tǒng)資源，重試的次數(shù)必須有限窃肠，否則容易產(chǎn)生死循環(huán)包个；重試的情況建議列白名單去重試，拒絕無(wú)腦重試冤留；
3.異步
- 前置條件：冪等碧囊、重試
- 原因：分布式系統(tǒng)中，一個(gè)請(qǐng)求可能需要經(jīng)歷好多個(gè)節(jié)點(diǎn)纤怒，請(qǐng)求完成的時(shí)間可能會(huì)較長(zhǎng)糯而，并且受整個(gè)集群網(wǎng)絡(luò)和性能狀態(tài)影響，請(qǐng)求完成的時(shí)間會(huì)發(fā)生較大波動(dòng)泊窘；這個(gè)時(shí)間對(duì)于系統(tǒng)來(lái)說(shuō)會(huì)偏長(zhǎng)熄驼，但是對(duì)于業(yè)務(wù)來(lái)說(shuō)尚可接受；這個(gè)時(shí)候如果采用同步的方式調(diào)用烘豹，會(huì)有大量的等待線程瓜贾，并且伴有大量的超時(shí)失敗，等待的時(shí)候也不知道對(duì)方是因?yàn)闆](méi)收到請(qǐng)求沒(méi)回携悯，還是受到了請(qǐng)求沒(méi)處理完成沒(méi)回祭芦；但是異步方式，如果請(qǐng)求都沒(méi)接收到憔鬼，可以快速重試來(lái)保證接收到龟劲，這個(gè)時(shí)候要求已經(jīng)實(shí)現(xiàn)了冪等和重試；
- 使用方式：請(qǐng)求響應(yīng)式轴或，通過(guò)rpc框架發(fā)送請(qǐng)求后立即返回(一般返回成功則表明對(duì)方已經(jīng)接收到請(qǐng)求)昌跌，通過(guò)rpc輪詢(xún)讀取結(jié)果或者通過(guò)發(fā)送請(qǐng)求時(shí)提供的回調(diào)接口返回結(jié)果；事件驅(qū)動(dòng)式侮叮，通過(guò)mafka等消息中間件避矢，請(qǐng)求方發(fā)送請(qǐng)求至消息中間件，被調(diào)用方消費(fèi)中間件的消息跑業(yè)務(wù)囊榜，并且將結(jié)果放到消息中間件中审胸，請(qǐng)求發(fā)送方也通過(guò)消費(fèi)中間件消息獲取結(jié)果；實(shí)際使用中卸勺，這兩種方式是綜合使用的砂沛，比如請(qǐng)求響應(yīng)式的結(jié)果返回可以加上消息中間件作為補(bǔ)償，也可以直接替換成消息中間件方式曙求；
4.隔板
- 前置條件：無(wú)
-
原因：核心邏輯一般是必須要全部成功的碍庵，但是有些非核心邏輯映企，失敗了也并不打緊，或者成功一部分即可静浴；這個(gè)時(shí)候要把這些非核心邏輯和核心邏輯之間進(jìn)行隔離堰氓，或者非核心邏輯之間進(jìn)行隔離；
隔板設(shè)計(jì)是模仿船舶設(shè)計(jì)的苹享，一個(gè)隔板內(nèi)漏水不至于整條船沉沒(méi)
image.png
泰坦尼克號(hào)是隔板設(shè)計(jì)的失敗案例双絮，隔板設(shè)計(jì)不合理，導(dǎo)致船舶傾斜得问，最終沉沒(méi)
image.png
- 使用方式：JAVA中常對(duì)非核心業(yè)務(wù)進(jìn)行分別的try...catch...囤攀，一個(gè)業(yè)務(wù)失敗時(shí)也就打個(gè)日志，并不會(huì)影響整體業(yè)務(wù)宫纬；
5.補(bǔ)償事務(wù)
- 前置條件：隔板
- 原因：一條路不通了焚挠，可以試試另外一條路，總之達(dá)到目的就行漓骚；比如你要發(fā)條消息給客戶(hù)蝌衔，微信發(fā)不通了，試試短信么蝌蹂。
- 使用方式：業(yè)務(wù)邏輯中做業(yè)務(wù)補(bǔ)充即可胚委，做好隔板，某項(xiàng)失敗時(shí)不要影響整體業(yè)務(wù)叉信；
6.降級(jí)
- 前置條件：無(wú)
- 原因：降級(jí)分為自動(dòng)降級(jí)和手動(dòng)降級(jí)，自動(dòng)降級(jí)部分類(lèi)似于補(bǔ)償事務(wù)艘希，但是在很多情況下是影響全局的硼身，當(dāng)檢測(cè)到問(wèn)題時(shí)，整個(gè)系統(tǒng)都對(duì)這個(gè)業(yè)務(wù)進(jìn)行了業(yè)務(wù)替代覆享；
- 使用方式：一種是自動(dòng)檢測(cè)并做業(yè)務(wù)替代佳遂，類(lèi)似于補(bǔ)償事務(wù)；一種是做全局開(kāi)關(guān)撒顿，這種開(kāi)關(guān)可以是系統(tǒng)自動(dòng)打開(kāi)丑罪，或者人工進(jìn)行打開(kāi)；
7.熔斷和限流
- 前置條件：冪等凤壁、重試
- 原因：熔斷和限流是為了應(yīng)對(duì)性能過(guò)載的情形吩屹，與其全部業(yè)務(wù)失敗，不如拒絕部分業(yè)務(wù)拧抖，并將剩余業(yè)務(wù)順利完成煤搜；大部分性能過(guò)載是因?yàn)橐粋€(gè)流量突刺，如果已經(jīng)設(shè)計(jì)好了冪等和重試唧席，那么被拒絕的請(qǐng)求將會(huì)重新發(fā)送過(guò)來(lái)擦盾，那時(shí)系統(tǒng)可能已經(jīng)緩過(guò)勁來(lái)嘲驾，可以重新處理請(qǐng)求了；特別是一個(gè)集群中迹卢，只有一臺(tái)服務(wù)器性能過(guò)載的情況辽故，現(xiàn)在集群大部分都通過(guò)nginx路由，被拒絕的請(qǐng)求腐碱，上層會(huì)重新發(fā)送并被路由到其他服務(wù)器誊垢；如果你的系統(tǒng)一直處于性能過(guò)載狀態(tài)，那時(shí)只能拓展你的資源喻杈，或者從其他架構(gòu)層面去優(yōu)化性能了彤枢；
- 使用方式：一般通過(guò)限制QPS進(jìn)行判斷，單機(jī)或者整個(gè)集群達(dá)到一定QPS時(shí)筒饰，自動(dòng)打開(kāi)限流或者熔斷開(kāi)關(guān)缴啡；QPS可以做很多級(jí)別的限制，比如某個(gè)接口瓷们，或者針對(duì)某個(gè)調(diào)用服務(wù)器的外部業(yè)務(wù)业栅；也可以做手動(dòng)開(kāi)關(guān)，應(yīng)對(duì)緊急情況谬晕；
