前面我們一直在學(xué)習(xí)負(fù)載均衡策略，話說條條大路通羅馬，既然Ribbon提供了這么多的策略找默，我該用哪個(gè)策略才好呢
比如說，我們開發(fā)了一個(gè)庫(kù)存補(bǔ)貨接口吼驶，每次調(diào)用后就自動(dòng)補(bǔ)貨上架100個(gè)商品惩激。假如這個(gè)接口發(fā)生了超時(shí)，調(diào)用方收到timeout異常蟹演，但實(shí)際上庫(kù)存服務(wù)在后臺(tái)還在執(zhí)行咧欣，只不過最終結(jié)果無法通知到調(diào)用方。也就是說實(shí)際補(bǔ)貨成功轨帜，但調(diào)用方那邊卻超時(shí)了。
在上面這種情況下衩椒，如果一次次不停重試蚌父，可能你馬上就要爆倉(cāng)了。之所以類似的服務(wù)不能進(jìn)行retry的原因毛萌，在于接口沒有實(shí)現(xiàn)冪等性苟弛。
冪等性往往針對(duì)的是執(zhí)行“update”操作的接口，也就是常說的“寫”操作阁将。簡(jiǎn)單理解就是對(duì)一個(gè)具備冪等性的接口進(jìn)行一次請(qǐng)求調(diào)用膏秫，和多次請(qǐng)求調(diào)用（每次調(diào)用的參數(shù)也相同），在執(zhí)行結(jié)果上沒有區(qū)別做盅，接口并不會(huì)因?yàn)槎嗾{(diào)用了幾次就產(chǎn)生不同結(jié)果缤削。因此就需要從業(yè)務(wù)層面和代碼層面做資源檢查或鎖定，來保證冪等性吹榴，這也是目前常用的分布式事務(wù)TCC方案的核心知識(shí)點(diǎn)亭敢。
用時(shí)間換空間？
在魔都買房子就得采取“用時(shí)間換空間”的策略图筹，甭管老破小先上車再說帅刀，過個(gè)幾年再換個(gè)大house让腹。在Ribbon這里，時(shí)間和空間經(jīng)常要被換來?yè)Q去扣溺，時(shí)間代表著接口響應(yīng)時(shí)間（下文簡(jiǎn)稱RT：Response Time）骇窍，空間表示服務(wù)器的可用連接數(shù)。
在Ribbon里有兩個(gè)和時(shí)間與空間密切相關(guān)的負(fù)載均衡策略锥余，BestAvailableRule（簡(jiǎn)稱BA）和WeightedResponseTimeRule（簡(jiǎn)稱WRT）腹纳。他們都有同一個(gè)夢(mèng)想，那就是希望世界和平哈恰，那就是選擇壓力較小的服務(wù)節(jié)點(diǎn)只估，但這兩個(gè)策略努力的方向不同。BA會(huì)根據(jù)服務(wù)節(jié)點(diǎn)過去一段時(shí)間的請(qǐng)求數(shù)着绷，選擇并發(fā)量最小的機(jī)器（選擇空間）蛔钙；WRT則是根據(jù)響應(yīng)時(shí)間的統(tǒng)計(jì)結(jié)果，選擇響應(yīng)時(shí)間最快的服務(wù)（選擇時(shí)間）荠医。
我們知道服務(wù)的RT受很多因素制約吁脱，服務(wù)本身響應(yīng)時(shí)間，網(wǎng)絡(luò)連接時(shí)間彬向，容器狀態(tài)甚至JVM的full GC等等都會(huì)影響最終的RT兼贡。我們來設(shè)想這樣一個(gè)場(chǎng)景，現(xiàn)在有一個(gè)非常輕量級(jí)的微服務(wù)娃胆，他的業(yè)務(wù)代碼耗時(shí)大概在2ms范圍內(nèi)遍希，只占整個(gè)接口響應(yīng)時(shí)間的20%，而剩下80%基本都用在了網(wǎng)絡(luò)連接的開銷上里烦。
在上面這個(gè)例子中凿蒜，如果我們以RT作為指標(biāo)，其實(shí)并不能客觀獲取服務(wù)節(jié)點(diǎn)當(dāng)前的性能數(shù)據(jù)胁黑，因?yàn)榻涌诒旧淼奶幚頃r(shí)間在RT分布中只占有很小的比例废封，甚至短時(shí)間的網(wǎng)絡(luò)抖動(dòng)都會(huì)對(duì)RT采樣造成很大影響。而由于接口響應(yīng)時(shí)間較短丧蘸，因此性能瓶頸更容易被連接線程數(shù)卡住漂洋。線程數(shù)量達(dá)到上限會(huì)延長(zhǎng)新請(qǐng)求的等待時(shí)間，從而增加RT力喷，但這種情況下active的線程數(shù)量有更靈敏的指示作用刽漂，因?yàn)榈鹊絉T顯著增加的時(shí)候，線程池可能早已被吃滿了冗懦。對(duì)待這類問題爽冕，我們的實(shí)踐經(jīng)驗(yàn)是：
- 連接數(shù)敏感模型 對(duì)響應(yīng)時(shí)間較短，或RT和業(yè)務(wù)復(fù)雜度是非線性相關(guān)關(guān)系的接口披蕉，采用基于可用連接數(shù)的負(fù)載均衡策略更加合適
同樣的颈畸，假設(shè)某個(gè)接口比較重量級(jí)乌奇，接口的處理時(shí)間與接收到的參數(shù)強(qiáng)相關(guān)。打個(gè)比方眯娱，訂單導(dǎo)出服務(wù)礁苗，如果發(fā)起10個(gè)請(qǐng)求，每個(gè)請(qǐng)求都需要導(dǎo)出當(dāng)前用戶過去一整年的訂單數(shù)據(jù)徙缴，那么這10個(gè)請(qǐng)求都會(huì)耗費(fèi)大量的系統(tǒng)資源（CPU试伙，內(nèi)存）參與業(yè)務(wù)，同時(shí)RT時(shí)間也會(huì)相應(yīng)拉長(zhǎng)于样。在另一臺(tái)機(jī)子上疏叨，同樣是10個(gè)請(qǐng)求，但是只需要導(dǎo)出1個(gè)月的數(shù)據(jù)穿剖，相比較第一臺(tái)機(jī)器蚤蔓，連接數(shù)相等的情況下，系統(tǒng)資源的占用率卻大大不同糊余。在這樣的場(chǎng)景下秀又，基于RT的指標(biāo)具有更高的敏感度，我們的實(shí)踐經(jīng)驗(yàn)是：
- 連接數(shù)敏感模型 對(duì)響應(yīng)時(shí)間較短，或RT和業(yè)務(wù)復(fù)雜度是非線性相關(guān)關(guān)系的接口披蕉，采用基于可用連接數(shù)的負(fù)載均衡策略更加合適
- RT敏感模型 對(duì)重量級(jí)接口贬芥，尤其是根據(jù)參數(shù)不同會(huì)導(dǎo)致系統(tǒng)資源使用率浮動(dòng)較大的接口（RT與業(yè)務(wù)復(fù)雜度線性相關(guān)）吐辙，建議采用基于響應(yīng)時(shí)間的負(fù)載均衡策略。
當(dāng)斷則斷
假如集成了Hystrix熔斷器蘸劈，而當(dāng)前服務(wù)正處于熔斷狀態(tài)昏苏，你還想往火坑里跳嗎？這時(shí)我們就需要根據(jù)熔斷狀態(tài)做過濾威沫，使用AvailabilityFilteringRule便是極好的捷雕。
