占小狼，轉(zhuǎn)載請注明原創(chuàng)出處泪蔫，謝謝箭券！
保障服務(wù)穩(wěn)定的三大利器：熔斷降級睡榆、服務(wù)限流和故障模擬瓮栗。今天和大家談?wù)勏蘖魉惴ǖ膸追N實現(xiàn)方式，本文所說的限流并非是Nginx層面的限流沦泌，而是業(yè)務(wù)代碼中的邏輯限流辽慕。
為什么需要限流
按照服務(wù)的調(diào)用方，可以分為以下幾種類型服務(wù)
1赦肃、與用戶打交道的服務(wù)
比如web服務(wù)溅蛉、對外API，這種類型的服務(wù)有以下幾種可能導致機器被拖垮：
- 用戶增長過快（這是好事）
- 因為某個熱點事件（微博熱搜）
- 競爭對象爬蟲
- 惡意的刷單
這些情況都是無法預知的他宛，不知道什么時候會有10倍甚至20倍的流量打進來船侧，如果真碰上這種情況，擴容是根本來不及的（彈性擴容都是虛談厅各，一秒鐘你給我擴一下試試）
2镜撩、對內(nèi)的RPC服務(wù)
一個服務(wù)A的接口可能被BCDE多個服務(wù)進行調(diào)用，在B服務(wù)發(fā)生突發(fā)流量時队塘，直接把A服務(wù)給調(diào)用掛了袁梗，導致A服務(wù)對CDE也無法提供服務(wù)。
這種情況時有發(fā)生憔古，解決方案有兩種：
1遮怜、每個調(diào)用方采用線程池進行資源隔離
2、使用限流手段對每個調(diào)用方進行限流
限流算法實現(xiàn)
常見的限流算法有：計數(shù)器鸿市、令牌桶锯梁、漏桶。
1焰情、計數(shù)器算法
采用計數(shù)器實現(xiàn)限流有點簡單粗暴陌凳，一般我們會限制一秒鐘的能夠通過的請求數(shù)，比如限流qps為100内舟，算法的實現(xiàn)思路就是從第一個請求進來開始計時合敦，在接下去的1s內(nèi)，每來一個請求验游，就把計數(shù)加1充岛，如果累加的數(shù)字達到了100，那么后續(xù)的請求就會被全部拒絕批狱。等到1s結(jié)束后裸准，把計數(shù)恢復成0，重新開始計數(shù)赔硫。
具體的實現(xiàn)可以是這樣的：對于每次服務(wù)調(diào)用炒俱，可以通過AtomicLong#incrementAndGet()方法來給計數(shù)器加1并返回最新值，通過這個最新值和閾值進行比較。
這種實現(xiàn)方式权悟，相信大家都知道有一個弊端：如果我在單位時間1s內(nèi)的前10ms砸王，已經(jīng)通過了100個請求，那后面的990ms峦阁，只能眼巴巴的把請求拒絕谦铃，我們把這種現(xiàn)象稱為“突刺現(xiàn)象”
2、漏桶算法
為了消除"突刺現(xiàn)象"榔昔，可以采用漏桶算法實現(xiàn)限流驹闰，漏桶算法這個名字就很形象，算法內(nèi)部有一個容器撒会，類似生活用到的漏斗嘹朗，當請求進來時，相當于水倒入漏斗诵肛，然后從下端小口慢慢勻速的流出屹培。不管上面流量多大，下面流出的速度始終保持不變怔檩。
不管服務(wù)調(diào)用方多么不穩(wěn)定褪秀，通過漏桶算法進行限流，每10毫秒處理一次請求薛训。因為處理的速度是固定的媒吗，請求進來的速度是未知的，可能突然進來很多請求许蓖，沒來得及處理的請求就先放在桶里蝴猪，既然是個桶，肯定是有容量上限膊爪，如果桶滿了，那么新進來的請求就丟棄嚎莉。
在算法實現(xiàn)方面米酬，可以準備一個隊列，用來保存請求趋箩，另外通過一個線程池（ScheduledExecutorService）來定期從隊列中獲取請求并執(zhí)行赃额，可以一次性獲取多個并發(fā)執(zhí)行。
這種算法叫确，在使用過后也存在弊端：無法應(yīng)對短時間的突發(fā)流量跳芳。
3、令牌桶算法
從某種意義上講竹勉，令牌桶算法是對漏桶算法的一種改進飞盆，桶算法能夠限制請求調(diào)用的速率，而令牌桶算法能夠在限制調(diào)用的平均速率的同時還允許一定程度的突發(fā)調(diào)用。
在令牌桶算法中吓歇，存在一個桶孽水，用來存放固定數(shù)量的令牌。算法中存在一種機制城看，以一定的速率往桶中放令牌女气。每次請求調(diào)用需要先獲取令牌，只有拿到令牌测柠，才有機會繼續(xù)執(zhí)行炼鞠，否則選擇選擇等待可用的令牌、或者直接拒絕轰胁。
放令牌這個動作是持續(xù)不斷的進行谒主，如果桶中令牌數(shù)達到上限，就丟棄令牌软吐，所以就存在這種情況瘩将，桶中一直有大量的可用令牌，這時進來的請求就可以直接拿到令牌執(zhí)行凹耙，比如設(shè)置qps為100姿现，那么限流器初始化完成一秒后，桶中就已經(jīng)有100個令牌了肖抱，這時服務(wù)還沒完全啟動好备典，等啟動完成對外提供服務(wù)時，該限流器可以抵擋瞬時的100個請求意述。所以提佣，只有桶中沒有令牌時，請求才會進行等待荤崇，最后相當于以一定的速率執(zhí)行拌屏。
實現(xiàn)思路：可以準備一個隊列，用來保存令牌术荤，另外通過一個線程池定期生成令牌放到隊列中倚喂，每來一個請求，就從隊列中獲取一個令牌瓣戚，并繼續(xù)執(zhí)行端圈。
通過Google開源的guava包，我們可以很輕松的創(chuàng)建一個令牌桶算法的限流器子库。
<dependency>
<groupId>com.google.guava</groupId>
<artifactId>guava</artifactId>
<version>18.0</version>
</dependency>
通過RateLimiter類的create方法舱权，創(chuàng)建限流器。
public class RateLimiterMain {
public static void main(String[] args) {
RateLimiter rateLimiter = RateLimiter.create(10);
for (int i = 0; i < 10; i++) {
new Thread(new Runnable() {
@Override
public void run() {
rateLimiter.acquire()
System.out.println("pass");
}
}).start();
}
}
}
其實Guava提供了多種create方法仑嗅，方便創(chuàng)建適合各種需求的限流器宴倍。在上述例子中张症，創(chuàng)建了一個每秒生成10個令牌的限流器，即100ms生成一個啊楚，并最多保存10個令牌吠冤，多余的會被丟棄。
rateLimiter提供了acquire()和tryAcquire()接口
1恭理、使用acquire()方法拯辙，如果沒有可用令牌，會一直阻塞直到有足夠的令牌颜价。
2涯保、使用tryAcquire()方法，如果沒有可用令牌周伦，就直接返回false夕春。
3、使用tryAcquire()帶超時時間的方法专挪，如果沒有可用令牌及志，就會判斷在超時時間內(nèi)是否可以等到令牌，如果不能寨腔，就返回false速侈，如果可以，就阻塞等待迫卢。
集群限流
前面討論的幾種算法都屬于單機限流的范疇倚搬，但是業(yè)務(wù)需求五花八門，簡單的單機限流乾蛤，根本無法滿足他們每界。
比如為了限制某個資源被每個用戶或者商戶的訪問次數(shù)，5s只能訪問2次家卖，或者一天只能調(diào)用1000次眨层，這種需求，單機限流是無法實現(xiàn)的上荡，這時就需要通過集群限流進行實現(xiàn)谐岁。
如何實現(xiàn)？
為了控制訪問次數(shù)艇潭，肯定需要一個計數(shù)器挤牛，而且這個計數(shù)器只能保存在第三方服務(wù)，比如redis。
大概思路：每次有相關(guān)操作的時候看疗，就向redis服務(wù)器發(fā)送一個incr命令，比如需要限制某個用戶訪問/index接口的次數(shù)辖试，只需要拼接用戶id和接口名生成redis的key循签，每次該用戶訪問此接口時，只需要對這個key執(zhí)行incr命令，在這個key帶上過期時間尤蛮，就可以實現(xiàn)指定時間的訪問頻率媳友。
