作者：nick hao

www.cnblogs.com/haoxinyue/p/6792309.html?

開濤大神在博客中說過：在開發(fā)高并發(fā)系統(tǒng)時有三把利器用來保護系統(tǒng)：緩存、降級和限流叙身。本文結(jié)合作者的一些經(jīng)驗介紹限流的相關(guān)概念棵譬、算法和常規(guī)的實現(xiàn)方式呀页。

緩存

緩存比較好理解机久，在大型高并發(fā)系統(tǒng)中叫挟，如果沒有緩存數(shù)據(jù)庫將分分鐘被爆双炕，系統(tǒng)也會瞬間癱瘓踱蠢。使用緩存不單單能夠提升系統(tǒng)訪問速度袖肥、提高并發(fā)訪問量咪辱，也是保護數(shù)據(jù)庫、保護系統(tǒng)的有效方式椎组。大型網(wǎng)站一般主要是“讀”油狂，緩存的使用很容易被想到。在大型“寫”系統(tǒng)中寸癌，緩存也常常扮演者非常重要的角色专筷。比如累積一些數(shù)據(jù)批量寫入，內(nèi)存里面的緩存隊列（生產(chǎn)消費）蒸苇，以及HBase寫數(shù)據(jù)的機制等等也都是通過緩存提升系統(tǒng)的吞吐量或者實現(xiàn)系統(tǒng)的保護措施磷蛹。甚至消息中間件，你也可以認為是一種分布式的數(shù)據(jù)緩存溪烤。

降級

服務降級是當服務器壓力劇增的情況下味咳，根據(jù)當前業(yè)務情況及流量對一些服務和頁面有策略的降級，以此釋放服務器資源以保證核心任務的正常運行氛什。降級往往會指定不同的級別莺葫，面臨不同的異常等級執(zhí)行不同的處理。根據(jù)服務方式：可以拒接服務枪眉，可以延遲服務捺檬，也有時候可以隨機服務。根據(jù)服務范圍：可以砍掉某個功能贸铜，也可以砍掉某些模塊堡纬。總之服務降級需要根據(jù)不同的業(yè)務需求采用不同的降級策略蒿秦。主要的目的就是服務雖然有損但是總比沒有好烤镐。

限流

限流可以認為服務降級的一種，限流就是限制系統(tǒng)的輸入和輸出流量已達到保護系統(tǒng)的目的棍鳖。一般來說系統(tǒng)的吞吐量是可以被測算的炮叶，為了保證系統(tǒng)的穩(wěn)定運行碗旅，一旦達到的需要限制的閾值，就需要限制流量并采取一些措施以完成限制流量的目的镜悉。比如：延遲處理祟辟，拒絕處理，或者部分拒絕處理等等侣肄。

限流的算法

常見的限流算法有：計數(shù)器旧困、漏桶和令牌桶算法。

計數(shù)器

計數(shù)器是最簡單粗暴的算法稼锅。比如某個服務最多只能每秒鐘處理100個請求吼具。我們可以設(shè)置一個1秒鐘的滑動窗口，窗口中有10個格子矩距，每個格子100毫秒拗盒，每100毫秒移動一次，每次移動都需要記錄當前服務請求的次數(shù)锥债。內(nèi)存中需要保存10次的次數(shù)锣咒。可以用數(shù)據(jù)結(jié)構(gòu)LinkedList來實現(xiàn)赞弥。格子每次移動的時候判斷一次毅整，當前訪問次數(shù)和LinkedList中最后一個相差是否超過100，如果超過就需要限流了绽左。

很明顯悼嫉，當滑動窗口的格子劃分的越多，那么滑動窗口的滾動就越平滑拼窥，限流的統(tǒng)計就會越精確戏蔑。

示例代碼如下：

//服務訪問次數(shù)，可以放在Redis中鲁纠，實現(xiàn)分布式系統(tǒng)的訪問計數(shù)

Long counter =0L;

//使用LinkedList來記錄滑動窗口的10個格子总棵。

LinkedList ll =newLinkedList();

publicstaticvoidmain(String[] args)

{

Counter counter =newCounter();

counter.doCheck();

}

privatevoiddoCheck()

{

while(true)

{

ll.addLast(counter);

if(ll.size() >10)

{

ll.removeFirst();

}

//比較最后一個和第一個，兩者相差一秒

if((ll.peekLast() - ll.peekFirst()) >100)

{

//To limit rate

}

Thread.sleep(100);

}

}

漏桶算法

漏桶算法即leaky bucket是一種非常常用的限流算法改含，可以用來實現(xiàn)流量整形（Traffic Shaping）和流量控制（Traffic Policing）情龄。貼了一張維基百科上示意圖幫助大家理解：

漏桶算法的主要概念如下：

一個固定容量的漏桶，按照常量固定速率流出水滴捍壤；

如果桶是空的骤视，則不需流出水滴；

可以以任意速率流入水滴到漏桶鹃觉；

如果流入水滴超出了桶的容量专酗，則流入的水滴溢出了（被丟棄），而漏桶容量是不變的盗扇。

漏桶算法比較好實現(xiàn)祷肯，在單機系統(tǒng)中可以使用隊列來實現(xiàn)（.Net中TPL DataFlow可以較好的處理類似的問題沉填，你可以在這里找到相關(guān)的介紹），在分布式環(huán)境中消息中間件或者Redis都是可選的方案佑笋。

令牌桶算法

令牌桶算法是一個存放固定容量令牌（token）的桶拜轨，按照固定速率往桶里添加令牌。令牌桶算法基本可以用下面的幾個概念來描述：

令牌將按照固定的速率被放入令牌桶中允青。比如每秒放10個。

桶中最多存放b個令牌卵沉，當桶滿時颠锉，新添加的令牌被丟棄或拒絕。

當一個n個字節(jié)大小的數(shù)據(jù)包到達史汗，將從桶中刪除n個令牌琼掠，接著數(shù)據(jù)包被發(fā)送到網(wǎng)絡上。

如果桶中的令牌不足n個停撞，則不會刪除令牌瓷蛙，且該數(shù)據(jù)包將被限流（要么丟棄，要么緩沖區(qū)等待）戈毒。

如下圖：

令牌算法是根據(jù)放令牌的速率去控制輸出的速率艰猬，也就是上圖的to network的速率。to network我們可以理解為消息的處理程序埋市，執(zhí)行某段業(yè)務或者調(diào)用某個RPC冠桃。

漏桶和令牌桶的比較

令牌桶可以在運行時控制和調(diào)整數(shù)據(jù)處理的速率，處理某時的突發(fā)流量道宅。放令牌的頻率增加可以提升整體數(shù)據(jù)處理的速度食听，而通過每次獲取令牌的個數(shù)增加或者放慢令牌的發(fā)放速度和降低整體數(shù)據(jù)處理速度。而漏桶不行污茵，因為它的流出速率是固定的樱报，程序處理速度也是固定的。

整體而言泞当，令牌桶算法更優(yōu)迹蛤，但是實現(xiàn)更為復雜一些。

限流算法實現(xiàn)

Guava

Guava是一個Google開源項目襟士，包含了若干被Google的Java項目廣泛依賴的核心庫笤受，其中的RateLimiter提供了令牌桶算法實現(xiàn)：平滑突發(fā)限流(SmoothBursty)和平滑預熱限流(SmoothWarmingUp)實現(xiàn)。

1. 常規(guī)速率：

創(chuàng)建一個限流器敌蜂，設(shè)置每秒放置的令牌數(shù)：2個箩兽。返回的RateLimiter對象可以保證1秒內(nèi)不會給超過2個令牌，并且是固定速率的放置章喉。達到平滑輸出的效果

publicvoidtest()

{

/**

* 創(chuàng)建一個限流器汗贫，設(shè)置每秒放置的令牌數(shù)：2個身坐。速率是每秒可以2個的消息。

* 返回的RateLimiter對象可以保證1秒內(nèi)不會給超過2個令牌落包，并且是固定速率的放置部蛇。達到平滑輸出的效果

*/

RateLimiter r = RateLimiter.create(2);

while(true)

{

/**

* acquire()獲取一個令牌，并且返回這個獲取這個令牌所需要的時間咐蝇。如果桶里沒有令牌則等待涯鲁，直到有令牌。

* acquire(N)可以獲取多個令牌有序。

*/

System.out.println(r.acquire());

}

}

上面代碼執(zhí)行的結(jié)果如下圖抹腿，基本是0.5秒一個數(shù)據(jù)。拿到令牌后才能處理數(shù)據(jù)旭寿，達到輸出數(shù)據(jù)或者調(diào)用接口的平滑效果警绩。acquire()的返回值是等待令牌的時間，如果需要對某些突發(fā)的流量進行處理的話盅称，可以對這個返回值設(shè)置一個閾值肩祥，根據(jù)不同的情況進行處理，比如過期丟棄缩膝。

2. 突發(fā)流量：

突發(fā)流量可以是突發(fā)的多混狠，也可以是突發(fā)的少。首先來看個突發(fā)多的例子疾层。還是上面例子的流量檀蹋，每秒2個數(shù)據(jù)令牌。如下代碼使用acquire方法云芦，指定參數(shù)俯逾。

System.out.println(r.acquire(2));

System.out.println(r.acquire(1));

System.out.println(r.acquire(1));

System.out.println(r.acquire(1));

得到如下類似的輸出：

如果要一次新處理更多的數(shù)據(jù)，則需要更多的令牌舅逸。代碼首先獲取2個令牌桌肴，那么下一個令牌就不是0.5秒之后獲得了，還是1秒以后琉历，之后又恢復常規(guī)速度坠七。這是一個突發(fā)多的例子，如果是突發(fā)沒有流量旗笔，如下代碼：

System.out.println(r.acquire(1));

Thread.sleep(2000);

System.out.println(r.acquire(1));

System.out.println(r.acquire(1));

System.out.println(r.acquire(1));

得到如下類似的結(jié)果：

等了兩秒鐘之后彪置，令牌桶里面就積累了3個令牌，可以連續(xù)不花時間的獲取出來蝇恶。處理突發(fā)其實也就是在單位時間內(nèi)輸出恒定拳魁。這兩種方式都是使用的RateLimiter的子類SmoothBursty。另一個子類是SmoothWarmingUp撮弧，它提供的有一定緩沖的流量輸出方案潘懊。

/**

* 創(chuàng)建一個限流器姚糊，設(shè)置每秒放置的令牌數(shù)：2個。速率是每秒可以210的消息授舟。

* 返回的RateLimiter對象可以保證1秒內(nèi)不會給超過2個令牌救恨，并且是固定速率的放置。達到平滑輸出的效果

* 設(shè)置緩沖時間為3秒

*/

RateLimiter r = RateLimiter.create(2,3,TimeUnit.SECONDS);

while(true) {

/**

* acquire()獲取一個令牌释树，并且返回這個獲取這個令牌所需要的時間肠槽。如果桶里沒有令牌則等待，直到有令牌奢啥。

* acquire(N)可以獲取多個令牌秸仙。

*/

System.out.println(r.acquire(1));

System.out.println(r.acquire(1));

System.out.println(r.acquire(1));

System.out.println(r.acquire(1));

}

輸出結(jié)果如下圖，由于設(shè)置了緩沖的時間是3秒扫尺，令牌桶一開始并不會0.5秒給一個消息，而是形成一個平滑線性下降的坡度炊汤，頻率越來越高正驻，在3秒鐘之內(nèi)達到原本設(shè)置的頻率，以后就以固定的頻率輸出抢腐。圖中紅線圈出來的3次累加起來正好是3秒左右姑曙。這種功能適合系統(tǒng)剛啟動需要一點時間來“熱身”的場景。

Nginx

對于Nginx接入層限流可以使用Nginx自帶了兩個模塊：連接數(shù)限流模塊ngx_http_limit_conn_module和漏桶算法實現(xiàn)的請求限流模塊ngx_http_limit_req_module迈倍。

1. ngx_http_limit_conn_module

我們經(jīng)常會遇到這種情況伤靠，服務器流量異常，負載過大等等啼染。對于大流量惡意的攻擊訪問宴合，會帶來帶寬的浪費，服務器壓力迹鹅，影響業(yè)務卦洽，往往考慮對同一個ip的連接數(shù)，并發(fā)數(shù)進行限制斜棚。ngx_http_limit_conn_module 模塊來實現(xiàn)該需求阀蒂。該模塊可以根據(jù)定義的鍵來限制每個鍵值的連接數(shù)，如同一個IP來源的連接數(shù)弟蚀。并不是所有的連接都會被該模塊計數(shù)蚤霞，只有那些正在被處理的請求（這些請求的頭信息已被完全讀入）所在的連接才會被計數(shù)。

我們可以在nginx_conf的http{}中加上如下配置實現(xiàn)限制：

#限制每個用戶的并發(fā)連接數(shù)义钉，取名one

limit_conn_zone $binary_remote_addr zone=one:10m;

#配置記錄被限流后的日志級別昧绣，默認error級別

limit_conn_log_level error;

#配置被限流后返回的狀態(tài)碼，默認返回503

limit_conn_status503;

然后在server{}里加上如下代碼：

#限制用戶并發(fā)連接數(shù)為1

limit_conn one1;

然后我們是使用ab測試來模擬并發(fā)請求：?

ab -n 5 -c 5 http://10.23.22.239/index.html

得到下面的結(jié)果捶闸，很明顯并發(fā)被限制住了滞乙，超過閾值的都顯示503：

另外剛才是配置針對單個IP的并發(fā)限制奏纪，還是可以針對域名進行并發(fā)限制，配置和客戶端IP類似斩启。

#http{}段配置

limit_conn_zone $ server_name zone=perserver:10m;

#server{}段配置

limit_conn perserver1;

2. ngx_http_limit_req_module

上面我們使用到了ngx_http_limit_conn_module 模塊序调，來限制連接數(shù)。那么請求數(shù)的限制該怎么做呢兔簇？這就需要通過ngx_http_limit_req_module 模塊來實現(xiàn)发绢，該模塊可以通過定義的鍵值來限制請求處理的頻率。特別的垄琐，可以限制來自單個IP地址的請求處理頻率边酒。限制的方法是使用了漏斗算法，每秒固定處理請求數(shù)狸窘，推遲過多請求墩朦。如果請求的頻率超過了限制域配置的值，請求處理會被延遲或被丟棄翻擒，所以所有的請求都是以定義的頻率被處理的氓涣。

在http{}中配置

#區(qū)域名稱為one，大小為10m陋气，平均處理的請求頻率不能超過每秒一次劳吠。

limit_req_zone $binary_remote_addr zone=one:10m rate=1r/s;

在server{}中配置

#設(shè)置每個IP桶的數(shù)量為5

limit_req zone=one burst=5;

上面設(shè)置定義了每個IP的請求處理只能限制在每秒1個。并且服務端可以為每個IP緩存5個請求巩趁，如果操作了5個請求痒玩，請求就會被丟棄。

使用ab測試模擬客戶端連續(xù)訪問10次：ab -n 10 -c 10 http://10.23.22.239/index.html

如下圖议慰，設(shè)置了通的個數(shù)為5個蠢古。一共10個請求，第一個請求馬上被處理别凹。第2-6個被存放在桶中便瑟。由于桶滿了，沒有設(shè)置nodelay因此番川，余下的4個請求被丟棄到涂。