一糊治、簡(jiǎn)介
Nginx不僅可以做Web服務(wù)器忿檩、做反向代理、負(fù)載均衡,還可以做限流系統(tǒng)冤留。此處我們就Nginx為例,介紹一下如何配置一個(gè)限流系統(tǒng)蛉幸。
Nginx使用的限流算法是漏桶算法张抄。
(1)安裝Nginx。
如果你的Linux是Ubuntu或Debian碑定,使用apt-get安裝流码,在命令行中輸入以下命令:
$ sudo apt-get update
$ sudo apt-get install nginx
如果是CentOS,使用yum安裝延刘,在命令行中輸入以下命令:
$ sudo yum install epel-release
$ sudo yum update
$ sudo yum install nginx
(2)找到Nginx所使用的配置文件所在的位置漫试。在Ubuntu和Debian是在如下位置:
$ cd /etc/nginx/sites-available/
而CentOS則是在如下位置:
$ cd /etc/nginx/conf.d/
(3)在http塊中,配置基礎(chǔ)的限流配置:
http
{ limit_req_zone$binary_remote_addr zone=mylimit:10m rate=10r/s;
server {
location /test/ {
limit_reqzone=mylimit;
proxy_passhttp://backend;
}
}
}
其中4到8行定義的是一個(gè)服務(wù)器接口访娶。而第2行和第6行配合完成了一個(gè)限流設(shè)置商虐,下面解釋一下這兩行做的事情:
limit_req_zone命令在Nginx的配置文件中專(zhuān)門(mén)用于定義限流,它必須被放在http塊中崖疤,否則無(wú)法生效秘车,因?yàn)樵撁钪辉趆ttp中被定義。
該字段包含三個(gè)參數(shù):
第一個(gè)參數(shù)劫哼,就是鍵(key)叮趴,即值$binary_remote_addr所在的位置,它代表的是我們的限流系統(tǒng)限制請(qǐng)求所用的鍵权烧。
此處眯亦,我們使用了$binary_remote_addr,它是Nginx內(nèi)置的一個(gè)值般码,代表的是客戶(hù)端的IP地址的二進(jìn)制表示妻率。因此換言之,我們的示例配置板祝,是希望限流系統(tǒng)以客戶(hù)端的IP地址為鍵進(jìn)行限流宫静。
對(duì)Nginx有經(jīng)驗(yàn)的讀者可能還知道有一個(gè)Nginx內(nèi)置值為binary_remote_addr是Nginx的社區(qū)推薦用值,因?yàn)樗嵌M(jìn)制表達(dá)券时,占用的空間一般比字符串表達(dá)的$remote_addr要短一些孤里,在寸土寸金的限流系統(tǒng)中尤為重要。
第二個(gè)參數(shù)是限流配置的共享內(nèi)存占用(zone)橘洞。為了性能優(yōu)勢(shì)捌袜,Nginx將限流配置放在共享內(nèi)存中,供所有Nginx的進(jìn)程使用炸枣,因?yàn)樗加玫氖莾?nèi)存虏等,所以我們希望開(kāi)發(fā)者能夠指定一個(gè)合理的弄唧、既不浪費(fèi)又能存儲(chǔ)足夠信息的空間大小。根據(jù)實(shí)踐經(jīng)驗(yàn)博其,1MB的空間可以?xún)?chǔ)存16000個(gè)IP地址套才。
該參數(shù)的語(yǔ)法是用冒號(hào)隔開(kāi)的兩個(gè)部分,第一部分是給該部分申請(qǐng)的內(nèi)存一個(gè)名字慕淡,第二部分是我們希望申請(qǐng)的內(nèi)存大小背伴。
因此,在該聲明中峰髓,我們聲明了一個(gè)名叫mylimit(我的限制)的內(nèi)存空間傻寂,然后它的大小是10M,即可以存儲(chǔ)160000個(gè)IP地址携兵,對(duì)于實(shí)驗(yàn)來(lái)說(shuō)足夠了疾掰。
第三個(gè)配置就是訪問(wèn)速率(rate)了,格式是用左斜杠隔開(kāi)的請(qǐng)求數(shù)和時(shí)間單位徐紧。這里的訪問(wèn)速率就是最大速率静檬,因此10r/s就是每秒10個(gè)請(qǐng)求。通過(guò)這臺(tái)Nginx服務(wù)器訪問(wèn)后端服務(wù)器的請(qǐng)求速率無(wú)法超過(guò)每秒10個(gè)請(qǐng)求并级。
注意到第5行聲明了一個(gè)資源位置/test/拂檩,因此我們第6行的配置就是針對(duì)這個(gè)資源的,通俗地說(shuō)嘲碧,我們?cè)诘?行的配置是針對(duì)特定API的稻励,這個(gè)API就是路徑為/test/的API,而其真正路徑就是第8行聲明的http://backend愈涩。注意望抽,這個(gè)URL是不存在的,實(shí)際操作中履婉,讀者需要將它換成你已經(jīng)開(kāi)發(fā)好的業(yè)務(wù)邏輯所在的位置煤篙,Nginx在這里的作用只是一個(gè)反向代理,它自己本身沒(méi)有資源毁腿。
第6行中辑奈,我們使用limit_req命令,聲明該API需要一個(gè)限流配置狸棍,而該限流配置所在位置(zone)就是mylimit身害。
這樣一來(lái)味悄,所有發(fā)往該API的請(qǐng)求會(huì)先讀到第6行的限流配置草戈,然后根據(jù)該限流配置mylimit的名稱(chēng)找到聲明在第2行的參數(shù),然后決定該請(qǐng)求是否應(yīng)該被拒絕侍瑟。
但是這樣還不夠唐片。不要忘了丙猬,Nginx使用的漏桶算法,不是時(shí)間窗口算法费韭,我們前文介紹中說(shuō)過(guò)茧球,漏桶算法是有兩個(gè)參數(shù)可以配置的!
(4)配置峰值星持。Nginx漏桶算法的峰值屬性在API中設(shè)置抢埋。參數(shù)名為burst。如下:
http {
limit_req_zone$binary_remote_addr zone=mylimit:10m rate=10r/s;
server {
location /test/ {
limit_reqzone=mylimit burst=20;
proxy_passhttp://backend;
}
}
}
在第6行中督暂,我們只需要在聲明limit_req的同時(shí)揪垄,指定burst就可以了,此處我們指定burst為20逻翁,即漏桶算法中我們的“桶”最多可以接受20個(gè)請(qǐng)求饥努。
這樣一個(gè)Nginx的限流系統(tǒng)就配置完畢了,但實(shí)際操作中八回,我們還可能需要很多別的功能酷愧,下面筆者就介紹幾個(gè)很有用的配置技巧。
二缠诅、加快Nginx轉(zhuǎn)發(fā)速度
相對(duì)于傳統(tǒng)的漏桶算法慢吞吞地轉(zhuǎn)發(fā)請(qǐng)求的缺陷溶浴,Nginx實(shí)現(xiàn)了一種漏桶算法的優(yōu)化版,允許開(kāi)發(fā)者指定快速轉(zhuǎn)發(fā)滴铅,而且還不影響正常的限流功能戳葵。開(kāi)發(fā)者只需要在指定limit_req的一行中指定burst之后指定另一個(gè)參數(shù)nodelay,就可以在請(qǐng)求總數(shù)沒(méi)有超過(guò)burst指定值的情況下汉匙,迅速轉(zhuǎn)發(fā)所有請(qǐng)求了拱烁。如下所示:
http {
limit_req_zone$binary_remote_addr zone=mylimit:10m rate=10r/s;
server {
location /test/ {
limit_reqzone=mylimit burst=20 nodelay;
proxy_passhttp://backend;
}
}
}
您可能會(huì)擔(dān)憂(yōu):這種情況下,會(huì)不會(huì)出現(xiàn)所有請(qǐng)求都被快速轉(zhuǎn)發(fā)噩翠,然后接下來(lái)又有沒(méi)有超過(guò)burst數(shù)量的請(qǐng)求出現(xiàn)戏自,再次被快速轉(zhuǎn)發(fā),就好像固定窗口算法的漏洞一樣伤锚,從而超過(guò)我們本來(lái)希望它能限制到的上限數(shù)量呢擅笔?答案是不會(huì)。Nginx的快速轉(zhuǎn)發(fā)是這樣實(shí)現(xiàn)的:
當(dāng)有沒(méi)有超過(guò)burst上限的請(qǐng)求數(shù)量進(jìn)入系統(tǒng)時(shí)屯援,快速轉(zhuǎn)發(fā)猛们,然后將當(dāng)前桶中可以填充的數(shù)量標(biāo)為0;
按照我們?cè)O(shè)置的rate在1秒中內(nèi)緩慢增加桶中余額狞洋,以我們的配置為例弯淘,每隔100毫秒,增加1個(gè)空位吉懊;
在增加空位的過(guò)程中庐橙,進(jìn)來(lái)超過(guò)空位數(shù)量的請(qǐng)求假勿,直接拒絕。
舉例而言态鳖,配置如上所示转培,假如在某個(gè)瞬時(shí)有25個(gè)請(qǐng)求進(jìn)入系統(tǒng),Nginx會(huì)先轉(zhuǎn)發(fā)20個(gè)(或21個(gè)浆竭,取決于瞬時(shí)情況)浸须,然后拒絕剩下的4個(gè)請(qǐng)求,并將當(dāng)前桶中數(shù)量標(biāo)為0邦泄,然后接下來(lái)的每100毫秒羽戒,緩慢恢復(fù)1個(gè)空位。
這樣我們可以看到虎韵,Nginx既做到了快速轉(zhuǎn)發(fā)消息易稠,又不會(huì)讓后端服務(wù)器承擔(dān)過(guò)多的流量。
三包蓝、 為限流系統(tǒng)配置日志級(jí)別
限流系統(tǒng)會(huì)提前拒絕請(qǐng)求驶社,因此,我們?cè)跇I(yè)務(wù)服務(wù)器上是肯定看不到這些請(qǐng)求的测萎。假如我們收到一個(gè)報(bào)告說(shuō)某用戶(hù)在使用網(wǎng)站的時(shí)候出現(xiàn)錯(cuò)誤亡电,但是我們?cè)跇I(yè)務(wù)服務(wù)器上又找不到相關(guān)的日志,我們?nèi)绾未_定是不是限流造成的呢硅瞧?
只有限流系統(tǒng)的日志才能說(shuō)明問(wèn)題份乒。因此,我們需要Nginx打印出它拒絕掉的請(qǐng)求的信息腕唧。但同時(shí)或辖,Nginx打印的限流日志默認(rèn)是錯(cuò)誤(error),如果我們?cè)O(shè)置了一個(gè)基于日志錯(cuò)誤掃描的警報(bào)枣接,它掃到的限流錯(cuò)誤颂暇,真的是我們希望給自己發(fā)警報(bào)的情況嗎?
配置請(qǐng)求的位置就在資源中但惶,使用的命令是limit_req_log_level耳鸯,如下:
http {
limit_req_zone$binary_remote_addr zone=mylimit:10m rate=10r/s;
server {
location /test/ {
limit_reqzone=mylimit burst=20;
limit_req_log_level warn;
proxy_passhttp://backend;
}
}
}
在第7行中,我們將Nginx的日志改為了警告(warn)膀曾。
四县爬、修改Nginx的限流響應(yīng)狀態(tài)碼
限流的HTTP標(biāo)準(zhǔn)響應(yīng)狀態(tài)碼是429,但是如果讀者拿上述的配置文件直接去測(cè)試添谊,會(huì)發(fā)現(xiàn)Nginx返回的是503(服務(wù)不可用)财喳。到底應(yīng)該返回什么狀態(tài)碼,是一個(gè)偏程序哲學(xué)的問(wèn)題碉钠,此處我們不討論纲缓,我們只討論:如何讓Nginx返回我們指定的狀態(tài)碼?
答案也是在同一個(gè)資源中喊废,它的配置命令是limit_req_status祝高,然后我們指定它為429即可:
http {
limit_req_zone$binary_remote_addr zone=mylimit:10m rate=10r/s;
server {
location /test/ {
limit_reqzone=mylimit burst=20;
limit_req_log_level warn;
limit_req_status 429;
proxy_passhttp://backend;
}
}
}
除了以上功能以外,Nginx還支持很多復(fù)雜先進(jìn)的限流功能污筷,可以訪問(wèn)https://docs.nginx.com/nginx/admin-guide/security-controls/controlling-access-proxied-http/作進(jìn)一步的了解工闺。