如何使用 Nginx 優(yōu)雅的限流

來(lái)源:https://www.cnblogs.com/biglittleant/p/8979915.html
作者:biglittleant

限流算法

令牌桶算法

image

算法思想是:

  • 令牌以固定速率產(chǎn)生近上,并緩存到令牌桶中贼涩;

  • 令牌桶放滿時(shí),多余的令牌被丟棄圈匆;

  • 請(qǐng)求要消耗等比例的令牌才能被處理;

  • 令牌不夠時(shí)缸浦,請(qǐng)求被緩存蕉朵。

漏桶算法

image

算法思想是:

  • 水(請(qǐng)求)從上方倒入水桶,從水桶下方流出(被處理)罗珍;

  • 來(lái)不及流出的水存在水桶中(緩沖)洽腺,以固定速率流出脚粟;

  • 水桶滿后水溢出(丟棄)。

  • 這個(gè)算法的核心是:緩存請(qǐng)求蘸朋、勻速處理核无、多余的請(qǐng)求直接丟棄。
    相比漏桶算法藕坯,令牌桶算法不同之處在于它不但有一只“桶”团南,還有個(gè)隊(duì)列,這個(gè)桶是用來(lái)存放令牌的炼彪,隊(duì)列才是用來(lái)存放請(qǐng)求的吐根。

從作用上來(lái)說(shuō),漏桶和令牌桶算法最明顯的區(qū)別就是是否允許突發(fā)流量(burst)的處理辐马,漏桶算法能夠強(qiáng)行限制數(shù)據(jù)的實(shí)時(shí)傳輸(處理)速率拷橘,對(duì)突發(fā)流量不做額外處理;而令牌桶算法能夠在限制數(shù)據(jù)的平均傳輸速率的同時(shí)允許某種程度的突發(fā)傳輸喜爷。

Nginx按請(qǐng)求速率限速模塊使用的是漏桶算法冗疮,即能夠強(qiáng)行保證請(qǐng)求的實(shí)時(shí)處理速度不會(huì)超過(guò)設(shè)置的閾值。

Nginx官方版本限制IP的連接和并發(fā)分別有兩個(gè)模塊:

  • limit_req_zone 用來(lái)限制單位時(shí)間內(nèi)的請(qǐng)求數(shù)檩帐,即速率限制,采用的漏桶算法 "leaky bucket"术幔。

  • limit_req_conn 用來(lái)限制同一時(shí)間連接數(shù),即并發(fā)限制湃密。

limit_req_zone 參數(shù)配置

    Syntax:    limit_req zone=name [burst=number] [nodelay];
    Default:    —
    Context:    http, server, location

limit_req_zone $binary_remote_addr zone=one:10m rate=1r/s;

  • 第一個(gè)參數(shù):$binary_remote_addr 表示通過(guò)remote_addr這個(gè)標(biāo)識(shí)來(lái)做限制诅挑,“binary_”的目的是縮寫(xiě)內(nèi)存占用量,是限制同一客戶端ip地址泛源。

  • 第二個(gè)參數(shù):zone=one:10m表示生成一個(gè)大小為10M拔妥,名字為one的內(nèi)存區(qū)域,用來(lái)存儲(chǔ)訪問(wèn)的頻次信息俩由。

  • 第三個(gè)參數(shù):rate=1r/s表示允許相同標(biāo)識(shí)的客戶端的訪問(wèn)頻次毒嫡,這里限制的是每秒1次,還可以有比如30r/m的。

limit_req zone=one burst=5 nodelay;

  • 第一個(gè)參數(shù):zone=one 設(shè)置使用哪個(gè)配置區(qū)域來(lái)做限制兜畸,與上面limit_req_zone 里的name對(duì)應(yīng)努释。

  • 第二個(gè)參數(shù):burst=5,重點(diǎn)說(shuō)明一下這個(gè)配置咬摇,burst爆發(fā)的意思伐蒂,這個(gè)配置的意思是設(shè)置一個(gè)大小為5的緩沖區(qū)當(dāng)有大量請(qǐng)求(爆發(fā))過(guò)來(lái)時(shí),超過(guò)了訪問(wèn)頻次限制的請(qǐng)求可以先放到這個(gè)緩沖區(qū)內(nèi)肛鹏。

  • 第三個(gè)參數(shù):nodelay逸邦,如果設(shè)置,超過(guò)訪問(wèn)頻次而且緩沖區(qū)也滿了的時(shí)候就會(huì)直接返回503在扰,如果沒(méi)有設(shè)置缕减,則所有請(qǐng)求會(huì)等待排隊(duì)。

例子:

    http {
        limit_req_zone $binary_remote_addr zone=one:10m rate=1r/s;
        server {
            location /search/ {
                limit_req zone=one burst=5 nodelay;
            }
    }       

下面配置可以限制特定UA(比如搜索引擎)的訪問(wèn):

    limit_req_zone  $anti_spider  zone=one:10m   rate=10r/s;
    limit_req zone=one burst=100 nodelay;
    if ($http_user_agent ~* "googlebot|bingbot|Feedfetcher-Google") {
        set $anti_spider $http_user_agent;
    }

其他參數(shù)

    Syntax:    limit_req_log_level info | notice | warn | error;
    Default:    
    limit_req_log_level error;
    Context:    http, server, location

當(dāng)服務(wù)器由于limit被限速或緩存時(shí)芒珠,配置寫(xiě)入日志桥狡。延遲的記錄比拒絕的記錄低一個(gè)級(jí)別。例子:limit_req_log_level notice
延遲的的基本是info皱卓。

    Syntax:    limit_req_status code;
    Default:    
    limit_req_status 503;
    Context:    http, server, location

設(shè)置拒絕請(qǐng)求的返回值裹芝。值只能設(shè)置 400 到 599 之間。

ngx_http_limit_conn_module 參數(shù)配置

這個(gè)模塊用來(lái)限制單個(gè)IP的請(qǐng)求數(shù)娜汁。并非所有的連接都被計(jì)數(shù)嫂易。只有在服務(wù)器處理了請(qǐng)求并且已經(jīng)讀取了整個(gè)請(qǐng)求頭時(shí),連接才被計(jì)數(shù)掐禁。

    Syntax:    limit_conn zone number;
    Default:    —
    Context:    http, server, location
    limit_conn_zone $binary_remote_addr zone=addr:10m;

    server {
        location /download/ {
            limit_conn addr 1;
        }
    limit_conn_zone $binary_remote_addr zone=perip:10m;
    limit_conn_zone $server_name zone=perserver:10m;

    server {
        ...
        limit_conn perip 10;
        limit_conn perserver 100;
    }

一次只允許每個(gè)IP地址一個(gè)連接怜械。

    limit_conn_zone $binary_remote_addr zone=perip:10m;    limit_conn_zone $server_name zone=perserver:10m;    server {        ...        limit_conn perip 10;        limit_conn perserver 100;    }

可以配置多個(gè)limit_conn指令。例如穆桂,以上配置將限制每個(gè)客戶端IP連接到服務(wù)器的數(shù)量宫盔,同時(shí)限制連接到虛擬服務(wù)器的總數(shù)。

    Syntax:    limit_conn_zone key zone=name:size;
    Default:    —
    Context:    http
    limit_conn_zone $binary_remote_addr zone=addr:10m;

在這里享完,客戶端IP地址作為關(guān)鍵灼芭。請(qǐng)注意,不是 $ remote_addr 般又,而是使用 $ binary_remote_addr變量彼绷。$ remote_addr
變量的大小可以從7到15個(gè)字節(jié)不等。存儲(chǔ)的狀態(tài)在32位平臺(tái)上占用32或64字節(jié)的內(nèi)存茴迁,在64位平臺(tái)上總是占用64字節(jié)寄悯。對(duì)于IPv4地址, $ binary_remote_addr
變量的大小始終為4個(gè)字節(jié)堕义,對(duì)于IPv6地址則為16個(gè)字節(jié)猜旬。存儲(chǔ)狀態(tài)在32位平臺(tái)上始終占用32或64個(gè)字節(jié),在64位平臺(tái)上占用64個(gè)字節(jié)。一個(gè)兆字節(jié)的區(qū)域可以保持大約32000個(gè)32字節(jié)的狀態(tài)或大約16000個(gè)64字節(jié)的狀態(tài)洒擦。如果區(qū)域存儲(chǔ)耗盡椿争,服務(wù)器會(huì)將錯(cuò)誤返回給所有其他請(qǐng)求。

    Syntax:    limit_conn_log_level info | notice | warn | error;
    Default:    
    limit_conn_log_level error;
    Context:    http, server, location

當(dāng)服務(wù)器限制連接數(shù)時(shí)熟嫩,設(shè)置所需的日志記錄級(jí)別秦踪。

    Syntax:    limit_conn_status code;
    Default:    
    limit_conn_status 503;
    Context:    http, server, location

設(shè)置拒絕請(qǐng)求的返回值。

實(shí)戰(zhàn)

實(shí)例一 限制訪問(wèn)速率

    limit_req_zone $binary_remote_addr zone=mylimit:10m rate=2r/s;
    server { 
        location / { 
            limit_req zone=mylimit;
        }
    }

上述規(guī)則限制了每個(gè)IP訪問(wèn)的速度為2r/s掸茅,并將該規(guī)則作用于根目錄椅邓。如果單個(gè)IP在非常短的時(shí)間內(nèi)并發(fā)發(fā)送多個(gè)請(qǐng)求,結(jié)果會(huì)怎樣呢昧狮?

image

我們使用單個(gè)IP在10ms內(nèi)發(fā)并發(fā)送了6個(gè)請(qǐng)求景馁,只有1個(gè)成功,剩下的5個(gè)都被拒絕陵且。我們?cè)O(shè)置的速度是2r/s裁僧,為什么只有1個(gè)成功呢,是不是Nginx限制錯(cuò)了慕购?當(dāng)然不是,是因?yàn)镹ginx的限流統(tǒng)計(jì)是基于毫秒的茬底,我們?cè)O(shè)置的速度是2r/s沪悲,轉(zhuǎn)換一下就是500ms內(nèi)單個(gè)IP只允許通過(guò)1個(gè)請(qǐng)求,從501ms開(kāi)始才允許通過(guò)第二個(gè)請(qǐng)求阱表。

實(shí)例二 burst緩存處理

我們看到殿如,我們短時(shí)間內(nèi)發(fā)送了大量請(qǐng)求,Nginx按照毫秒級(jí)精度統(tǒng)計(jì)最爬,超出限制的請(qǐng)求直接拒絕涉馁。這在實(shí)際場(chǎng)景中未免過(guò)于苛刻,真實(shí)網(wǎng)絡(luò)環(huán)境中請(qǐng)求到來(lái)不是勻速的爱致,很可能有請(qǐng)求“突發(fā)”的情況烤送,也就是“一股子一股子”的。Nginx考慮到了這種情況糠悯,可以通過(guò)burst關(guān)鍵字開(kāi)啟對(duì)突發(fā)請(qǐng)求的緩存處理帮坚,而不是直接拒絕。
來(lái)看我們的配置:

    limit_req_zone $binary_remote_addr zone=mylimit:10m rate=2r/s;
    server { 
        location / { 
            limit_req zone=mylimit burst=4;
        }
    }

我們加入了burst=4互艾,意思是每個(gè)key(此處是每個(gè)IP)最多允許4個(gè)突發(fā)請(qǐng)求的到來(lái)试和。如果單個(gè)IP在10ms內(nèi)發(fā)送6個(gè)請(qǐng)求,結(jié)果會(huì)怎樣呢纫普?

image

相比實(shí)例一成功數(shù)增加了4個(gè)阅悍,這個(gè)我們?cè)O(shè)置的burst數(shù)目是一致的。具體處理流程是:1個(gè)請(qǐng)求被立即處理,4個(gè)請(qǐng)求被放到burst隊(duì)列里节视,另外一個(gè)請(qǐng)求被拒絕晦墙。通過(guò)burst參數(shù),我們使得Nginx限流具備了緩存處理突發(fā)流量的能力肴茄。

但是請(qǐng)注意:burst的作用是讓多余的請(qǐng)求可以先放到隊(duì)列里晌畅,慢慢處理。如果不加nodelay參數(shù)寡痰,隊(duì)列里的請(qǐng)求不會(huì)立即處理抗楔,而是按照rate設(shè)置的速度,以毫秒級(jí)精確的速度慢慢處理拦坠。

實(shí)例三 nodelay降低排隊(duì)時(shí)間

實(shí)例二中我們看到连躏,通過(guò)設(shè)置burst參數(shù),我們可以允許Nginx緩存處理一定程度的突發(fā)贞滨,多余的請(qǐng)求可以先放到隊(duì)列里入热,慢慢處理,這起到了平滑流量的作用晓铆。但是如果隊(duì)列設(shè)置的比較大勺良,請(qǐng)求排隊(duì)的時(shí)間就會(huì)比較長(zhǎng),用戶角度看來(lái)就是RT變長(zhǎng)了骄噪,這對(duì)用戶很不友好尚困。有什么解決辦法呢?nodelay參數(shù)允許請(qǐng)求在排隊(duì)的時(shí)候就立即被處理链蕊,也就是說(shuō)只要請(qǐng)求能夠進(jìn)入burst隊(duì)列事甜,就會(huì)立即被后臺(tái)worker處理,請(qǐng)注意滔韵,這意味著burst設(shè)置了nodelay時(shí)逻谦,系統(tǒng)瞬間的QPS可能會(huì)超過(guò)rate設(shè)置的閾值。nodelay參數(shù)要跟burst一起使用才有作用陪蜻。

延續(xù)實(shí)例二的配置邦马,我們加入nodelay選項(xiàng):

    limit_req_zone $binary_remote_addr zone=mylimit:10m rate=2r/s;
    server { 
        location / { 
            limit_req zone=mylimit burst=4 nodelay;
        }
    }

單個(gè)IP 10ms內(nèi)并發(fā)發(fā)送6個(gè)請(qǐng)求,結(jié)果如下:

image

跟實(shí)例二相比囱皿,請(qǐng)求成功率沒(méi)變化勇婴,但是總體耗時(shí)變短了。這怎么解釋呢嘱腥?實(shí)例二中耕渴,有4個(gè)請(qǐng)求被放到burst隊(duì)列當(dāng)中,工作進(jìn)程每隔500ms(rate=2r/s)取一個(gè)請(qǐng)求進(jìn)行處理齿兔,最后一個(gè)請(qǐng)求要排隊(duì)2s才會(huì)被處理橱脸;實(shí)例三中础米,請(qǐng)求放入隊(duì)列跟實(shí)例二是一樣的,但不同的是添诉,隊(duì)列中的請(qǐng)求同時(shí)具有了被處理的資格屁桑,所以實(shí)例三中的5個(gè)請(qǐng)求可以說(shuō)是同時(shí)開(kāi)始被處理的,花費(fèi)時(shí)間自然變短了栏赴。

但是請(qǐng)注意蘑斧,雖然設(shè)置burst和nodelay能夠降低突發(fā)請(qǐng)求的處理時(shí)間,但是長(zhǎng)期來(lái)看并不會(huì)提高吞吐量的上限须眷,長(zhǎng)期吞吐量的上限是由rate決定的竖瘾,因?yàn)閚odelay只能保證burst的請(qǐng)求被立即處理,但Nginx會(huì)限制隊(duì)列元素釋放的速度花颗,就像是限制了令牌桶中令牌產(chǎn)生的速度捕传。

看到這里你可能會(huì)問(wèn),加入了nodelay參數(shù)之后的限速算法扩劝,到底算是哪一個(gè)“桶”庸论,是漏桶算法還是令牌桶算法?當(dāng)然還算是漏桶算法棒呛∧羰荆考慮一種情況,令牌桶算法的token為耗盡時(shí)會(huì)怎么做呢条霜?由于它有一個(gè)請(qǐng)求隊(duì)列催什,所以會(huì)把接下來(lái)的請(qǐng)求緩存下來(lái),緩存多少受限于隊(duì)列大小宰睡。但此時(shí)緩存這些請(qǐng)求還有意義嗎?如果server已經(jīng)過(guò)載气筋,緩存隊(duì)列越來(lái)越長(zhǎng)拆内,RT越來(lái)越高,即使過(guò)了很久請(qǐng)求被處理了宠默,對(duì)用戶來(lái)說(shuō)也沒(méi)什么價(jià)值了麸恍。所以當(dāng)token不夠用時(shí),最明智的做法就是直接拒絕用戶的請(qǐng)求搀矫,這就成了漏桶算法抹沪。

示例四 自定義返回值

    limit_req_zone $binary_remote_addr zone=mylimit:10m rate=2r/s;
    server { 
        location / { 
            limit_req zone=mylimit burst=4 nodelay;
            limit_req_status 598;
        }
    }

默認(rèn)情況下 沒(méi)有配置 status 返回值的狀態(tài):

image

自定義 status 返回值的狀態(tài):
image

參考文檔

Nginx限制訪問(wèn)速率和最大并發(fā)連接數(shù)模塊--limit (防止DDOS攻擊)
Nginx 限流
關(guān)于nginx的限速模塊
[ Nginx 源代碼筆記 - HTTP 模塊 - 流控 ](http://ialloc.org/posts/2014/07/26/ngx-notes-
module-http-limit/)
Module ngx_http_limit_conn_module
Module ngx_http_limit_req_module
Nginx限速模塊初探

?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
  • 序言:七十年代末,一起剝皮案震驚了整個(gè)濱河市瓤球,隨后出現(xiàn)的幾起案子融欧,更是在濱河造成了極大的恐慌,老刑警劉巖卦羡,帶你破解...
    沈念sama閱讀 217,826評(píng)論 6 506
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件噪馏,死亡現(xiàn)場(chǎng)離奇詭異麦到,居然都是意外死亡,警方通過(guò)查閱死者的電腦和手機(jī)欠肾,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 92,968評(píng)論 3 395
  • 文/潘曉璐 我一進(jìn)店門(mén)瓶颠,熙熙樓的掌柜王于貴愁眉苦臉地迎上來(lái),“玉大人刺桃,你說(shuō)我怎么就攤上這事粹淋。” “怎么了瑟慈?”我有些...
    開(kāi)封第一講書(shū)人閱讀 164,234評(píng)論 0 354
  • 文/不壞的土叔 我叫張陵桃移,是天一觀的道長(zhǎng)。 經(jīng)常有香客問(wèn)我封豪,道長(zhǎng)谴轮,這世上最難降的妖魔是什么? 我笑而不...
    開(kāi)封第一講書(shū)人閱讀 58,562評(píng)論 1 293
  • 正文 為了忘掉前任吹埠,我火速辦了婚禮第步,結(jié)果婚禮上,老公的妹妹穿的比我還像新娘缘琅。我一直安慰自己粘都,他們只是感情好,可當(dāng)我...
    茶點(diǎn)故事閱讀 67,611評(píng)論 6 392
  • 文/花漫 我一把揭開(kāi)白布刷袍。 她就那樣靜靜地躺著翩隧,像睡著了一般。 火紅的嫁衣襯著肌膚如雪呻纹。 梳的紋絲不亂的頭發(fā)上堆生,一...
    開(kāi)封第一講書(shū)人閱讀 51,482評(píng)論 1 302
  • 那天,我揣著相機(jī)與錄音雷酪,去河邊找鬼淑仆。 笑死,一個(gè)胖子當(dāng)著我的面吹牛哥力,可吹牛的內(nèi)容都是我干的蔗怠。 我是一名探鬼主播,決...
    沈念sama閱讀 40,271評(píng)論 3 418
  • 文/蒼蘭香墨 我猛地睜開(kāi)眼吩跋,長(zhǎng)吁一口氣:“原來(lái)是場(chǎng)噩夢(mèng)啊……” “哼寞射!你這毒婦竟也來(lái)了?” 一聲冷哼從身側(cè)響起锌钮,我...
    開(kāi)封第一講書(shū)人閱讀 39,166評(píng)論 0 276
  • 序言:老撾萬(wàn)榮一對(duì)情侶失蹤桥温,失蹤者是張志新(化名)和其女友劉穎,沒(méi)想到半個(gè)月后轧粟,有當(dāng)?shù)厝嗽跇?shù)林里發(fā)現(xiàn)了一具尸體策治,經(jīng)...
    沈念sama閱讀 45,608評(píng)論 1 314
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡脓魏,尸身上長(zhǎng)有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 37,814評(píng)論 3 336
  • 正文 我和宋清朗相戀三年,在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了通惫。 大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片茂翔。...
    茶點(diǎn)故事閱讀 39,926評(píng)論 1 348
  • 序言:一個(gè)原本活蹦亂跳的男人離奇死亡,死狀恐怖履腋,靈堂內(nèi)的尸體忽然破棺而出珊燎,到底是詐尸還是另有隱情,我是刑警寧澤遵湖,帶...
    沈念sama閱讀 35,644評(píng)論 5 346
  • 正文 年R本政府宣布悔政,位于F島的核電站,受9級(jí)特大地震影響延旧,放射性物質(zhì)發(fā)生泄漏谋国。R本人自食惡果不足惜,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 41,249評(píng)論 3 329
  • 文/蒙蒙 一迁沫、第九天 我趴在偏房一處隱蔽的房頂上張望芦瘾。 院中可真熱鬧,春花似錦集畅、人聲如沸近弟。這莊子的主人今日做“春日...
    開(kāi)封第一講書(shū)人閱讀 31,866評(píng)論 0 22
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽(yáng)祷愉。三九已至,卻和暖如春赦颇,著一層夾襖步出監(jiān)牢的瞬間二鳄,已是汗流浹背。 一陣腳步聲響...
    開(kāi)封第一講書(shū)人閱讀 32,991評(píng)論 1 269
  • 我被黑心中介騙來(lái)泰國(guó)打工媒怯, 沒(méi)想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留泥从,地道東北人。 一個(gè)月前我還...
    沈念sama閱讀 48,063評(píng)論 3 370
  • 正文 我出身青樓沪摄,卻偏偏與公主長(zhǎng)得像,于是被迫代替她去往敵國(guó)和親纱烘。 傳聞我的和親對(duì)象是個(gè)殘疾皇子杨拐,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 44,871評(píng)論 2 354

推薦閱讀更多精彩內(nèi)容

  • 轉(zhuǎn)自 Nginx限速模塊初探 Nginx限速模塊分為哪幾種?按請(qǐng)求速率限速的burst和nodelay參數(shù)是什么意...
    seawish閱讀 346評(píng)論 0 1
  • 轉(zhuǎn)載:Nginx限速模塊初探 云棲君導(dǎo)讀:Nginx限速模塊分為哪幾種擂啥?按請(qǐng)求速率限速的burst和nodelay...
    meng_philip123閱讀 706評(píng)論 0 13
  • 限流算法: 1. 令牌桶算法 算法思想是: 令牌以固定速率產(chǎn)生哄陶,并緩存到令牌桶中;令牌桶放滿時(shí)哺壶,多余的令牌被丟棄屋吨;...
    touch_The_Sky閱讀 845評(píng)論 0 2
  • 【吳陽(yáng) ? 鄉(xiāng)村風(fēng)水調(diào)整】吳陽(yáng)陳氏褔宅坐妄向升兼隨卦周天吉度蜒谤,左水倒右,灶在蹇革卦至扰,圍墻門(mén)嗑鼎卦鳍徽,共三層,三樓右方...
    永順日子館閱讀 322評(píng)論 0 0
  • 在各個(gè)領(lǐng)域敢课,我們幾乎都能找到小眾打敗大眾的案例阶祭。不管是李宇春,還是雷軍的小米手機(jī)直秆”裟迹縮窄人群、提高強(qiáng)度這一策略的具體...
    號(hào)角和木魚(yú)閱讀 2,689評(píng)論 0 1