api網(wǎng)關(guān)安全與限流算法

Nginx限速模塊初探 這篇文章解析得很清晰了见间。
記錄一下幾個關(guān)鍵點:

nginx使用的是漏桶算法

核心的代碼是這一行

excess = lr->excess - ctx->rate * ngx_abs(ms) / 1000 + 1000; 

以固定的速率(ctx->rate)處理請求

nginx的限流統(tǒng)計是基于滑動窗口嗎

答案:不是
nginx以固定速率處理請求牍汹,不管是怎樣配置限速,它都是轉(zhuǎn)換為多少毫秒取一個請求來處理。什么意思呢?舉例:

limit_req_zone $binary_remote_addr zone=mylimit:10m rate=2r/s;

配置了一秒鐘2個請求檐蚜,那就是每500ms處理一個請求贯城。
也可以以分鐘為單位配置加缘,nginx官網(wǎng)文檔提到鸭叙,如果一秒內(nèi)的請求少于一個,可以以分鐘為單位配置:

The rate is specified in requests per second (r/s). If a rate of less than one request per second is desired, it is specified in request per minute (r/m). For example, half-request per second is 30r/m.

配置了30r/m拣宏,那就是30r/60000ms沈贝,每隔2000ms 處理一個請求。
假如說配置了200r/m勋乾,會出現(xiàn)跨2分鐘統(tǒng)計導致限流不準確的情況嗎宋下?例如:
0s---190r---60s---190r---120s
30s---210r---90s
從固定窗口來看,每一分鐘都是190個請求辑莫,沒有超限学歧;但是從滑動窗口來看,從第30s到90s這一分鐘是210個請求各吨,會導致限流不準確嗎枝笨?
答案是不會。
因為nginx會以每300ms一個請求的速率揭蜒,去處理請求伺帘,那么在30s-90s這一分鐘,一定不會超過200r/m忌锯,所以不會出現(xiàn)30s-90s處理了210個請求這種情況。

分布式限流如何做

通常的做法是redis+lua领炫。基于Redis的限流系統(tǒng)的設計這篇文章的限流算法是基于令牌桶的方式偶垮,而且它采取的是觸發(fā)式的方式往桶里放令牌。關(guān)鍵代碼如下:

local reverse_permits = math.floor(((curr_mill_second - last_mill_second) / 1000) * rate)
local expect_curr_permits = reverse_permits + curr_permits;
local_curr_permits = math.min(expect_curr_permits, max_permits);

計算上一次請求令牌的時間帝洪,與本次的時間差似舵,然后再乘以速率,來決定要加多少令牌葱峡。如果兩次請求的時間比較久砚哗,就相當于一次性補充了多個令牌。最后一行代碼表示不能超過最大令牌數(shù)砰奕。

滑動窗口的近似算法

滑動窗口蛛芥,一般的做法是記錄明細,包括時間军援,然后從當前時間開始仅淑,往前框好時間窗口,再統(tǒng)計胸哥。這種做法涯竟,占用存儲空間比較大。
How we built rate limiting capable of scaling to millions of domains 這篇文章提出了一種近似的算法,思路非常簡單庐船、直觀银酬。按作者的說法,還非常有效:

image.png

rate = 42 * ((60-15)/60) + 18
     = 42 * 0.75 + 18
     = 49.5 requests

它的算法是基于這么一個假設:上一時間窗口(固定時間窗口筐钟,例如10點05分這一分鐘)的訪問量是均勻的揩瞪。所以它是按比例取上一時間窗口的統(tǒng)計值。

最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
  • 序言:七十年代末盗棵,一起剝皮案震驚了整個濱河市壮韭,隨后出現(xiàn)的幾起案子,更是在濱河造成了極大的恐慌纹因,老刑警劉巖喷屋,帶你破解...
    沈念sama閱讀 212,816評論 6 492
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件,死亡現(xiàn)場離奇詭異瞭恰,居然都是意外死亡屯曹,警方通過查閱死者的電腦和手機,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 90,729評論 3 385
  • 文/潘曉璐 我一進店門惊畏,熙熙樓的掌柜王于貴愁眉苦臉地迎上來恶耽,“玉大人,你說我怎么就攤上這事颜启⊥导螅” “怎么了?”我有些...
    開封第一講書人閱讀 158,300評論 0 348
  • 文/不壞的土叔 我叫張陵缰盏,是天一觀的道長涌萤。 經(jīng)常有香客問我,道長口猜,這世上最難降的妖魔是什么负溪? 我笑而不...
    開封第一講書人閱讀 56,780評論 1 285
  • 正文 為了忘掉前任,我火速辦了婚禮济炎,結(jié)果婚禮上川抡,老公的妹妹穿的比我還像新娘。我一直安慰自己须尚,他們只是感情好崖堤,可當我...
    茶點故事閱讀 65,890評論 6 385
  • 文/花漫 我一把揭開白布。 她就那樣靜靜地躺著耐床,像睡著了一般倘感。 火紅的嫁衣襯著肌膚如雪。 梳的紋絲不亂的頭發(fā)上咙咽,一...
    開封第一講書人閱讀 50,084評論 1 291
  • 那天老玛,我揣著相機與錄音,去河邊找鬼。 笑死蜡豹,一個胖子當著我的面吹牛麸粮,可吹牛的內(nèi)容都是我干的。 我是一名探鬼主播镜廉,決...
    沈念sama閱讀 39,151評論 3 410
  • 文/蒼蘭香墨 我猛地睜開眼弄诲,長吁一口氣:“原來是場噩夢啊……” “哼!你這毒婦竟也來了娇唯?” 一聲冷哼從身側(cè)響起齐遵,我...
    開封第一講書人閱讀 37,912評論 0 268
  • 序言:老撾萬榮一對情侶失蹤,失蹤者是張志新(化名)和其女友劉穎塔插,沒想到半個月后梗摇,有當?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體,經(jīng)...
    沈念sama閱讀 44,355評論 1 303
  • 正文 獨居荒郊野嶺守林人離奇死亡想许,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點故事閱讀 36,666評論 2 327
  • 正文 我和宋清朗相戀三年伶授,在試婚紗的時候發(fā)現(xiàn)自己被綠了。 大學時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片流纹。...
    茶點故事閱讀 38,809評論 1 341
  • 序言:一個原本活蹦亂跳的男人離奇死亡糜烹,死狀恐怖,靈堂內(nèi)的尸體忽然破棺而出漱凝,到底是詐尸還是另有隱情疮蹦,我是刑警寧澤,帶...
    沈念sama閱讀 34,504評論 4 334
  • 正文 年R本政府宣布茸炒,位于F島的核電站挚币,受9級特大地震影響,放射性物質(zhì)發(fā)生泄漏扣典。R本人自食惡果不足惜,卻給世界環(huán)境...
    茶點故事閱讀 40,150評論 3 317
  • 文/蒙蒙 一慎玖、第九天 我趴在偏房一處隱蔽的房頂上張望贮尖。 院中可真熱鬧,春花似錦趁怔、人聲如沸湿硝。這莊子的主人今日做“春日...
    開封第一講書人閱讀 30,882評論 0 21
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽关斜。三九已至,卻和暖如春铺浇,著一層夾襖步出監(jiān)牢的瞬間痢畜,已是汗流浹背。 一陣腳步聲響...
    開封第一講書人閱讀 32,121評論 1 267
  • 我被黑心中介騙來泰國打工, 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留丁稀,地道東北人吼拥。 一個月前我還...
    沈念sama閱讀 46,628評論 2 362
  • 正文 我出身青樓,卻偏偏與公主長得像线衫,于是被迫代替她去往敵國和親凿可。 傳聞我的和親對象是個殘疾皇子,可洞房花燭夜當晚...
    茶點故事閱讀 43,724評論 2 351