基于Redis和Lua實(shí)現(xiàn)分布式令牌桶限流

限流是什么

通過某種手段對(duì)某個(gè)時(shí)間段的并發(fā)訪問請(qǐng)求進(jìn)行流量限制,一旦流量達(dá)到限制閾值則可以拒絕服務(wù),排隊(duì)或等待,目的是防止系統(tǒng)因大流量或突發(fā)流量導(dǎo)致服務(wù)不可用或崩潰扒磁,是一種確保系統(tǒng)高可用的手段袱箱。

限流的簡(jiǎn)單了解

對(duì)外限流:

電商秒殺(因秒殺業(yè)務(wù)特性遏乔,需要限流):到達(dá)開賣時(shí)間瞬間大流量,此時(shí)下單人數(shù)>商品庫存发笔,服務(wù)器不可能同時(shí)全部消費(fèi)盟萨,需要進(jìn)行限流,賣完了之后就拒絕后續(xù)下單請(qǐng)求了讨。

微博熱搜(因產(chǎn)品特性捻激,需要限流):突然出現(xiàn)了幾個(gè)大瓜,那微博是不是突然流量激增前计,重災(zāi)區(qū)就是微博熱搜胞谭,此時(shí)所有服務(wù)滿載運(yùn)行,必須有個(gè)限流策略保證服務(wù)的高可用男杈。

防止惡意攻擊(突發(fā)惡意攻擊丈屹,需要限流):比如某一個(gè) API 被瘋狂請(qǐng)求,或者某一個(gè) IP 瘋狂請(qǐng)求公司的 API伶棒,此時(shí)就需要進(jìn)行限流旺垒,常見措施是先告警,再限流肤无。為了不影響其他服務(wù)的正常使用袖牙,需要設(shè)計(jì)限流方案。

API有償調(diào)用:用戶認(rèn)證+限流策略舅锄,顧名思義沒啥好說的,一般是 SAAS 公司最常見的業(yè)務(wù)司忱,常見于 OPEN-API 相關(guān)的小組負(fù)責(zé)的皇忿。

對(duì)內(nèi)限流:

BUG預(yù)防:核心服務(wù)的高可用是十分重要的,千萬不能掛坦仍。如果內(nèi)部應(yīng)用出現(xiàn) bug鳍烁,一直調(diào)用核心服務(wù),核心服務(wù)就有被擊垮的風(fēng)險(xiǎn)繁扎,限流也十分重要幔荒。

緩存雪崩:請(qǐng)求直接打到 DB,那就哦豁完蛋了梳玫,所以需要根據(jù)業(yè)務(wù)場(chǎng)景來實(shí)現(xiàn)限流后是排隊(duì)還是丟棄爹梁。

限流解決了什么問題

保證服務(wù)高可用,犧牲一部分的流量提澎,換取服務(wù)的可用性姚垃。對(duì)于被限流器直接作用的應(yīng)用來說,除了保證自身不被流量擊垮盼忌,還保護(hù)了依賴它的下游應(yīng)用积糯。

限流帶來的問題

任何技術(shù)都是雙刃劍掂墓,沒有絕對(duì)的好用,能帶來優(yōu)點(diǎn)必然也會(huì)帶來問題看成。

限流組件保證了高可用君编,犧牲了性能,增加了一層 IO 環(huán)節(jié)的開銷川慌,單機(jī)限流在本地吃嘿,分布式限流還要通過網(wǎng)絡(luò)協(xié)議。

限流組件保證了高可用窘游,犧牲了一致性唠椭,在大流量的情況下,請(qǐng)求的處理會(huì)出現(xiàn)延遲的情況忍饰,這種場(chǎng)景便無法保證強(qiáng)一致性贪嫂。特殊情況下,還無法保證最終一致性艾蓝,部分請(qǐng)求直接被拋棄力崇。

限流組件擁有流控權(quán),若限流組件掛了赢织,會(huì)引起雪崩效應(yīng)亮靴,導(dǎo)致請(qǐng)求與業(yè)務(wù)的大批量失敗。

引入限流組件于置,增加系統(tǒng)的復(fù)雜程度茧吊,開發(fā)難度增加,限流中間件的設(shè)計(jì)本身就是一個(gè)復(fù)雜的體系八毯,需要綜合業(yè)務(wù)與技術(shù)去思考與權(quán)衡搓侄,同時(shí)還要確保限流組件本身的高可用與性能,極大增加工作量话速,甚至需要一個(gè)團(tuán)隊(duì)去專門開發(fā)讶踪。

設(shè)計(jì)限流組件本身需要考慮的點(diǎn)

如果我來設(shè)計(jì)限流組件,我大致會(huì)確認(rèn)如下幾個(gè)點(diǎn):

1.明確限流器的目的:

用在哪些模塊泊交?

應(yīng)對(duì)哪些場(chǎng)景下的什么問題?

是單機(jī)限流還是分布式限流?

確定限流模塊的使用層面乳讥?例如:?jiǎn)螒?yīng)用維度、業(yè)務(wù)域維度廓俭、網(wǎng)關(guān)維度

2.明確限流器的維度云石,例如 IP 維度,用戶授權(quán) token 維度白指,API 維度等

3.怎么保證限流組件的高可用留晚?

4.怎么解決使用限流組件后帶來的一致性問題?

5.怎么縮小限流器的粒度,實(shí)現(xiàn)平滑限流错维?

常見的限流實(shí)現(xiàn)

單機(jī)

基于Java 并發(fā)工具

(信號(hào)量 / concurrentHashMap)

基于Google Guava RateLimiter

穩(wěn)定模式(SmoothBursty:令牌生成速度恒定) / 漸進(jìn)模式(SmoothWarmingUp:令牌生成速度緩慢提升直到維持在一個(gè)穩(wěn)定值)

分布式

(Redis + Lua / Nginx + Lua)

常見限流器種類

這四種限流器雖然網(wǎng)上介紹得很多奖地,但是我寫給自己看的 ^_^,自己要每次遇到都能夠脫口而出赋焕,而不是“我經(jīng)巢未酰看到過,但是我記不起來了”或者“我知道是什么意思隆判,但是我就是說不出來犬庇,也說不清楚”。后續(xù), 等API網(wǎng)關(guān)的限流模塊代碼完成后, 對(duì)著代碼和實(shí)踐會(huì)仔細(xì)展開說說 ~

計(jì)數(shù)器(固定窗口限流器)

滑動(dòng)窗口限流器

令牌桶限流器

漏桶限流器

模擬的場(chǎng)景

模擬API 網(wǎng)關(guān)中的一個(gè) API 接口在某個(gè)時(shí)刻突然接收到 100 個(gè)并發(fā)請(qǐng)求侨嘀,但是該 API 配置的令牌桶限流器每1分鐘生成一個(gè)臭挽,每次限流間隔為 1 小時(shí),限流上限為 60咬腕,則通過代碼模擬出最終效果欢峰,并輸出日志。

實(shí)現(xiàn)的效果

構(gòu)建請(qǐng)求

通過參數(shù)可知涨共,限流器的類別LimiterType選擇的是令牌桶纽帖,限流的時(shí)間單位timeUnit是每小時(shí),每個(gè)限流時(shí)間內(nèi)的令牌桶內(nèi)令牌的最大數(shù)量value是 60.


?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
  • 序言:七十年代末举反,一起剝皮案震驚了整個(gè)濱河市懊直,隨后出現(xiàn)的幾起案子,更是在濱河造成了極大的恐慌火鼻,老刑警劉巖室囊,帶你破解...
    沈念sama閱讀 212,718評(píng)論 6 492
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件,死亡現(xiàn)場(chǎng)離奇詭異魁索,居然都是意外死亡波俄,警方通過查閱死者的電腦和手機(jī),發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 90,683評(píng)論 3 385
  • 文/潘曉璐 我一進(jìn)店門蛾默,熙熙樓的掌柜王于貴愁眉苦臉地迎上來,“玉大人捉貌,你說我怎么就攤上這事支鸡。” “怎么了趁窃?”我有些...
    開封第一講書人閱讀 158,207評(píng)論 0 348
  • 文/不壞的土叔 我叫張陵牧挣,是天一觀的道長(zhǎng)。 經(jīng)常有香客問我醒陆,道長(zhǎng)瀑构,這世上最難降的妖魔是什么? 我笑而不...
    開封第一講書人閱讀 56,755評(píng)論 1 284
  • 正文 為了忘掉前任刨摩,我火速辦了婚禮寺晌,結(jié)果婚禮上世吨,老公的妹妹穿的比我還像新娘。我一直安慰自己呻征,他們只是感情好耘婚,可當(dāng)我...
    茶點(diǎn)故事閱讀 65,862評(píng)論 6 386
  • 文/花漫 我一把揭開白布。 她就那樣靜靜地躺著陆赋,像睡著了一般沐祷。 火紅的嫁衣襯著肌膚如雪。 梳的紋絲不亂的頭發(fā)上攒岛,一...
    開封第一講書人閱讀 50,050評(píng)論 1 291
  • 那天赖临,我揣著相機(jī)與錄音,去河邊找鬼灾锯。 笑死兢榨,一個(gè)胖子當(dāng)著我的面吹牛,可吹牛的內(nèi)容都是我干的挠进。 我是一名探鬼主播色乾,決...
    沈念sama閱讀 39,136評(píng)論 3 410
  • 文/蒼蘭香墨 我猛地睜開眼,長(zhǎng)吁一口氣:“原來是場(chǎng)噩夢(mèng)啊……” “哼领突!你這毒婦竟也來了暖璧?” 一聲冷哼從身側(cè)響起,我...
    開封第一講書人閱讀 37,882評(píng)論 0 268
  • 序言:老撾萬榮一對(duì)情侶失蹤君旦,失蹤者是張志新(化名)和其女友劉穎澎办,沒想到半個(gè)月后,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體金砍,經(jīng)...
    沈念sama閱讀 44,330評(píng)論 1 303
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡局蚀,尸身上長(zhǎng)有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 36,651評(píng)論 2 327
  • 正文 我和宋清朗相戀三年,在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了恕稠。 大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片琅绅。...
    茶點(diǎn)故事閱讀 38,789評(píng)論 1 341
  • 序言:一個(gè)原本活蹦亂跳的男人離奇死亡,死狀恐怖鹅巍,靈堂內(nèi)的尸體忽然破棺而出千扶,到底是詐尸還是另有隱情,我是刑警寧澤骆捧,帶...
    沈念sama閱讀 34,477評(píng)論 4 333
  • 正文 年R本政府宣布澎羞,位于F島的核電站,受9級(jí)特大地震影響敛苇,放射性物質(zhì)發(fā)生泄漏妆绞。R本人自食惡果不足惜,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 40,135評(píng)論 3 317
  • 文/蒙蒙 一、第九天 我趴在偏房一處隱蔽的房頂上張望括饶。 院中可真熱鬧株茶,春花似錦、人聲如沸巷帝。這莊子的主人今日做“春日...
    開封第一講書人閱讀 30,864評(píng)論 0 21
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽楞泼。三九已至驰徊,卻和暖如春,著一層夾襖步出監(jiān)牢的瞬間堕阔,已是汗流浹背棍厂。 一陣腳步聲響...
    開封第一講書人閱讀 32,099評(píng)論 1 267
  • 我被黑心中介騙來泰國打工, 沒想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留超陆,地道東北人牺弹。 一個(gè)月前我還...
    沈念sama閱讀 46,598評(píng)論 2 362
  • 正文 我出身青樓,卻偏偏與公主長(zhǎng)得像时呀,于是被迫代替她去往敵國和親张漂。 傳聞我的和親對(duì)象是個(gè)殘疾皇子,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 43,697評(píng)論 2 351

推薦閱讀更多精彩內(nèi)容