前言

基于Redis使用分布式鎖在當今已經(jīng)不是什么新鮮事了睦刃。本篇文章主要是基于我們實際項目中因為redis分布式鎖造成的事故分析及解決方案。?背景：我們項目中的搶購訂單采用的是分布式鎖來解決的十酣。有一次涩拙，運營做了一個飛天茅臺的搶購活動，庫存100瓶婆誓，但是卻超賣了吃环！要知道，這個地球上飛天茅臺的稀缺性把蠡谩Ｓ羟帷！文留！事故定為P0級重大事故...只能坦然接受好唯。整個項目組被扣績效了~~事故發(fā)生后，CTO指名點姓讓我?guī)ь^沖鋒來處理燥翅，好吧骑篙，沖~

事故現(xiàn)場

經(jīng)過一番了解后，得知這個搶購活動接口以前從來沒有出現(xiàn)過這種情況森书，但是這次為什么會超賣呢靶端？原因在于：之前的搶購商品都不是什么稀缺性商品，而這次活動居然是飛天茅臺凛膏，通過埋點數(shù)據(jù)分析杨名，各項數(shù)據(jù)基本都是成倍增長，活動熱烈程度可想而知猖毫！話不多說台谍，直接上核心代碼，機密部分做了偽代碼處理吁断。趁蕊。。

publicSeckillActivityRequestVO seckillHandle(SeckillActivityRequestVO request) {SeckillActivityRequestVO response;? ? String key ="key:"+ request.getSeckillId;try{BooleanlockFlag = redisTemplate.opsForValue().setIfAbsent(key,"val",10, TimeUnit.SECONDS);if(lockFlag) {// HTTP請求用戶服務進行用戶相關的校驗// 用戶活動校驗// 庫存校驗Object stock = redisTemplate.opsForHash().get(key+":info","stock");? ? ? ? ? ? assert stock !=null;if(Integer.parseInt(stock.toString()) <=0) {// 業(yè)務異常}else{? ? ? ? ? ? ? ? redisTemplate.opsForHash().increment(key+":info","stock", -1);// 生成訂單// 發(fā)布訂單創(chuàng)建成功事件// 構(gòu)建響應VO}? ? ? ? }? ? }finally{// 釋放鎖stringRedisTemplate.delete("key");// 構(gòu)建響應VO}returnresponse;}

以上代碼仔役，通過分布式鎖過期時間有效期10s來保障業(yè)務邏輯有足夠的執(zhí)行時間掷伙；采用try-finally語句塊保證鎖一定會及時釋放。業(yè)務代碼內(nèi)部也對庫存進行了校驗骂因⊙卓В看起來很安全啊~ 別急，繼續(xù)分析。

事故原因

飛天茅臺搶購活動吸引了大量新用戶下載注冊我們的APP乘盼，其中升熊，不乏很多羊毛黨，采用專業(yè)的手段來注冊新用戶來薅羊毛和刷單绸栅。當然我們的用戶系統(tǒng)提前做好了防備级野，接入阿里云人機驗證、三要素認證以及自研的風控系統(tǒng)等各種十八般武藝粹胯，擋住了大量的非法用戶蓖柔。此處不禁點個贊~?但也正因如此，讓用戶服務一直處于較高的運行負載中风纠。 搶購活動開始的一瞬間况鸣，大量的用戶校驗請求打到了用戶服務。導致用戶服務網(wǎng)關出現(xiàn)了短暫的響應延遲竹观，有些請求的響應時長超過了10s镐捧，但由于HTTP請求的響應超時我們設置的是30s，這就導致接口一直阻塞在用戶校驗那里臭增，10s后懂酱，分布式鎖已經(jīng)失效了，此時有新的請求進來是可以拿到鎖的誊抛，也就是說鎖被覆蓋了列牺。這些阻塞的接口執(zhí)行完之后，又會執(zhí)行釋放鎖的邏輯拗窃，這就把其他線程的鎖釋放了瞎领，導致新的請求也可以競爭到鎖~這真是一個極其惡劣的循環(huán)。 這個時候只能依賴庫存校驗随夸，但是偏偏庫存校驗不是非原子性的默刚，采用的是get and compare?的方式，超賣的悲劇就這樣發(fā)生了~~~

事故分析

仔細分析下來逃魄，可以發(fā)現(xiàn)，這個搶購接口在高并發(fā)場景下澜搅，是有嚴重的安全隱患的伍俘，主要集中在三個地方：

沒有其他系統(tǒng)風險容錯處理

由于用戶服務吃緊，網(wǎng)關響應延遲勉躺，但沒有任何應對方式癌瘾，這是超賣的導火索。

看似安全的分布式鎖其實一點都不安全

雖然采用了set key value [EX seconds] [PX milliseconds] [NX|XX]的方式饵溅，但是如果線程A執(zhí)行的時間較長沒有來得及釋放妨退，鎖就過期了，此時線程B是可以獲取到鎖的。當線程A執(zhí)行完成之后咬荷，釋放鎖冠句，實際上就把線程B的鎖釋放掉了。這個時候幸乒，線程C又是可以獲取到鎖的懦底，而此時如果線程B執(zhí)行完釋放鎖實際上就是釋放的線程C設置的鎖。這是超賣的直接原因罕扎。

非原子性的庫存校驗

非原子性的庫存校驗導致在并發(fā)場景下聚唐，庫存校驗的結(jié)果不準確。這是超賣的根本原因腔召。

通過以上分析杆查，問題的根本原因在于庫存校驗嚴重依賴了分布式鎖。因為在分布式鎖正常set臀蛛、del的情況下亲桦，庫存校驗是沒有問題的。但是掺栅，當分布式鎖不安全可靠的時候烙肺，庫存校驗就沒有用了。

解決方案

知道了原因之后氧卧，我們就可以對癥下藥了桃笙。

實現(xiàn)相對安全的分布式鎖

相對安全的定義：set、del是一一映射的沙绝，不會出現(xiàn)把其他現(xiàn)成的鎖del的情況搏明。從實際情況的角度來看，即使能做到set闪檬、del一一映射星著，也無法保障業(yè)務的絕對安全。因為鎖的過期時間始終是有界的粗悯，除非不設置過期時間或者把過期時間設置的很長虚循，但這樣做也會帶來其他問題。故沒有意義样傍。 要想實現(xiàn)相對安全的分布式鎖横缔，必須依賴key的value值。在釋放鎖的時候衫哥，通過value值的唯一性來保證不會勿刪茎刚。我們基于LUA腳本實現(xiàn)原子性的get and compare，如下：

public void safedUnLock(Stringkey,Stringval) {StringluaScript ="local in = ARGV[1] local curr=redis.call('get', KEYS[1]) if in==curr then redis.call('del', KEYS[1]) end return 'OK'"";

? ? RedisScript<String> redisScript = RedisScript.of(luaScript);

? ? redisTemplate.execute(redisScript, Collections.singletonList(key), Collections.singleton(val));

}

我們通過LUA腳本來實現(xiàn)安全地解鎖撤逢。

實現(xiàn)安全的庫存校驗

如果我們對于并發(fā)有比較深入的了解的話膛锭，會發(fā)現(xiàn)想 get and compare/ read and save 等操作粮坞，都是非原子性的。如果要實現(xiàn)原子性初狰，我們也可以借助LUA腳本來實現(xiàn)莫杈。但就我們這個例子中，由于搶購活動一單只能下1瓶跷究，因此可以不用基于LUA腳本實現(xiàn)而是基于redis本身的原子性姓迅。原因在于：

// redis會返回操作之后的結(jié)果，這個過程是原子性的LongcurrStock = redisTemplate.opsForHash().increment("key","stock", -1);

發(fā)現(xiàn)沒有俊马，代碼中的庫存校驗完全是“畫蛇添足”丁存。

改進之后的代碼

經(jīng)過以上的分析之后，我們決定新建一個DistributedLocker類專門用于處理分布式鎖柴我。

publicSeckillActivityRequestVO seckillHandle(SeckillActivityRequestVO request) {SeckillActivityRequestVO response;? ? String key ="key:"+ request.getSeckillId();? ? Stringval= UUID.randomUUID().toString();try{BooleanlockFlag = distributedLocker.lock(key,val,10, TimeUnit.SECONDS);if(!lockFlag) {// 業(yè)務異常}// 用戶活動校驗// 庫存校驗解寝，基于redis本身的原子性來保證LongcurrStock = stringRedisTemplate.opsForHash().increment(key +":info","stock", -1);if(currStock <0) {// 說明庫存已經(jīng)扣減完了。// 業(yè)務異常艘儒。log.error("[搶購下單] 無庫存");? ? ? ? }else{// 生成訂單// 發(fā)布訂單創(chuàng)建成功事件// 構(gòu)建響應}? ? }finally{? ? ? ? distributedLocker.safedUnLock(key,val);// 構(gòu)建響應}returnresponse;}

深度思考

分布式鎖有必要么

改進之后聋伦，其實可以發(fā)現(xiàn)，我們借助于redis本身的原子性扣減庫存界睁，也是可以保證不會超賣的觉增。對的。但是如果沒有這一層鎖的話翻斟，那么所有請求進來都會走一遍業(yè)務邏輯逾礁，由于依賴了其他系統(tǒng)，此時就會造成對其他系統(tǒng)的壓力增大访惜。這會增加的性能損耗和服務不穩(wěn)定性嘹履，得不償失≌龋基于分布式鎖可以在一定程度上攔截一些流量砾嫉。

分布式鎖的選型

有人提出用RedLock來實現(xiàn)分布式鎖。RedLock的可靠性更高窒篱，但其代價是犧牲一定的性能焕刮。在本場景，這點可靠性的提升遠不如性能的提升帶來的性價比高墙杯。如果對于可靠性極高要求的場景济锄，則可以采用RedLock來實現(xiàn)。

再次思考分布式鎖有必要么

由于bug需要緊急修復上線霍转，因此我們將其優(yōu)化并在測試環(huán)境進行了壓測之后，就立馬熱部署上線了一汽。實際證明避消，這個優(yōu)化是成功的低滩，性能方面略微提升了一些，并在分布式鎖失效的情況下岩喷，沒有出現(xiàn)超賣的情況恕沫。 然而，還有沒有優(yōu)化空間呢纱意？有的婶溯！ 由于服務是集群部署，我們可以將庫存均攤到集群中的每個服務器上偷霉，通過廣播通知到集群的各個服務器迄委。網(wǎng)關層基于用戶ID做hash算法來決定請求到哪一臺服務器。這樣就可以基于應用緩存來實現(xiàn)庫存的扣減和判斷类少。性能又進一步提升了叙身！

// 通過消息提前初始化好，借助ConcurrentHashMap實現(xiàn)高效線程安全privatestaticConcurrentHashMap SECKILL_FLAG_MAP =newConcurrentHashMap<>();// 通過消息提前設置好硫狞。由于AtomicInteger本身具備原子性信轿，因此這里可以直接使用HashMapprivatestaticMap SECKILL_STOCK_MAP =newHashMap<>();...publicSeckillActivityRequestVOseckillHandle(SeckillActivityRequestVO request){SeckillActivityRequestVO response;? ? Long seckillId = request.getSeckillId();if(!SECKILL_FLAG_MAP.get(requestseckillId)) {// 業(yè)務異常}// 用戶活動校驗// 庫存校驗if(SECKILL_STOCK_MAP.get(seckillId).decrementAndGet() <0) {? ? ? ? SECKILL_FLAG_MAP.put(seckillId,false);// 業(yè)務異常}// 生成訂單// 發(fā)布訂單創(chuàng)建成功事件// 構(gòu)建響應returnresponse;}

通過以上的改造，我們就完全不需要依賴redis了残吩。性能和安全性兩方面都能進一步得到提升财忽！ 當然，此方案沒有考慮到機器的動態(tài)擴容泣侮、縮容等復雜場景即彪，如果還要考慮這些話，則不如直接考慮分布式鎖的解決方案旁瘫。

總結(jié)

稀缺商品超賣絕對是重大事故祖凫。如果超賣數(shù)量多的話，甚至會給平臺帶來非常嚴重的經(jīng)營影響和社會影響酬凳。經(jīng)過本次事故惠况，讓我意識到對于項目中的任何一行代碼都不能掉以輕心，否則在某些場景下宁仔，這些正常工作的代碼就會變成致命殺手稠屠！對于一個開發(fā)者而言，則設計開發(fā)方案時翎苫，一定要將方案考慮周全权埠。怎樣才能將方案考慮周全？唯有持續(xù)不斷地學習煎谍！

?原文鏈接：https://www.toutiao.com/a6851852551952794115/?log_from=52193d4dded7a_1640263472459