一稽揭、業(yè)務(wù)背景
有些業(yè)務(wù)請求溪掀,屬于耗時操作,需要加鎖,防止后續(xù)的并發(fā)操作蕴掏,同時對數(shù)據(jù)庫的數(shù)據(jù)進行操作,需要避免對之前的業(yè)務(wù)造成影響盛杰。
二挽荡、分析流程
使用 Redis
作為分布式鎖,將鎖的狀態(tài)放到 Redis
統(tǒng)一維護即供,解決集群中單機 JVM
信息不互通的問題定拟,規(guī)定操作順序,保護用戶的數(shù)據(jù)正確逗嫡。梳理設(shè)計流程
- 新建注解 @interface青自,在注解里設(shè)定入?yún)?biāo)志
- 增加 AOP 切點,掃描特定注解
- 建立 @Aspect 切面任務(wù)驱证,注冊 bean 和攔截特定方法
- 特定方法參數(shù) ProceedingJoinPoint延窜,對方法 pjp.proceed() 前后進行攔截
- 切點前進行加鎖,任務(wù)執(zhí)行后進行刪除 key
核心步驟:加鎖抹锄、解鎖和續(xù)時
加
使用了 RedisTemplate 的 opsForValue.setIfAbsent 方法逆瑞,判斷是否有 key,設(shè)定一個隨機數(shù) UUID.random().toString伙单,生成一個隨機數(shù)作為 value获高。從 redis 中獲取鎖之后,對 key 設(shè)定 expire 失效時間车份,到期后自動釋放鎖谋减。按照這種設(shè)計,只有第一個成功設(shè)定 Key
的請求扫沼,才能進行后續(xù)的數(shù)據(jù)操作,后續(xù)其它請求由于無法獲得??資源庄吼,將會失敗結(jié)束缎除。
超時問題
擔(dān)心 pjp.proceed()
切點執(zhí)行的方法太耗時,導(dǎo)致 Redis
中的 key
由于超時提前釋放了总寻。例如器罐,線程 A 先獲取鎖,proceed 方法耗時渐行,超過了鎖超時時間轰坊,到期釋放了鎖,這時另一個線程 B 成功獲取 Redis
鎖祟印,兩個線程同時對同一批數(shù)據(jù)進行操作肴沫,導(dǎo)致數(shù)據(jù)不準(zhǔn)確。
解決方案:增加一個「續(xù)時」
任務(wù)不完成蕴忆,鎖不釋放:維護了一個定時線程池 ScheduledExecutorService
颤芬,每隔 2s 去掃描加入隊列中的 Task,判斷是否失效時間是否快到了,公式為:【失效時間】<= 【當(dāng)前時間】+【失效間隔(三分之一超時)】
/**
* 線程池站蝠,每個 JVM 使用一個線程去維護 keyAliveTime汰具,定時執(zhí)行 runnable
*/
private static final ScheduledExecutorService SCHEDULER =
new ScheduledThreadPoolExecutor(1,
new BasicThreadFactory.Builder().namingPattern("redisLock-schedule-pool").daemon(true).build());
static {
SCHEDULER.scheduleAtFixedRate(() -> {
// do something to extend time
}, 0, 2, TimeUnit.SECONDS);
}
三、設(shè)計方案
經(jīng)過上面的分析菱魔,同事小??設(shè)計出了這個方案:
前面已經(jīng)說了整體流程留荔,這里強調(diào)一下幾個核心步驟:
- 攔截注解 @RedisLock,獲取必要的參數(shù)
- 加鎖操作
- 續(xù)時操作
- 結(jié)束業(yè)務(wù)澜倦,釋放鎖
四聚蝶、實操
之前也有整理過 AOP
使用方法,可以參考一下肥隆。
相關(guān)屬性類配置
業(yè)務(wù)屬性枚舉設(shè)定
`public enum RedisLockTypeEnum {
/**
* 自定義 key 前綴
*/
ONE("Business1", "Test1"),
TWO("Business2", "Test2");
private String code;
private String desc;
RedisLockTypeEnum(String code, String desc) {
this.code = code;
this.desc = desc;
}
public String getCode() {
return code;
}
public String getDesc() {
return desc;
}
public String getUniqueKey(String key) {
return String.format("%s:%s", this.getCode(), key);
}
}`
任務(wù)隊列保存參數(shù)
`public class RedisLockDefinitionHolder {
/**
* 業(yè)務(wù)唯一 key
*/
private String businessKey;
/**
* 加鎖時間 (秒 s)
*/
private Long lockTime;
/**
* 上次更新時間(ms)
*/
private Long lastModifyTime;
/**
* 保存當(dāng)前線程
*/
private Thread currentTread;
/**
* 總共嘗試次數(shù)
*/
private int tryCount;
/**
* 當(dāng)前嘗試次數(shù)
*/
private int currentCount;
/**
* 更新的時間周期(毫秒),公式 = 加鎖時間(轉(zhuǎn)成毫秒) / 3
*/
private Long modifyPeriod;
public RedisLockDefinitionHolder(String businessKey, Long lockTime, Long lastModifyTime, Thread currentTread, int tryCount) {
this.businessKey = businessKey;
this.lockTime = lockTime;
this.lastModifyTime = lastModifyTime;
this.currentTread = currentTread;
this.tryCount = tryCount;
this.modifyPeriod = lockTime * 1000 / 3;
}
}`
設(shè)定被攔截的注解名字
`@Retention(RetentionPolicy.RUNTIME)
@Target({ElementType.METHOD, ElementType.TYPE})
public @interface RedisLockAnnotation {
/**
* 特定參數(shù)識別既荚,默認取第 0 個下標(biāo)
*/
int lockFiled() default 0;
/**
* 超時重試次數(shù)
*/
int tryCount() default 3;
/**
* 自定義加鎖類型
*/
RedisLockTypeEnum typeEnum();
/**
* 釋放時間,秒 s 單位
*/
long lockTime() default 30;
}`
核心切面攔截的操作
RedisLockAspect.java
該類分成三部分來描述具體作用
Pointcut 設(shè)定
/**
* @annotation 中的路徑表示攔截特定注解
*/
@Pointcut("@annotation(cn.sevenyuan.demo.aop.lock.RedisLockAnnotation)")
public void redisLockPC() {
}
Around 前后進行加鎖和釋放鎖
前面步驟定義了我們想要攔截的切點栋艳,下一步就是在切點前后做一些自定義操作:
@Around(value = "redisLockPC()")
public Object around(ProceedingJoinPoint pjp) throws Throwable {
// 解析參數(shù)
Method method = resolveMethod(pjp);
RedisLockAnnotation annotation = method.getAnnotation(RedisLockAnnotation.class);
RedisLockTypeEnum typeEnum = annotation.typeEnum();
Object[] params = pjp.getArgs();
String ukString = params[annotation.lockFiled()].toString();
// 省略很多參數(shù)校驗和判空
String businessKey = typeEnum.getUniqueKey(ukString);
String uniqueValue = UUID.randomUUID().toString();
// 加鎖
Object result = null;
try {
boolean isSuccess = redisTemplate.opsForValue().setIfAbsent(businessKey, uniqueValue);
if (!isSuccess) {
throw new Exception("You can't do it恰聘,because another has get the lock =-=");
}
redisTemplate.expire(businessKey, annotation.lockTime(), TimeUnit.SECONDS);
Thread currentThread = Thread.currentThread();
// 將本次 Task 信息加入「延時」隊列中
holderList.add(new RedisLockDefinitionHolder(businessKey, annotation.lockTime(), System.currentTimeMillis(),
currentThread, annotation.tryCount()));
// 執(zhí)行業(yè)務(wù)操作
result = pjp.proceed();
// 線程被中斷,拋出異常吸占,中斷此次請求
if (currentThread.isInterrupted()) {
throw new InterruptedException("You had been interrupted =-=");
}
} catch (InterruptedException e ) {
log.error("Interrupt exception, rollback transaction", e);
throw new Exception("Interrupt exception, please send request again");
} catch (Exception e) {
log.error("has some error, please check again", e);
} finally {
// 請求結(jié)束后晴叨,強制刪掉 key,釋放鎖
redisTemplate.delete(businessKey);
log.info("release the lock, businessKey is [" + businessKey + "]");
}
return result;
}
上述流程簡單總結(jié)一下:
- 解析注解參數(shù)矾屯,獲取注解值和方法上的參數(shù)值
- redis 加鎖并且設(shè)置超時時間
- 將本次 Task 信息加入「延時」隊列中兼蕊,進行續(xù)時,方式提前釋放鎖
- 加了一個線程中斷標(biāo)志
- 結(jié)束請求件蚕,finally 中釋放鎖
續(xù)時操作這里用了 ScheduledExecutorService
孙技,維護了一個線程,不斷對任務(wù)[隊列中的任務(wù)進行判斷和延長超時時間:
`// 掃描的任務(wù)隊列
private static ConcurrentLinkedQueue<RedisLockDefinitionHolder> holderList = new ConcurrentLinkedQueue();
/**
* 線程池排作,維護keyAliveTime
*/
private static final ScheduledExecutorService SCHEDULER = new ScheduledThreadPoolExecutor(1,
new BasicThreadFactory.Builder().namingPattern("redisLock-schedule-pool").daemon(true).build());
{
// 兩秒執(zhí)行一次「續(xù)時」操作
SCHEDULER.scheduleAtFixedRate(() -> {
// 這里記得加 try-catch牵啦,否者報錯后定時任務(wù)將不會再執(zhí)行=-=
Iterator<RedisLockDefinitionHolder> iterator = holderList.iterator();
while (iterator.hasNext()) {
RedisLockDefinitionHolder holder = iterator.next();
// 判空
if (holder == null) {
iterator.remove();
continue;
}
// 判斷 key 是否還有效,無效的話進行移除
if (redisTemplate.opsForValue().get(holder.getBusinessKey()) == null) {
iterator.remove();
continue;
}
// 超時重試次數(shù)妄痪,超過時給線程設(shè)定中斷
if (holder.getCurrentCount() > holder.getTryCount()) {
holder.getCurrentTread().interrupt();
iterator.remove();
continue;
}
// 判斷是否進入最后三分之一時間
long curTime = System.currentTimeMillis();
boolean shouldExtend = (holder.getLastModifyTime() + holder.getModifyPeriod()) <= curTime;
if (shouldExtend) {
holder.setLastModifyTime(curTime);
redisTemplate.expire(holder.getBusinessKey(), holder.getLockTime(), TimeUnit.SECONDS);
log.info("businessKey : [" + holder.getBusinessKey() + "], try count : " + holder.getCurrentCount());
holder.setCurrentCount(holder.getCurrentCount() + 1);
}
}
}, 0, 2, TimeUnit.SECONDS);
}`
這段代碼哈雏,用來實現(xiàn)設(shè)計圖中虛線框的思想,避免一個請求十分耗時衫生,導(dǎo)致提前釋放了鎖裳瘪。這里加了「線程中斷」Thread#interrupt
,希望超過重試次數(shù)后罪针,能讓線程中斷**(未經(jīng)嚴謹測試彭羹,僅供參考哈哈哈哈)不過建議如果遇到這么耗時的請求,還是能夠從根源上查找站故,分析耗時路徑皆怕,進行業(yè)務(wù)優(yōu)化或其它處理毅舆,避免這些耗時操作。所以記得多打點 Log
愈腾,分析問題時可以更快一點憋活。如何使用SpringBoot AOP 記錄操作日志、異常日志虱黄?
五悦即、開始測試
在一個入口方法中,使用該注解橱乱,然后在業(yè)務(wù)中模擬耗時請求辜梳,使用了 Thread#sleep
@GetMapping("/testRedisLock")
@RedisLockAnnotation(typeEnum = RedisLockTypeEnum.ONE, lockTime = 3)
public Book testRedisLock(@RequestParam("userId") Long userId) {
try {
log.info("睡眠執(zhí)行前");
Thread.sleep(10000);
log.info("睡眠執(zhí)行后");
} catch (Exception e) {
// log error
log.info("has some error", e);
}
return null;
}
使用時,在方法上添加該注解泳叠,然后設(shè)定相應(yīng)參數(shù)即可作瞄,根據(jù) typeEnum
可以區(qū)分多種業(yè)務(wù),限制該業(yè)務(wù)被同時操作危纫。測試結(jié)果:
2020-04-04 14:55:50.864 INFO 9326 --- [nio-8081-exec-1] c.s.demo.controller.BookController : 睡眠執(zhí)行前
2020-04-04 14:55:52.855 INFO 9326 --- [k-schedule-pool] c.s.demo.aop.lock.RedisLockAspect : businessKey : [Business1:1024], try count : 0
2020-04-04 14:55:54.851 INFO 9326 --- [k-schedule-pool] c.s.demo.aop.lock.RedisLockAspect : businessKey : [Business1:1024], try count : 1
2020-04-04 14:55:56.851 INFO 9326 --- [k-schedule-pool] c.s.demo.aop.lock.RedisLockAspect : businessKey : [Business1:1024], try count : 2
2020-04-04 14:55:58.852 INFO 9326 --- [k-schedule-pool] c.s.demo.aop.lock.RedisLockAspect : businessKey : [Business1:1024], try count : 3
2020-04-04 14:56:00.857 INFO 9326 --- [nio-8081-exec-1] c.s.demo.controller.BookController : has some error
java.lang.InterruptedException: sleep interrupted
at java.lang.Thread.sleep(Native Method) [na:1.8.0_221]
我這里測試的是重試次數(shù)過多宗挥,失敗的場景,如果減少睡眠時間种蝶,就能讓業(yè)務(wù)正常執(zhí)行契耿。如果同時請求,你將會發(fā)現(xiàn)以下錯誤信息:
表示我們的鎖??的確生效了螃征,避免了重復(fù)請求搪桂。
六、總結(jié)
對于耗時業(yè)務(wù)和核心數(shù)據(jù)盯滚,不能讓重復(fù)的請求同時操作數(shù)據(jù)踢械,避免數(shù)據(jù)的不正確,所以要使用分布式鎖來對它們進行保護魄藕。再來梳理一下設(shè)計流程:
- 新建注解 @interface裸燎,在注解里設(shè)定入?yún)?biāo)志
- 增加 AOP 切點,掃描特定注解
- 建立 @Aspect 切面任務(wù)泼疑,注冊 bean 和攔截特定方法
- 特定方法參數(shù) ProceedingJoinPoint,對方法 pjp.proceed() 前后進行攔截
- 切點前進行加鎖荷荤,任務(wù)執(zhí)行后進行刪除 key
本次學(xué)習(xí)是通過 Review
小伙伴的代碼設(shè)計退渗,從中了解分布式鎖的具體實現(xiàn),仿照他的設(shè)計蕴纳,重新寫了一份簡化版的業(yè)務(wù)處理会油。對于之前沒考慮到的「續(xù)時」操作,這里使用了守護線程來定時判斷和延長超時時間古毛,避免了鎖提前釋放翻翩。于是乎都许,同時回顧了三個知識點:1、AOP
的實現(xiàn)和常用方法2嫂冻、定時線程池 ScheduledExecutorService
的使用和參數(shù)含義3胶征、線程 Thread#interrupt
的含義以及用法(這個挺有意思的,可以深入再學(xué)習(xí)一下)