【工作篇】接口冪等問題探究

前言

最近遇到一些問題获黔，表單重復(fù)提交，導(dǎo)致插入重復(fù)數(shù)據(jù)到數(shù)據(jù)庫仰担，這里查詢一些通用的方案糊识，自己都實踐一下，以后好回顧摔蓝。

實踐代碼項目 Github： https://github.com/h-dj/Spring-Learning/tree/master/repeat-submit

一赂苗、什么是接口冪等性？

冪等含義

冪等（idempotent贮尉、idempotence）是一個數(shù)學(xué)與計算機學(xué)概念拌滋，常見于抽象代數(shù)中。

在編程中一個冪等操作的特點是其任意多次執(zhí)行所產(chǎn)生的影響均與一次執(zhí)行的影響相同猜谚。冪等函數(shù)败砂，或冪等方法赌渣，是指可以使用相同參數(shù)重復(fù)執(zhí)行，并能獲得相同結(jié)果的函數(shù)昌犹。這些函數(shù)不會影響系統(tǒng)狀態(tài)坚芜，也不用擔(dān)心重復(fù)執(zhí)行會對系統(tǒng)造成改變。--- 百科

簡單理解：就是針對一個操作斜姥，不管做多少次鸿竖，產(chǎn)生的效果都是一樣的。

舉例：

• 前端對同一表單數(shù)據(jù)的重復(fù)提交铸敏，后臺應(yīng)該只會產(chǎn)生一條記錄
• 我們發(fā)起一筆付款請求缚忧，應(yīng)該只扣用戶賬戶一次錢，當(dāng)遇到網(wǎng)絡(luò)重發(fā)或系統(tǒng) bug 重發(fā)杈笔，也應(yīng)該只扣一次錢
• 發(fā)送消息闪水，也應(yīng)該只發(fā)一次，同樣的短信如果多次發(fā)給用戶桩撮，用戶會崩潰
• 創(chuàng)建業(yè)務(wù)訂單敦第，一次業(yè)務(wù)請求只能創(chuàng)建一個，不能出現(xiàn)創(chuàng)建多個訂單

二店量、那些情況下會需要接口冪等性?

對于業(yè)務(wù)中需要考慮冪等性的地方一般都是接口的重復(fù)請求芜果，重復(fù)請求是指同一個請求因為某些原因被多次提交。導(dǎo)致這個情況會有以下幾種場景：

• 前端重復(fù)提交：提交訂單融师，用戶快速重復(fù)點擊多次右钾，造成后端生成多個內(nèi)容重復(fù)的訂單。
• 接口超時重試：對于給第三方調(diào)用的接口旱爆，為了防止網(wǎng)絡(luò)抖動或其他原因造成請求丟失舀射，這樣的接口一般都會設(shè)計成超時重試多次。
• 消息重復(fù)消費：MQ 消息中間件怀伦，消息重復(fù)消費脆烟。

三、接口冪等性解決方案

3.1房待、一般解決方案了解

前端方面：

• 控制操作次數(shù)邢羔，例如：提交按鈕僅可操作一次（提交動作后按鈕置灰）
• 及時重定向，例如：下單/支付成功后跳轉(zhuǎn)到成功提示頁面桑孩，這樣消除了瀏覽器前進(jìn)或后退造成的重復(fù)提交問題拜鹤。

后臺方面：

• 數(shù)據(jù)庫去重表(唯一索引)：

  • 利用數(shù)據(jù)庫的唯一索引特性，保證唯一的邏輯
  • 使用唯一索引流椒，可以是在原來的業(yè)務(wù)表添加唯一索引敏簿，也可以新建一個特定的去重表

• 使用分布式鎖：

  • 借助中間件：Redis 、Zookeeper
  • 注意要保證中間件的高可用

• Token 機制：

  • 進(jìn)入頁面時先申請 Token，提交表單時再使用 Token 請求惯裕，后臺根據(jù) Token 判斷是否重復(fù)請求
  • 前端申請 Token 和 攜帶 Token 的行為需要進(jìn)行封裝温数，不然每個頁面都需要手動，比較繁瑣轻猖，后臺的話可以使用 注解+ AOP 統(tǒng)一攔截

• 分布式項目逼争，依然需要借助中間件：Redis

注意：

• 一般推薦前端后臺一起組合接口冪等方案尤揣，這樣比較安全高效。

以下準(zhǔn)備使用加入購物車為例，實現(xiàn)各個方案

3.2辛润、數(shù)據(jù)庫去重表(唯一索引)

• 操作步驟

  • 1胆数、通過請求的業(yè)務(wù)參數(shù)怒允，組成唯一 ID
  • 2砰嘁、通過 ID 查詢?nèi)ブ乇碇惺欠翊嬖谟涗洠嬖趧t拋出 重復(fù)請求異常（是否拋出異常市殷，根據(jù)具體業(yè)務(wù)決定）
  • 3愕撰、否則，向去重表插入記錄醋寝，如果插入異常搞挣，說明有多個請求同時執(zhí)行，拋出重復(fù)請求異常
  • 4音羞、去重表插入記錄成功后囱桨，執(zhí)行加入購物車操作
  • 5、執(zhí)行加入購物車操作成功后嗅绰，刪除去重表記錄
  • 注意： 去重表操作 和 業(yè)務(wù)處理要在同一個事物中舍肠，方式業(yè)務(wù)處理失敗后，沒有回滾去重表記錄窘面，導(dǎo)致商品加入購物車后翠语，不能在增加數(shù)量

• 創(chuàng)建表

DROP TABLE IF EXISTS `cart`;
CREATE TABLE `cart` (
  `id` bigint(20) NOT NULL AUTO_INCREMENT,
  `product_id` bigint(20) DEFAULT NULL,
  `product_name` varchar(500) DEFAULT NULL COMMENT '商品名稱',
  `product_sku_id` bigint(20) DEFAULT NULL,
  `member_id` bigint(20) DEFAULT NULL,
  `quantity` int(11) DEFAULT NULL COMMENT '購買數(shù)量',
  `price` decimal(10,2) DEFAULT NULL COMMENT '添加到購物車的價格',
  PRIMARY KEY (`id`)
)
ENGINE=InnoDB
DEFAULT CHARSET=utf8mb4
COLLATE=utf8mb4_0900_ai_ci
COMMENT='購物車表';

DROP TABLE IF EXISTS `deduplicate`;
CREATE TABLE `deduplicate` (
    id BIGINT(20) auto_increment NOT NULL,
    unique_id varchar(100) NULL COMMENT '唯一ID',
    CONSTRAINT deduplicate_PK PRIMARY KEY (id),
    CONSTRAINT deduplicate_UN UNIQUE KEY (unique_id)  -- 唯一索引
)
ENGINE=InnoDB
DEFAULT CHARSET=utf8mb4
COLLATE=utf8mb4_0900_ai_ci
COMMENT='去重表';

• 添加到購物車邏輯

@RestController
@RequestMapping("/cart")
public class CartController {
    @Autowired
    private ICartService iCartService;

    @ApiRepeatUniqueIdSubmit(keyExpression = "@cartController.getUserId()+'_'+#cartPO.getProductId() +'_'+#cartPO.getProductSkuId()")
    @PostMapping(value = "/add")
    public String add(@RequestBody CartPO cartPO) throws InterruptedException {
        cartPO.setMemberId(getUserId());
        iCartService.addCart(cartPO);
        return "ok";
    }
    /**
     * 獲取當(dāng)前登錄用戶ID
     *
     * @return
     */
    public Long getUserId() {
        return 1001L;
    }
}

@Transactional(rollbackFor = Exception.class)
@Override
public void addCart(CartPO cartPO) throws InterruptedException {

    LambdaQueryWrapper<CartPO> queryWrapper = Wrappers.<CartPO>lambdaQuery()
        .eq(CartPO::getMemberId, cartPO.getMemberId())
        .eq(CartPO::getProductId, cartPO.getProductId())
        .eq(CartPO::getProductSkuId, cartPO.getProductSkuId());
    //查詢商品，已添加到購物車的财边，就增加數(shù)量即可(業(yè)務(wù)邏輯冪等)
    //因為 select 和 save 操作不是串行執(zhí)行的肌括，可能有兩個線程同時查詢到商品沒有添加到購物車
    //然后同一個商品被兩個線程分別入庫了，導(dǎo)致購物車出現(xiàn)相同商品的兩條記錄
    List<CartPO> list = this.list(queryWrapper);
    //模擬耗時
    TimeUnit.SECONDS.sleep(1);
    if (list == null || list.isEmpty()) {
        //添加到購物車
        this.save(cartPO);
    } else {
        CartPO updateCartPO = list.get(0);
        //數(shù)量加一
        LambdaUpdateWrapper<CartPO> updateWrapper = Wrappers.<CartPO>lambdaUpdate()
            .eq(CartPO::getId, updateCartPO.getId())
            .setSql("quantity = quantity + 1");

        this.update(updateWrapper);
    }
}

• 編寫 AOP 攔截處理

@Target(ElementType.METHOD)
@Retention(RetentionPolicy.RUNTIME)
@Documented
@Inherited
public @interface ApiRepeatUniqueIdSubmit {

    /**
     * 唯一key酣难，支持Spring EL 表達(dá)式
     *
     * @return
     * @ 符號引用 Spring 注冊的bean
     * # 符合引用方法上的參數(shù)
     * param?.id  其中? 是避免param為空時们童，發(fā)生空指針異常
     * @see <a>https://docs.spring.io/spring-framework/docs/3.0.x/reference/expressions.html</a>
     */
    String keyExpression();
}

@Component
@Aspect
public class ApiRepeatSubmitUniqueIdAspect {

    @Autowired
    private ApplicationContext applicationContext;

    @Autowired
    private IDeduplicateService iDeduplicateService;

    @Pointcut("@annotation(cn.hdj.repeatsubmit.aspect.ApiRepeatUniqueIdSubmit)")
    public void pointCut() {
    }
    @Transactional(rollbackFor = Exception.class)
    @Around("pointCut()")
    public Object around(ProceedingJoinPoint joinPoint) throws Throwable {

        Signature signature = joinPoint.getSignature();
        MethodSignature msig = (MethodSignature) signature;
        Method targetMethod = msig.getMethod();
        ApiRepeatUniqueIdSubmit apiRepeatSubmit = targetMethod.getAnnotation(ApiRepeatUniqueIdSubmit.class);
        String keyExpression = apiRepeatSubmit.keyExpression();

        Map<String, Object> argMap = SpringElUtil.getArgMap(joinPoint);
        //獲取業(yè)務(wù)參數(shù)，組成唯一ID
        String uniqueId = SpringElUtil.<String>createElBuilder()
                .setArgMap(argMap)
                .setBeanFactory(applicationContext)
                .setTarget(String.class)
                .setKeyExpression(keyExpression)
                .build();

        LambdaQueryWrapper<DeduplicatePO> queryWrapper = Wrappers.<DeduplicatePO>lambdaQuery()
                .eq(DeduplicatePO::getUniqueId, uniqueId);

        long count = this.iDeduplicateService.count(queryWrapper);
        if (count > 0) {
            throw new DuplicateKeyException("不要重復(fù)提交!");
        }

        //插入去重表
        DeduplicatePO deduplicatePO = new DeduplicatePO();
        deduplicatePO.setUniqueId(uniqueId);
        try {
            this.iDeduplicateService.save(deduplicatePO);
        } catch (Exception e) {
            throw new DuplicateKeyException("不要重復(fù)提交!");
        }

        Object proceed = joinPoint.proceed();

        //執(zhí)行完刪除
        this.iDeduplicateService.removeById(deduplicatePO);

        return proceed;
    }
}

3.3鲸鹦、分布式鎖

分布式鎖可以使用 Redis 和 Zookeeper ，更多關(guān)于 Redis 和 Zookeeper 的使用 請自行查閱資料跷跪。以下使用 Redis 來實現(xiàn)分布式鎖

• 引入依賴

<dependency>
    <groupId>org.redisson</groupId>
    <artifactId>redisson-spring-boot-starter</artifactId>
    <version>3.16.6</version>
</dependency>

• 配置

spring:
  redis:
    # https://github.com/redisson/redisson/wiki/2.-Configuration
    database: '0'
    host: '127.0.0.1'
    port: '6379'
    #password: '123456'
#    ssl:
#    timeout:
#    cluster:
#      nodes:
#    sentinel:
#      master:
#      nodes:

• 在 AOP 獲取鎖的邏輯

//創(chuàng)建鎖
RLock lock = this.redissonClient.getLock(LOCK_PREFIX + uniqueId);

//判斷是否被搶占了鎖
if (lock.isLocked()) {
    throw new DuplicateKeyException("不要重復(fù)提交!");
}

//嘗試獲取鎖馋嗜， 默認(rèn)30秒會超時過期， 并啟動線程監(jiān)聽吵瞻，自動續(xù)簽
//當(dāng)客戶端異常葛菇，終止了續(xù)簽線程甘磨，超時后會刪除鎖，避免發(fā)生死鎖
//如果自己手動設(shè)置了超時過期時間眯停，則不會啟動線程監(jiān)聽济舆，自動續(xù)簽
if (lock.tryLock()) {
    try {
        return joinPoint.proceed();
    } finally {
        //釋放鎖
        lock.unlock();
    }
}
throw new DuplicateKeyException("不要重復(fù)提交!");

3.4、使用 Token 機制

• 操作步驟

  • 1莺债、在訪問頁面時滋觉，先獲取 Token ，保持到指定的地方
  • 2齐邦、在點擊加入購物車時椎侠，把 Token 放到 Header 或請求參數(shù)中，帶給后臺
  • 3措拇、后臺驗證 Token 并刪除我纪，表示該 Token 已使用
  • 4、執(zhí)行加入購物車邏輯
  • 5丐吓、成功響應(yīng)前端（看業(yè)務(wù)需求浅悉，是否需要重新獲取 Token）

• 創(chuàng)建 Token 生成和驗證服務(wù)

@Service
public class TokenServiceImpl implements TokenService {

    public static final String TOKEN_PREFIX = "token_idempotent";
    public static final String TOKEN_HEADER_NAME = "x-token";
    public static final Long TOKEN_EXPIRE_TIME = 5 * 60L;

    @Autowired
    private RedissonClient redissonClient;

    @Override
    public String createToken() {
        String ID = UUID.randomUUID().toString();
        RBucket<String> bucket = this.redissonClient.<String>getBucket(String.format("%s:%s", TOKEN_PREFIX, ID), StringCodec.INSTANCE);
        //默認(rèn)超時5分鐘
        bucket.trySet(ID, TOKEN_EXPIRE_TIME, TimeUnit.SECONDS);
        return ID;
    }
    @Override
    public boolean checkToken(HttpServletRequest request) {
        // 從請求頭中獲取token信息
        String token = request.getHeader(TOKEN_HEADER_NAME);
        if (!StringUtils.hasLength(token)) {
            //從參數(shù)中獲取token值
            token = request.getParameter(TOKEN_HEADER_NAME);
        }
        if (!StringUtils.hasLength(token)) {
            throw new DuplicateKeyException("重復(fù)提交，提交失敗");
        }

        RBucket<String> bucket = this.redissonClient.getBucket(String.format("%s:%s", TOKEN_PREFIX, token), StringCodec.INSTANCE);

        //獲取券犁，并刪除
        String ID = bucket.getAndDelete();
        //不存在术健，則重復(fù)提交
        if (ID == null) {
            throw new DuplicateKeyException("重復(fù)提交，提交失敗");
        }
        return true;
    }
}

• 在 AOP 中檢查

@Component
@Aspect
public class ApiRepeatSubmitTokenAspect {
    @Autowired
    private TokenService tokenService;

    @Autowired
    private HttpServletRequest request;

    @Pointcut("@annotation(cn.hdj.repeatsubmit.aspect.ApiRepeatTokenSubmit)")
    public void pointCut() {
    }
    @Before("pointCut()")
    public void Before(JoinPoint joinPoint) {
        tokenService.checkToken(request);
    }
}

• 前端進(jìn)入頁面時是先獲取 Token

$.ajax({
    type: "GET",
    url: "/token/create",
    contentType:'application/json',
    success: function(token){
        sessionStorage.setItem('x-token',token);
    }
});

• 請求時帶上 Token

$("#addCart").click(function(){
    //按鈕置灰
    $("#addCart").attr('disabled','disabled');
    $.ajax({
        type: "POST",
        url: "/cart/add",
        headers:{
            //攜帶token
            'x-token':sessionStorage.getItem('x-token')
        },
        data: JSON.stringify({
            productId: $('input[name=product_id]').val(),
            productSkuId: $('input[name=product_sku_id]').val(),
            productName: $('input[name=product_name]').val(),
            price: $('input[name=price]').val(),
            quantity: $('input[name=quantity]').val()
        }),
        contentType:'application/json',
        success: function(msg){
            console.log(msg)
        },
        complete: function(msg){
            $("#addCart").removeAttr('disabled');
        }
    });
});

總結(jié)

以上是較為常見通用的冪等方案族操，但實際業(yè)務(wù)可能比較個性化苛坚，需要跟業(yè)務(wù)結(jié)合進(jìn)行考慮，采用合適的方法或結(jié)合使用色难，例如：

• 如果該業(yè)務(wù)是存在狀態(tài)流轉(zhuǎn)泼舱，可以采用狀態(tài)機策略進(jìn)行業(yè)務(wù)冪等判斷
• 如果該業(yè)務(wù)是更新數(shù)據(jù)，可以采用多版本策略枷莉，在需要更新的業(yè)務(wù)表上加上版本號

參考

• https://myprojectt.readthedocs.io/zh_CN/latest/%E9%A1%B9%E7%9B%AE%E5%AE%9E%E6%88%9804%E8%AF%B7%E6%B1%82%E5%B9%82%E7%AD%89%E6%80%A7.html
• https://xie.infoq.cn/article/107fd263605e9d184b78bf093
• https://segmentfault.com/a/1190000023555975