前言
接口冪等性
問題涂籽,對于開發(fā)人員來說,是一個跟語言無關(guān)的公共問題毅否。本文分享了一些解決這類問題非常實用的辦法亚铁,絕大部分內(nèi)容我在項目中實踐過的,給有需要的小伙伴一個參考螟加。
不知道你有沒有遇到過這些場景:
有時我們在填寫某些
form表單
時徘溢,保存按鈕不小心快速點了兩次吞琐,表中竟然產(chǎn)生了兩條重復的數(shù)據(jù),只是id不一樣然爆。我們在項目中為了解決
接口超時
問題顽分,通常會引入了重試機制
。第一次請求接口超時了施蜜,請求方?jīng)]能及時獲取返回結(jié)果(此時有可能已經(jīng)成功了)卒蘸,為了避免返回錯誤的結(jié)果(這種情況不可能直接返回失敗吧?)翻默,于是會對該請求重試幾次缸沃,這樣也會產(chǎn)生重復的數(shù)據(jù)。mq消費者在讀取消息時修械,有時候會讀取到
重復消息
(至于什么原因這里先不說趾牧,有興趣的小伙伴,可以找我私聊)肯污,如果處理不好翘单,也會產(chǎn)生重復的數(shù)據(jù)。
沒錯蹦渣,這些都是冪等性問題哄芜。
接口冪等性
是指用戶對于同一操作發(fā)起的一次請求或者多次請求的結(jié)果是一致的,不會因為多次點擊而產(chǎn)生了副作用柬唯。
這類問題多發(fā)于接口的:
insert
操作认臊,這種情況下多次請求,可能會產(chǎn)生重復數(shù)據(jù)锄奢。update
操作失晴,如果只是單純的更新數(shù)據(jù),比如:update user set status=1 where id=1
拘央,是沒有問題的涂屁。如果還有計算,比如:update user set status=status+1 where id=1
灰伟,這種情況下多次請求拆又,可能會導致數(shù)據(jù)錯誤。
那么我們要如何保證接口冪等性袱箱?本文將會告訴你答案遏乔。
1. insert前先select
通常情況下,在保存數(shù)據(jù)的接口中发笔,我們?yōu)榱朔乐巩a(chǎn)生重復數(shù)據(jù),一般會在insert
前凉翻,先根據(jù)name
或code
字段select
一下數(shù)據(jù)了讨。如果該數(shù)據(jù)已存在,則執(zhí)行update
操作,如果不存在前计,才執(zhí)行 insert
操作胞谭。
該方案可能是我們平時在防止產(chǎn)生重復數(shù)據(jù)時,使用最多的方案男杈。但是該方案不適用于并發(fā)場景丈屹,在并發(fā)場景中,要配合其他方案一起使用伶棒,否則同樣會產(chǎn)生重復數(shù)據(jù)旺垒。我在這里提一下,是為了避免大家踩坑肤无。
2. 加悲觀鎖
在支付場景中先蒋,用戶A的賬號余額有150元,想轉(zhuǎn)出100元宛渐,正常情況下用戶A的余額只剩50元竞漾。一般情況下,sql是這樣的:
update user amount = amount-100 where id=123;
如果出現(xiàn)多次相同的請求窥翩,可能會導致用戶A的余額變成負數(shù)业岁。這種情況,用戶A來可能要哭了寇蚊。于此同時叨襟,系統(tǒng)開發(fā)人員可能也要哭了,因為這是很嚴重的系統(tǒng)bug幔荒。
為了解決這個問題糊闽,可以加悲觀鎖,將用戶A的那行數(shù)據(jù)鎖住爹梁,在同一時刻只允許一個請求獲得鎖右犹,更新數(shù)據(jù),其他的請求則等待姚垃。
通常情況下通過如下sql鎖住單行數(shù)據(jù):
select * from user id=123 for update;
具體流程如下:
具體步驟:
多個請求同時根據(jù)id查詢用戶信息念链。
判斷余額是否不足100,如果余額不足积糯,則直接返回余額不足掂墓。
如果余額充足,則通過for update再次查詢用戶信息看成,并且嘗試獲取鎖君编。
只有第一個請求能獲取到行鎖,其余沒有獲取鎖的請求川慌,則等待下一次獲取鎖的機會兑燥。
第一個請求獲取到鎖之后挣饥,判斷余額是否不足100馍盟,如果余額足夠搓侄,則進行update操作。
如果余額不足,說明是重復請求,則直接返回成功。
需要特別注意的是:如果使用的是mysql數(shù)據(jù)庫铅乡,存儲引擎必須用innodb侨嘀,因為它才支持事務。此外,這里id字段一定要是主鍵或者唯一索引,不然會鎖住整張表。
悲觀鎖需要在同一個事務操作過程中鎖住一行數(shù)據(jù)粗蔚,如果事務耗時比較長,會造成大量的請求等待瀑构,影響接口性能。
此外呻征,每次請求接口很難保證都有相同的返回值耘婚,所以不適合冪等性設(shè)計場景,但是在防重場景中是可以的使用的陆赋。
在這里順便說一下沐祷,防重設(shè)計
和 冪等設(shè)計
嚷闭,其實是有區(qū)別的。防重設(shè)計主要為了避免產(chǎn)生重復數(shù)據(jù)赖临,對接口返回沒有太多要求胞锰。而冪等設(shè)計除了避免產(chǎn)生重復數(shù)據(jù)之外,還要求每次請求都返回一樣的結(jié)果兢榨。
3. 加樂觀鎖
既然悲觀鎖有性能問題嗅榕,為了提升接口性能,我們可以使用樂觀鎖吵聪。需要在表中增加一個timestamp
或者version
字段凌那,這里以version
字段為例。
在更新數(shù)據(jù)之前先查詢一下數(shù)據(jù):
select id,amount,version from user id=123;
如果數(shù)據(jù)存在吟逝,假設(shè)查到的version
等于1
帽蝶,再使用id
和version
字段作為查詢條件更新數(shù)據(jù):
update user set amount=amount+100,version=version+1
更新數(shù)據(jù)的同時version+1
,然后判斷本次update
操作的影響行數(shù)块攒,如果大于0励稳,則說明本次更新成功,如果等于0局蚀,則說明本次更新沒有讓數(shù)據(jù)變更麦锯。
由于第一次請求version
等于1
是可以成功的,操作成功后version
變成2
了琅绅。這時如果并發(fā)的請求過來扶欣,再執(zhí)行相同的sql:
update user set amount=amount+100,version=version+1
該update
操作不會真正更新數(shù)據(jù),最終sql的執(zhí)行結(jié)果影響行數(shù)是0
千扶,因為version
已經(jīng)變成2
了料祠,where
中的version=1
肯定無法滿足條件。但為了保證接口冪等性澎羞,接口可以直接返回成功髓绽,因為version
值已經(jīng)修改了,那么前面必定已經(jīng)成功過一次妆绞,后面都是重復的請求顺呕。
具體步驟:
先根據(jù)id查詢用戶信息,包含version字段
根據(jù)id和version字段值作為where條件的參數(shù)括饶,更新用戶信息株茶,同時version+1
判斷操作影響行數(shù),如果影響1行图焰,則說明是一次請求启盛,可以做其他數(shù)據(jù)操作。
如果影響0行,說明是重復請求僵闯,則直接返回成功卧抗。
4. 加唯一索引
絕大數(shù)情況下,為了防止重復數(shù)據(jù)的產(chǎn)生鳖粟,我們都會在表中加唯一索引社裆,這是一個非常簡單,并且有效的方案牺弹。
alter table `order` add UNIQUE KEY `un_code` (`code`);
加了唯一索引之后浦马,第一次請求數(shù)據(jù)可以插入成功时呀。但后面的相同請求张漂,插入數(shù)據(jù)時會報Duplicate entry '002' for key 'order.un_code
異常,表示唯一索引有沖突谨娜。
雖說拋異常對數(shù)據(jù)來說沒有影響航攒,不會造成錯誤數(shù)據(jù)。但是為了保證接口冪等性趴梢,我們需要對該異常進行捕獲漠畜,然后返回成功。
如果是java
程序需要捕獲:DuplicateKeyException
異常坞靶,如果使用了spring
框架還需要捕獲:MySQLIntegrityConstraintViolationException
異常憔狞。
具體流程圖如下:
具體步驟:
用戶通過瀏覽器發(fā)起請求,服務端收集數(shù)據(jù)彰阴。
將該數(shù)據(jù)插入mysql
判斷是否執(zhí)行成功瘾敢,如果成功,則操作其他數(shù)據(jù)(可能還有其他的業(yè)務邏輯)尿这。
如果執(zhí)行失敗簇抵,捕獲唯一索引沖突異常,直接返回成功射众。
5. 建防重表
有時候表中并非所有的場景都不允許產(chǎn)生重復的數(shù)據(jù)碟摆,只有某些特定場景才不允許。這時候叨橱,直接在表中加唯一索引典蜕,顯然是不太合適的。
針對這種情況罗洗,我們可以通過建防重表
來解決問題愉舔。
該表可以只包含兩個字段:id
和 唯一索引
,唯一索引可以是多個字段比如:name栖博、code等組合起來的唯一標識屑宠,例如:susan_0001。
具體流程圖如下:
具體步驟:
用戶通過瀏覽器發(fā)起請求仇让,服務端收集數(shù)據(jù)典奉。
將該數(shù)據(jù)插入mysql防重表
判斷是否執(zhí)行成功躺翻,如果成功,則做mysql其他的數(shù)據(jù)操作(可能還有其他的業(yè)務邏輯)卫玖。
如果執(zhí)行失敗公你,捕獲唯一索引沖突異常,直接返回成功假瞬。
需要特別注意的是:防重表和業(yè)務表必須在同一個數(shù)據(jù)庫中陕靠,并且操作要在同一個事務中。
6. 根據(jù)狀態(tài)機
很多時候業(yè)務表是有狀態(tài)的脱茉,比如訂單表中有:1-下單剪芥、2-已支付、3-完成琴许、4-撤銷等狀態(tài)税肪。如果這些狀態(tài)的值是有規(guī)律的,按照業(yè)務節(jié)點正好是從小到大榜田,我們就能通過它來保證接口的冪等性益兄。
假如id=123的訂單狀態(tài)是已支付
,現(xiàn)在要變成完成
狀態(tài)箭券。
update `order` set status=3 where id=123 and status=2;
第一次請求時净捅,該訂單的狀態(tài)是已支付
,值是2
辩块,所以該update
語句可以正常更新數(shù)據(jù)蛔六,sql執(zhí)行結(jié)果的影響行數(shù)是1
,訂單狀態(tài)變成了3
庆捺。
后面有相同的請求過來古今,再執(zhí)行相同的sql時,由于訂單狀態(tài)變成了3
滔以,再用status=2
作為條件捉腥,無法查詢出需要更新的數(shù)據(jù),所以最終sql執(zhí)行結(jié)果的影響行數(shù)是0
你画,即不會真正的更新數(shù)據(jù)抵碟。但為了保證接口冪等性,影響行數(shù)是0
時坏匪,接口也可以直接返回成功拟逮。
具體流程圖如下:
具體步驟:
用戶通過瀏覽器發(fā)起請求,服務端收集數(shù)據(jù)适滓。
根據(jù)id和當前狀態(tài)作為條件敦迄,更新成下一個狀態(tài)
判斷操作影響行數(shù),如果影響了1行,說明當前操作成功罚屋,可以進行其他數(shù)據(jù)操作苦囱。
如果影響了0行,說明是重復請求脾猛,直接返回成功撕彤。
主要特別注意的是,該方案僅限于要更新的
表有狀態(tài)字段
猛拴,并且剛好要更新狀態(tài)字段
的這種特殊情況羹铅,并非所有場景都適用。
7. 加分布式鎖
其實前面介紹過的加唯一索引
或者加防重表
愉昆,本質(zhì)是使用了數(shù)據(jù)庫
的分布式鎖
职员,也屬于分布式鎖的一種。但由于數(shù)據(jù)庫分布式鎖
的性能不太好撼唾,我們可以改用:redis
或zookeeper
廉邑。
鑒于現(xiàn)在很多公司分布式配置中心改用apollo
或nacos
,已經(jīng)很少用zookeeper
了倒谷,我們以redis
為例介紹分布式鎖。
目前主要有三種方式實現(xiàn)redis的分布式鎖:
setNx命令
set命令
Redission框架
每種方案各有利弊糙箍,具體實現(xiàn)細節(jié)我就不說了渤愁,有興趣的朋友可以加我微信找我私聊。
具體流程圖如下:
具體步驟:
用戶通過瀏覽器發(fā)起請求深夯,服務端會收集數(shù)據(jù)抖格,并且生成訂單號code作為唯一業(yè)務字段。
使用redis的set命令咕晋,將該訂單code設(shè)置到redis中雹拄,同時設(shè)置超時時間。
判斷是否設(shè)置成功掌呜,如果設(shè)置成功滓玖,說明是第一次請求,則進行數(shù)據(jù)操作质蕉。
如果設(shè)置失敗势篡,說明是重復請求,則直接返回成功模暗。
需要特別注意的是:分布式鎖一定要設(shè)置一個合理的過期時間禁悠,如果設(shè)置過短,無法有效的防止重復請求兑宇。如果設(shè)置過長碍侦,可能會浪費
redis
的存儲空間,需要根據(jù)實際業(yè)務情況而定。
8. 獲取token
除了上述方案之外瓷产,還有最后一種使用token
的方案比规。該方案跟之前的所有方案都有點不一樣,需要兩次請求才能完成一次業(yè)務操作拦英。
第一次請求獲取
token
第二次請求帶著這個
token
蜒什,完成業(yè)務操作。
具體流程圖如下:
第一步疤估,先獲取token灾常。
第二步,做具體業(yè)務操作铃拇。
具體步驟:
用戶訪問頁面時钞瀑,瀏覽器自動發(fā)起獲取token請求。
服務端生成token慷荔,保存到redis中雕什,然后返回給瀏覽器。
用戶通過瀏覽器發(fā)起請求時显晶,攜帶該token贷岸。
在redis中查詢該token是否存在,如果不存在磷雇,說明是第一次請求偿警,做則后續(xù)的數(shù)據(jù)操作。
如果存在唯笙,說明是重復請求螟蒸,則直接返回成功。
在redis中token會在過期時間之后崩掘,被自動刪除七嫌。
以上方案是針對冪等設(shè)計的。
如果是防重設(shè)計苞慢,流程圖要改改:
需要特別注意的是:token必須是全局唯一的诵原。