分布式高并發(fā)系統(tǒng)如何保證對(duì)外接口的冪等性

前言

接口冪等性問題膛檀,對(duì)于開發(fā)人員來說,是一個(gè)跟語言無關(guān)的公共問題斟赚。本文分享了一些解決這類問題非常實(shí)用的辦法着降,絕大部分內(nèi)容我在項(xiàng)目中實(shí)踐過的,給有需要的小伙伴一個(gè)參考拗军。

不知道你有沒有遇到過這些場(chǎng)景:

  1. 有時(shí)我們?cè)谔顚懩承?code>form表單時(shí)任洞,保存按鈕不小心快速點(diǎn)了兩次,表中竟然產(chǎn)生了兩條重復(fù)的數(shù)據(jù)发侵,只是id不一樣交掏。
  2. 我們?cè)陧?xiàng)目中為了解決接口超時(shí)問題,通常會(huì)引入了重試機(jī)制刃鳄。第一次請(qǐng)求接口超時(shí)了盅弛,請(qǐng)求方?jīng)]能及時(shí)獲取返回結(jié)果(此時(shí)有可能已經(jīng)成功了),為了避免返回錯(cuò)誤的結(jié)果(這種情況不可能直接返回失敗吧叔锐?)挪鹏,于是會(huì)對(duì)該請(qǐng)求重試幾次,這樣也會(huì)產(chǎn)生重復(fù)的數(shù)據(jù)愉烙。
  3. mq消費(fèi)者在讀取消息時(shí)讨盒,有時(shí)候會(huì)讀取到重復(fù)消息(至于什么原因這里先不說,有興趣的小伙伴步责,可以找我私聊)返顺,如果處理不好,也會(huì)產(chǎn)生重復(fù)的數(shù)據(jù)蔓肯。

沒錯(cuò)遂鹊,這些都是冪等性問題。

接口冪等性是指用戶對(duì)于同一操作發(fā)起的一次請(qǐng)求或者多次請(qǐng)求的結(jié)果是一致的省核,不會(huì)因?yàn)槎啻吸c(diǎn)擊而產(chǎn)生了副作用稿辙。

這類問題多發(fā)于接口的:

  • insert操作,這種情況下多次請(qǐng)求气忠,可能會(huì)產(chǎn)生重復(fù)數(shù)據(jù)邻储。
  • update操作,如果只是單純的更新數(shù)據(jù)旧噪,比如:update user set status=1 where id=1吨娜,是沒有問題的。如果還有計(jì)算淘钟,比如:update user set status=status+1 where id=1宦赠,這種情況下多次請(qǐng)求,可能會(huì)導(dǎo)致數(shù)據(jù)錯(cuò)誤。

那么我們要如何保證接口冪等性勾扭?本文將會(huì)告訴你答案毡琉。

1. insert前先select

通常情況下,在保存數(shù)據(jù)的接口中妙色,我們?yōu)榱朔乐巩a(chǎn)生重復(fù)數(shù)據(jù)桅滋,一般會(huì)在insert前,先根據(jù)namecode字段select一下數(shù)據(jù)身辨。如果該數(shù)據(jù)已存在丐谋,則執(zhí)行update操作,如果不存在煌珊,才執(zhí)行 insert操作号俐。

該方案可能是我們平時(shí)在防止產(chǎn)生重復(fù)數(shù)據(jù)時(shí),使用最多的方案定庵。但是該方案不適用于并發(fā)場(chǎng)景吏饿,在并發(fā)場(chǎng)景中,要配合其他方案一起使用蔬浙,否則同樣會(huì)產(chǎn)生重復(fù)數(shù)據(jù)找岖。我在這里提一下,是為了避免大家踩坑敛滋。

2. 加悲觀鎖

在支付場(chǎng)景中许布,用戶A的賬號(hào)余額有150元,想轉(zhuǎn)出100元绎晃,正常情況下用戶A的余額只剩50元蜜唾。一般情況下,sql是這樣的:

update user amount = amount-100 where id=123;

如果出現(xiàn)多次相同的請(qǐng)求庶艾,可能會(huì)導(dǎo)致用戶A的余額變成負(fù)數(shù)袁余。這種情況,用戶A來可能要哭了咱揍。于此同時(shí)颖榜,系統(tǒng)開發(fā)人員可能也要哭了,因?yàn)檫@是很嚴(yán)重的系統(tǒng)bug煤裙。

為了解決這個(gè)問題掩完,可以加悲觀鎖,將用戶A的那行數(shù)據(jù)鎖住硼砰,在同一時(shí)刻只允許一個(gè)請(qǐng)求獲得鎖且蓬,更新數(shù)據(jù),其他的請(qǐng)求則等待题翰。

通常情況下通過如下sql鎖住單行數(shù)據(jù):

select * from user id=123 for update;

具體步驟:

  1. 多個(gè)請(qǐng)求同時(shí)根據(jù)id查詢用戶信息恶阴。
  2. 判斷余額是否不足100诈胜,如果余額不足,則直接返回余額不足冯事。
  3. 如果余額充足焦匈,則通過for update再次查詢用戶信息,并且嘗試獲取鎖昵仅。
  4. 只有第一個(gè)請(qǐng)求能獲取到行鎖括授,其余沒有獲取鎖的請(qǐng)求,則等待下一次獲取鎖的機(jī)會(huì)岩饼。
  5. 第一個(gè)請(qǐng)求獲取到鎖之后,判斷余額是否不足100薛夜,如果余額足夠籍茧,則進(jìn)行update操作。
  6. 如果余額不足梯澜,說明是重復(fù)請(qǐng)求寞冯,則直接返回成功。

需要特別注意的是:如果使用的是mysql數(shù)據(jù)庫晚伙,存儲(chǔ)引擎必須用innodb吮龄,因?yàn)樗胖С质聞?wù)。此外咆疗,這里id字段一定要是主鍵或者唯一索引漓帚,不然會(huì)鎖住整張表。

悲觀鎖需要在同一個(gè)事務(wù)操作過程中鎖住一行數(shù)據(jù)午磁,如果事務(wù)耗時(shí)比較長尝抖,會(huì)造成大量的請(qǐng)求等待,影響接口性能迅皇。此外昧辽,每次請(qǐng)求接口很難保證都有相同的返回值,所以不適合冪等性設(shè)計(jì)場(chǎng)景登颓,但是在防重場(chǎng)景中是可以的使用的搅荞。在這里順便說一下,防重設(shè)計(jì)冪等設(shè)計(jì)框咙,其實(shí)是有區(qū)別的咕痛。防重設(shè)計(jì)主要為了避免產(chǎn)生重復(fù)數(shù)據(jù),對(duì)接口返回沒有太多要求喇嘱。而冪等設(shè)計(jì)除了避免產(chǎn)生重復(fù)數(shù)據(jù)之外暇检,還要求每次請(qǐng)求都返回一樣的結(jié)果。

3. 加樂觀鎖

既然悲觀鎖有性能問題婉称,為了提升接口性能块仆,我們可以使用樂觀鎖构蹬。需要在表中增加一個(gè)timestamp或者version字段,這里以version字段為例悔据。

在更新數(shù)據(jù)之前先查詢一下數(shù)據(jù):

select id,amount,version from user id=123;

如果數(shù)據(jù)存在庄敛,假設(shè)查到的version等于1,再使用idversion字段作為查詢條件更新數(shù)據(jù):

update user set amount=amount+100,version=version+1
where id=123 and version=1;

更新數(shù)據(jù)的同時(shí)version+1科汗,然后判斷本次update操作的影響行數(shù)藻烤,如果大于0,則說明本次更新成功头滔,如果等于0怖亭,則說明本次更新沒有讓數(shù)據(jù)變更。

由于第一次請(qǐng)求version等于1是可以成功的坤检,操作成功后version變成2了兴猩。這時(shí)如果并發(fā)的請(qǐng)求過來,再執(zhí)行相同的sql:

update user set amount=amount+100,version=version+1
where id=123 and version=1;

update操作不會(huì)真正更新數(shù)據(jù)早歇,最終sql的執(zhí)行結(jié)果影響行數(shù)是0倾芝,因?yàn)?code>version已經(jīng)變成2了,where中的version=1肯定無法滿足條件箭跳。但為了保證接口冪等性晨另,接口可以直接返回成功,因?yàn)?code>version值已經(jīng)修改了谱姓,那么前面必定已經(jīng)成功過一次借尿,后面都是重復(fù)的請(qǐng)求。

具體步驟:

  1. 先根據(jù)id查詢用戶信息屉来,包含version字段
  2. 根據(jù)id和version字段值作為where條件的參數(shù)垛玻,更新用戶信息,同時(shí)version+1
  3. 判斷操作影響行數(shù)奶躯,如果影響1行帚桩,則說明是一次請(qǐng)求,可以做其他數(shù)據(jù)操作嘹黔。
  4. 如果影響0行账嚎,說明是重復(fù)請(qǐng)求,則直接返回成功儡蔓。

4. 加唯一索引

絕大數(shù)情況下郭蕉,為了防止重復(fù)數(shù)據(jù)的產(chǎn)生,我們都會(huì)在表中加唯一索引喂江,這是一個(gè)非常簡(jiǎn)單召锈,并且有效的方案。

alter table `order` add UNIQUE KEY `un_code` (`code`);

加了唯一索引之后获询,第一次請(qǐng)求數(shù)據(jù)可以插入成功涨岁。但后面的相同請(qǐng)求拐袜,插入數(shù)據(jù)時(shí)會(huì)報(bào)Duplicate entry '002' for key 'order.un_code異常,表示唯一索引有沖突梢薪。

雖說拋異常對(duì)數(shù)據(jù)來說沒有影響蹬铺,不會(huì)造成錯(cuò)誤數(shù)據(jù)。但是為了保證接口冪等性秉撇,我們需要對(duì)該異常進(jìn)行捕獲甜攀,然后返回成功。

如果是java程序需要捕獲:DuplicateKeyException異常琐馆,如果使用了spring框架還需要捕獲:MySQLIntegrityConstraintViolationException異常规阀。

具體步驟:

  1. 用戶通過瀏覽器發(fā)起請(qǐng)求,服務(wù)端收集數(shù)據(jù)瘦麸。
  2. 將該數(shù)據(jù)插入mysql
  3. 判斷是否執(zhí)行成功谁撼,如果成功,則操作其他數(shù)據(jù)(可能還有其他的業(yè)務(wù)邏輯)瞎暑。
  4. 如果執(zhí)行失敗,捕獲唯一索引沖突異常与帆,直接返回成功了赌。

5. 建防重表

有時(shí)候表中并非所有的場(chǎng)景都不允許產(chǎn)生重復(fù)的數(shù)據(jù),只有某些特定場(chǎng)景才不允許玄糟。這時(shí)候勿她,直接在表中加唯一索引,顯然是不太合適的阵翎。

針對(duì)這種情況逢并,我們可以通過建防重表來解決問題。

該表可以只包含兩個(gè)字段:id唯一索引郭卫,唯一索引可以是多個(gè)字段比如:name砍聊、code等組合起來的唯一標(biāo)識(shí),例如:susan_0001贰军。

具體步驟:

  1. 用戶通過瀏覽器發(fā)起請(qǐng)求玻蝌,服務(wù)端收集數(shù)據(jù)。
  2. 將該數(shù)據(jù)插入mysql防重表
  3. 判斷是否執(zhí)行成功词疼,如果成功俯树,則做mysql其他的數(shù)據(jù)操作(可能還有其他的業(yè)務(wù)邏輯)。
  4. 如果執(zhí)行失敗贰盗,捕獲唯一索引沖突異常许饿,直接返回成功。

需要特別注意的是:防重表和業(yè)務(wù)表必須在同一個(gè)數(shù)據(jù)庫中舵盈,并且操作要在同一個(gè)事務(wù)中陋率。

6. 根據(jù)狀態(tài)機(jī)

很多時(shí)候業(yè)務(wù)表是有狀態(tài)的球化,比如訂單表中有:1-下單、2-已支付翘贮、3-完成赊窥、4-撤銷等狀態(tài)。如果這些狀態(tài)的值是有規(guī)律的狸页,按照業(yè)務(wù)節(jié)點(diǎn)正好是從小到大锨能,我們就能通過它來保證接口的冪等性。

假如id=123的訂單狀態(tài)是已支付芍耘,現(xiàn)在要變成完成狀態(tài)址遇。

update `order` set status=3 where id=123 and status=2;

第一次請(qǐng)求時(shí),該訂單的狀態(tài)是已支付斋竞,值是2倔约,所以該update語句可以正常更新數(shù)據(jù),sql執(zhí)行結(jié)果的影響行數(shù)是1坝初,訂單狀態(tài)變成了3浸剩。

后面有相同的請(qǐng)求過來,再執(zhí)行相同的sql時(shí)鳄袍,由于訂單狀態(tài)變成了3绢要,再用status=2作為條件,無法查詢出需要更新的數(shù)據(jù)拗小,所以最終sql執(zhí)行結(jié)果的影響行數(shù)是0重罪,即不會(huì)真正的更新數(shù)據(jù)。但為了保證接口冪等性哀九,影響行數(shù)是0時(shí)剿配,接口也可以直接返回成功。

具體步驟:

  1. 用戶通過瀏覽器發(fā)起請(qǐng)求阅束,服務(wù)端收集數(shù)據(jù)呼胚。
  2. 根據(jù)id和當(dāng)前狀態(tài)作為條件,更新成下一個(gè)狀態(tài)
  3. 判斷操作影響行數(shù)息裸,如果影響了1行砸讳,說明當(dāng)前操作成功,可以進(jìn)行其他數(shù)據(jù)操作界牡。
  4. 如果影響了0行簿寂,說明是重復(fù)請(qǐng)求,直接返回成功宿亡。

主要特別注意的是常遂,該方案僅限于要更新的表有狀態(tài)字段,并且剛好要更新狀態(tài)字段的這種特殊情況挽荠,并非所有場(chǎng)景都適用克胳。

7. 加分布式鎖

其實(shí)前面介紹過的加唯一索引或者加防重表平绩,本質(zhì)是使用了數(shù)據(jù)庫分布式鎖,也屬于分布式鎖的一種漠另。但由于數(shù)據(jù)庫分布式鎖的性能不太好捏雌,我們可以改用:rediszookeeper

鑒于現(xiàn)在很多公司分布式配置中心改用apollonacos笆搓,已經(jīng)很少用zookeeper了性湿,我們以redis為例介紹分布式鎖。

目前主要有三種方式實(shí)現(xiàn)redis的分布式鎖:

  1. setNx命令
  2. set命令
  3. Redission框架

每種方案各有利弊满败,具體實(shí)現(xiàn)細(xì)節(jié)我就不說了肤频,有興趣的朋友可以加我微信找我私聊。

具體步驟:

  1. 用戶通過瀏覽器發(fā)起請(qǐng)求算墨,服務(wù)端會(huì)收集數(shù)據(jù)宵荒,并且生成訂單號(hào)code作為唯一業(yè)務(wù)字段。
  2. 使用redis的set命令净嘀,將該訂單code設(shè)置到redis中报咳,同時(shí)設(shè)置超時(shí)時(shí)間。
  3. 判斷是否設(shè)置成功挖藏,如果設(shè)置成功暑刃,說明是第一次請(qǐng)求,則進(jìn)行數(shù)據(jù)操作熬苍。
  4. 如果設(shè)置失敗稍走,說明是重復(fù)請(qǐng)求袁翁,則直接返回成功柴底。

需要特別注意的是:分布式鎖一定要設(shè)置一個(gè)合理的過期時(shí)間,如果設(shè)置過短粱胜,無法有效的防止重復(fù)請(qǐng)求柄驻。如果設(shè)置過長,可能會(huì)浪費(fèi)redis的存儲(chǔ)空間焙压,需要根據(jù)實(shí)際業(yè)務(wù)情況而定鸿脓。

最近無意間獲得一份BAT大廠大佬寫的刷題筆記,一下子打通了我的任督二脈涯曲,越來越覺得算法沒有想象中那么難了野哭。

8. 獲取token

除了上述方案之外,還有最后一種使用token的方案幻件。該方案跟之前的所有方案都有點(diǎn)不一樣拨黔,需要兩次請(qǐng)求才能完成一次業(yè)務(wù)操作。

  1. 第一次請(qǐng)求獲取token
  2. 第二次請(qǐng)求帶著這個(gè)token绰沥,完成業(yè)務(wù)操作篱蝇。

具體流程圖如下:

第一步贺待,先獲取token。

第二步零截,做具體業(yè)務(wù)操作麸塞。

具體步驟:

  1. 用戶訪問頁面時(shí),瀏覽器自動(dòng)發(fā)起獲取token請(qǐng)求涧衙。
  2. 服務(wù)端生成token哪工,保存到redis中,然后返回給瀏覽器绍撞。
  3. 用戶通過瀏覽器發(fā)起請(qǐng)求時(shí)正勒,攜帶該token。
  4. 在redis中查詢?cè)搕oken是否存在傻铣,如果不存在章贞,說明是第一次請(qǐng)求,做則后續(xù)的數(shù)據(jù)操作非洲。
  5. 如果存在鸭限,說明是重復(fù)請(qǐng)求,則直接返回成功两踏。
  6. 在redis中token會(huì)在過期時(shí)間之后败京,被自動(dòng)刪除。

以上方案是針對(duì)冪等設(shè)計(jì)的梦染。

如果是防重設(shè)計(jì)赡麦,流程圖要改改:

最近無意間獲得一份阿里大佬寫的刷題筆記,一下子打通了我的任督二脈帕识,進(jìn)大廠原來沒那么難泛粹。

轉(zhuǎn)自:https://www.zhihu.com/question/27744795?sort=created

?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
  • 序言:七十年代末,一起剝皮案震驚了整個(gè)濱河市肮疗,隨后出現(xiàn)的幾起案子晶姊,更是在濱河造成了極大的恐慌,老刑警劉巖伪货,帶你破解...
    沈念sama閱讀 222,378評(píng)論 6 516
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件们衙,死亡現(xiàn)場(chǎng)離奇詭異,居然都是意外死亡碱呼,警方通過查閱死者的電腦和手機(jī)蒙挑,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 94,970評(píng)論 3 399
  • 文/潘曉璐 我一進(jìn)店門,熙熙樓的掌柜王于貴愁眉苦臉地迎上來愚臀,“玉大人忆蚀,你說我怎么就攤上這事。” “怎么了蜓谋?”我有些...
    開封第一講書人閱讀 168,983評(píng)論 0 362
  • 文/不壞的土叔 我叫張陵梦皮,是天一觀的道長。 經(jīng)常有香客問我桃焕,道長剑肯,這世上最難降的妖魔是什么? 我笑而不...
    開封第一講書人閱讀 59,938評(píng)論 1 299
  • 正文 為了忘掉前任观堂,我火速辦了婚禮让网,結(jié)果婚禮上,老公的妹妹穿的比我還像新娘师痕。我一直安慰自己溃睹,他們只是感情好,可當(dāng)我...
    茶點(diǎn)故事閱讀 68,955評(píng)論 6 398
  • 文/花漫 我一把揭開白布胰坟。 她就那樣靜靜地躺著因篇,像睡著了一般。 火紅的嫁衣襯著肌膚如雪笔横。 梳的紋絲不亂的頭發(fā)上竞滓,一...
    開封第一講書人閱讀 52,549評(píng)論 1 312
  • 那天,我揣著相機(jī)與錄音吹缔,去河邊找鬼商佑。 笑死,一個(gè)胖子當(dāng)著我的面吹牛厢塘,可吹牛的內(nèi)容都是我干的茶没。 我是一名探鬼主播,決...
    沈念sama閱讀 41,063評(píng)論 3 422
  • 文/蒼蘭香墨 我猛地睜開眼晚碾,長吁一口氣:“原來是場(chǎng)噩夢(mèng)啊……” “哼抓半!你這毒婦竟也來了?” 一聲冷哼從身側(cè)響起迄薄,我...
    開封第一講書人閱讀 39,991評(píng)論 0 277
  • 序言:老撾萬榮一對(duì)情侶失蹤琅关,失蹤者是張志新(化名)和其女友劉穎煮岁,沒想到半個(gè)月后讥蔽,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體,經(jīng)...
    沈念sama閱讀 46,522評(píng)論 1 319
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡画机,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 38,604評(píng)論 3 342
  • 正文 我和宋清朗相戀三年冶伞,在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了。 大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片步氏。...
    茶點(diǎn)故事閱讀 40,742評(píng)論 1 353
  • 序言:一個(gè)原本活蹦亂跳的男人離奇死亡响禽,死狀恐怖,靈堂內(nèi)的尸體忽然破棺而出,到底是詐尸還是另有隱情芋类,我是刑警寧澤隆嗅,帶...
    沈念sama閱讀 36,413評(píng)論 5 351
  • 正文 年R本政府宣布,位于F島的核電站侯繁,受9級(jí)特大地震影響胖喳,放射性物質(zhì)發(fā)生泄漏。R本人自食惡果不足惜贮竟,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 42,094評(píng)論 3 335
  • 文/蒙蒙 一丽焊、第九天 我趴在偏房一處隱蔽的房頂上張望。 院中可真熱鬧咕别,春花似錦技健、人聲如沸。這莊子的主人今日做“春日...
    開封第一講書人閱讀 32,572評(píng)論 0 25
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽。三九已至偿短,卻和暖如春帽芽,著一層夾襖步出監(jiān)牢的瞬間,已是汗流浹背翔冀。 一陣腳步聲響...
    開封第一講書人閱讀 33,671評(píng)論 1 274
  • 我被黑心中介騙來泰國打工导街, 沒想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留,地道東北人纤子。 一個(gè)月前我還...
    沈念sama閱讀 49,159評(píng)論 3 378
  • 正文 我出身青樓搬瑰,卻偏偏與公主長得像,于是被迫代替她去往敵國和親控硼。 傳聞我的和親對(duì)象是個(gè)殘疾皇子泽论,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 45,747評(píng)論 2 361

推薦閱讀更多精彩內(nèi)容