高并發(fā)下接口冪等性的解決方案

一刀脏、背景

我們實際系統(tǒng)中有很多操作蚪腐,是不管做多少次,都應(yīng)該產(chǎn)生一樣的效果或返回一樣的結(jié)果侨糟。例如

前端重復(fù)提交選中的數(shù)據(jù)碍扔,應(yīng)該后臺只產(chǎn)生對應(yīng)這個數(shù)據(jù)的一個反應(yīng)結(jié)果;

我們發(fā)起一筆付款請求秕重,應(yīng)該只扣用戶賬戶一次錢不同,當(dāng)遇到網(wǎng)絡(luò)重發(fā)或系統(tǒng)bug重發(fā),也應(yīng)該只扣一次錢悲幅;

發(fā)送消息套鹅,也應(yīng)該只發(fā)一次,同樣的短信發(fā)給用戶汰具,用戶會哭的卓鹿;

創(chuàng)建業(yè)務(wù)訂單,一次業(yè)務(wù)請求只能創(chuàng)建一個留荔,創(chuàng)建多個就會出大問題等等很多重要的情況都需要冪等的特性來支持吟孙。

二、冪等性概念

冪等(idempotent聚蝶、idempotence)是一個數(shù)學(xué)與計算機學(xué)概念杰妓,常見于抽象代數(shù)中。在編程中.一個冪等操作的特點是其任意多次執(zhí)行所產(chǎn)生的影響均與一次執(zhí)行的影響相同碘勉。

冪等函數(shù)巷挥,或冪等方法,是指可以使用相同參數(shù)重復(fù)執(zhí)行验靡,并能獲得相同結(jié)果的函數(shù)倍宾。這些函數(shù)不會影響系統(tǒng)狀態(tài),也不用擔(dān)心重復(fù)執(zhí)行會對系統(tǒng)造成改變胜嗓。

例如高职,“getUsername()和setTrue()”函數(shù)就是一個冪等函數(shù). 更復(fù)雜的操作冪等保證是利用唯一交易號(流水號)實現(xiàn). 我的理解:冪等就是一個操作,不論執(zhí)行多少次辞州,產(chǎn)生的效果和返回的結(jié)果都是一樣的怔锌。

三、技術(shù)方案

查詢操作:查詢一次和查詢多次,在數(shù)據(jù)不變的情況下埃元,查詢結(jié)果是一樣的涝涤。select是天然的冪等操作;

刪除操作:刪除操作也是冪等的亚情,刪除一次和多次刪除都是把數(shù)據(jù)刪除妄痪。

注意可能返回結(jié)果不一樣,刪除的數(shù)據(jù)不存在楞件,返回0,刪除的數(shù)據(jù)多條裳瘪,返回結(jié)果多個土浸;

唯一索引,防止新增臟數(shù)據(jù)彭羹。

比如:支付寶的資金賬戶黄伊,支付寶也有用戶賬戶,每個用戶只能有一個資金賬戶派殷,怎么防止給用戶創(chuàng)建資金賬戶多個还最,那么給資金賬戶表中的用戶ID加唯一索引,所以一個用戶新增成功一個資金賬戶記錄毡惜。

要點:唯一索引或唯一組合索引來防止新增數(shù)據(jù)存在臟數(shù)據(jù)(當(dāng)表存在唯一索引拓轻,并發(fā)時新增報錯時,再查詢一次就可以了经伙,數(shù)據(jù)應(yīng)該已經(jīng)存在了扶叉,返回結(jié)果即可);

token機制帕膜,防止頁面重復(fù)提交枣氧。

業(yè)務(wù)要求:頁面的數(shù)據(jù)只能被點擊提交一次;

發(fā)生原因:由于重復(fù)點擊或者網(wǎng)絡(luò)重發(fā)垮刹,或者nginx重發(fā)等情況會導(dǎo)致數(shù)據(jù)被重復(fù)提交达吞;解決辦法:集群環(huán)境采用token加redis(redis單線程的,處理需要排隊)荒典;

單JVM環(huán)境:采用token加redis或token加jvm內(nèi)存酪劫。

處理流程:

數(shù)據(jù)提交前要向服務(wù)的申請token,token放到redis或jvm內(nèi)存种蝶,token有效時間契耿;

提交后后臺校驗token,同時刪除token螃征,生成新的token返回搪桂。token特點:要申請,一次有效性,可以限流踢械。

注意:redis要用刪除操作來判斷token酗电,刪除成功代表token校驗通過,如果用select+delete來校驗token内列,存在并發(fā)問題撵术,不建議使用;

悲觀鎖——獲取數(shù)據(jù)的時候加鎖獲取话瞧。select * from table_xxx where id='xxx' for update;

注意:id字段一定是主鍵或者唯一索引嫩与,不然是鎖表,會死人的悲觀鎖使用時一般伴隨事務(wù)一起使用交排,數(shù)據(jù)鎖定時間可能會很長划滋,根據(jù)實際情況選用;

樂觀鎖——樂觀鎖只是在更新數(shù)據(jù)那一刻鎖表埃篓,其他時間不鎖表处坪,所以相對于悲觀鎖,效率更高架专。樂觀鎖的實現(xiàn)方式多種多樣可以通過version或者其他狀態(tài)條件:

通過版本號實現(xiàn)update table_xxx set name=#name#,version=version+1 where version=#version#如下圖(來自網(wǎng)上)同窘;


通過條件限制update table_xxx set avai_amount=avai_amount-#subAmount# where avai_amount-#subAmount# >= 0要求:quality-#subQuality# >=?,這個情景適合不用版本號部脚,只更新是做數(shù)據(jù)安全校驗想邦,適合庫存模型,扣份額和回滾份額睛低,性能更高案狠;

注意:樂觀鎖的更新操作,最好用主鍵或者唯一索引來更新,這樣是行鎖钱雷,否則更新時會鎖表骂铁,上面兩個sql改成下面的兩個更好

update?table_xxxsetname=#name#,version=version+1 where id=#id# and version=#version#;

update?table_xxxsetavai_amount=avai_amount-#subAmount# where id=#id# and avai_amount-#subAmount#?>=?0罩抗;

分布式鎖

還是拿插入數(shù)據(jù)的例子拉庵,如果是分布是系統(tǒng),構(gòu)建全局唯一索引比較困難套蒂,例如唯一性的字段沒法確定钞支,這時候可以引入分布式鎖,通過第三方的系統(tǒng)(redis或zookeeper)操刀,在業(yè)務(wù)系統(tǒng)插入數(shù)據(jù)或者更新數(shù)據(jù)烁挟,獲取分布式鎖,然后做操作骨坑,之后釋放鎖撼嗓,這樣其實是把多線程并發(fā)的鎖的思路柬采,引入多多個系統(tǒng),也就是分布式系統(tǒng)中得解決思路且警。

要點:某個長流程處理過程要求不能并發(fā)執(zhí)行粉捻,可以在流程執(zhí)行之前根據(jù)某個標(biāo)志(用戶ID+后綴等)獲取分布式鎖,其他流程執(zhí)行時獲取鎖就會失敗斑芜,也就是同一時間該流程只能有一個能執(zhí)行成功肩刃,執(zhí)行完成后,釋放分布式鎖(分布式鎖要第三方系統(tǒng)提供)杏头;

select + insert

并發(fā)不高的后臺系統(tǒng)盈包,或者一些任務(wù)JOB,為了支持冪等大州,支持重復(fù)執(zhí)行续语,簡單的處理方法是,先查詢下一些關(guān)鍵數(shù)據(jù)厦画,判斷是否已經(jīng)執(zhí)行過,在進行業(yè)務(wù)處理滥朱,就可以了根暑。

注意:核心高并發(fā)流程不要用這種方法;

狀態(tài)機冪等

在設(shè)計單據(jù)相關(guān)的業(yè)務(wù)徙邻,或者是任務(wù)相關(guān)的業(yè)務(wù)排嫌,肯定會涉及到狀態(tài)機(狀態(tài)變更圖),就是業(yè)務(wù)單據(jù)上面有個狀態(tài)缰犁,狀態(tài)在不同的情況下會發(fā)生變更淳地,一般情況下存在有限狀態(tài)機,這時候帅容,如果狀態(tài)機已經(jīng)處于下一個狀態(tài)颇象,這時候來了一個上一個狀態(tài)的變更,理論上是不能夠變更的并徘,這樣的話遣钳,保證了有限狀態(tài)機的冪等。

注意:訂單等單據(jù)類業(yè)務(wù)麦乞,存在很長的狀態(tài)流轉(zhuǎn)蕴茴,一定要深刻理解狀態(tài)機,對業(yè)務(wù)系統(tǒng)設(shè)計能力提高有很大幫助

對外提供接口的api如何保證冪等姐直。

如銀聯(lián)提供的付款接口:需要接入商戶提交付款請求時附帶:source來源倦淀,seq序列號

source+seq在數(shù)據(jù)庫里面做唯一索引,防止多次付款(并發(fā)時声畏,只能處理一個請求) 撞叽。

重點:對外提供接口為了支持冪等調(diào)用,接口有兩個字段必須傳,一個是來源source能扒,一個是來源方序列號seq确丢,這個兩個字段在提供方系統(tǒng)里面做聯(lián)合唯一索引等龙,這樣當(dāng)?shù)谌秸{(diào)用時,先在本方系統(tǒng)里面查詢一下,是否已經(jīng)處理過蹦疑,返回相應(yīng)處理結(jié)果;沒有處理過控乾,進行相應(yīng)處理遂蛀,返回結(jié)果。

注意鹃答,為了冪等友好乎澄,一定要先查詢一下,是否處理過該筆業(yè)務(wù)测摔,不查詢直接插入業(yè)務(wù)系統(tǒng)置济,會報錯,但實際已經(jīng)處理了锋八。

四浙于、總結(jié)

冪等與你是不是分布式高并發(fā)還有JavaEE都沒有關(guān)系。關(guān)鍵是你的操作是不是冪等的挟纱。

一個冪等的操作典型如:把編號為5的記錄的A字段設(shè)置為0這種操作不管執(zhí)行多少次都是冪等的羞酗。一個非冪等的操作典型如:把編號為5的記錄的A字段增加1這種操作顯然就不是冪等的。

要做到冪等性紊服,從接口設(shè)計上來說不設(shè)計任何非冪等的操作即可檀轨。譬如說需求是:當(dāng)用戶點擊贊同時,將答案的贊同數(shù)量+1欺嗤。改為:當(dāng)用戶點擊贊同時参萄,確保答案贊同表中存在一條記錄,用戶剂府、答案拧揽。贊同數(shù)量由答案贊同表統(tǒng)計出來。

最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
  • 序言:七十年代末腺占,一起剝皮案震驚了整個濱河市淤袜,隨后出現(xiàn)的幾起案子,更是在濱河造成了極大的恐慌衰伯,老刑警劉巖铡羡,帶你破解...
    沈念sama閱讀 206,214評論 6 481
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件,死亡現(xiàn)場離奇詭異意鲸,居然都是意外死亡烦周,警方通過查閱死者的電腦和手機尽爆,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 88,307評論 2 382
  • 文/潘曉璐 我一進店門,熙熙樓的掌柜王于貴愁眉苦臉地迎上來读慎,“玉大人漱贱,你說我怎么就攤上這事∝参” “怎么了幅狮?”我有些...
    開封第一講書人閱讀 152,543評論 0 341
  • 文/不壞的土叔 我叫張陵,是天一觀的道長株灸。 經(jīng)常有香客問我崇摄,道長,這世上最難降的妖魔是什么慌烧? 我笑而不...
    開封第一講書人閱讀 55,221評論 1 279
  • 正文 為了忘掉前任逐抑,我火速辦了婚禮,結(jié)果婚禮上屹蚊,老公的妹妹穿的比我還像新娘厕氨。我一直安慰自己,他們只是感情好汹粤,可當(dāng)我...
    茶點故事閱讀 64,224評論 5 371
  • 文/花漫 我一把揭開白布腐巢。 她就那樣靜靜地躺著,像睡著了一般玄括。 火紅的嫁衣襯著肌膚如雪。 梳的紋絲不亂的頭發(fā)上肉瓦,一...
    開封第一講書人閱讀 49,007評論 1 284
  • 那天遭京,我揣著相機與錄音,去河邊找鬼泞莉。 笑死哪雕,一個胖子當(dāng)著我的面吹牛,可吹牛的內(nèi)容都是我干的鲫趁。 我是一名探鬼主播斯嚎,決...
    沈念sama閱讀 38,313評論 3 399
  • 文/蒼蘭香墨 我猛地睜開眼,長吁一口氣:“原來是場噩夢啊……” “哼挨厚!你這毒婦竟也來了堡僻?” 一聲冷哼從身側(cè)響起,我...
    開封第一講書人閱讀 36,956評論 0 259
  • 序言:老撾萬榮一對情侶失蹤疫剃,失蹤者是張志新(化名)和其女友劉穎钉疫,沒想到半個月后,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體巢价,經(jīng)...
    沈念sama閱讀 43,441評論 1 300
  • 正文 獨居荒郊野嶺守林人離奇死亡牲阁,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點故事閱讀 35,925評論 2 323
  • 正文 我和宋清朗相戀三年固阁,在試婚紗的時候發(fā)現(xiàn)自己被綠了。 大學(xué)時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片城菊。...
    茶點故事閱讀 38,018評論 1 333
  • 序言:一個原本活蹦亂跳的男人離奇死亡备燃,死狀恐怖,靈堂內(nèi)的尸體忽然破棺而出凌唬,到底是詐尸還是另有隱情并齐,我是刑警寧澤,帶...
    沈念sama閱讀 33,685評論 4 322
  • 正文 年R本政府宣布法瑟,位于F島的核電站冀膝,受9級特大地震影響,放射性物質(zhì)發(fā)生泄漏霎挟。R本人自食惡果不足惜窝剖,卻給世界環(huán)境...
    茶點故事閱讀 39,234評論 3 307
  • 文/蒙蒙 一、第九天 我趴在偏房一處隱蔽的房頂上張望酥夭。 院中可真熱鬧赐纱,春花似錦、人聲如沸熬北。這莊子的主人今日做“春日...
    開封第一講書人閱讀 30,240評論 0 19
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽讶隐。三九已至起胰,卻和暖如春,著一層夾襖步出監(jiān)牢的瞬間巫延,已是汗流浹背效五。 一陣腳步聲響...
    開封第一講書人閱讀 31,464評論 1 261
  • 我被黑心中介騙來泰國打工, 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留炉峰,地道東北人畏妖。 一個月前我還...
    沈念sama閱讀 45,467評論 2 352
  • 正文 我出身青樓,卻偏偏與公主長得像疼阔,于是被迫代替她去往敵國和親戒劫。 傳聞我的和親對象是個殘疾皇子,可洞房花燭夜當(dāng)晚...
    茶點故事閱讀 42,762評論 2 345

推薦閱讀更多精彩內(nèi)容