數(shù)據(jù)庫存數(shù)據(jù)時，邏輯上防重了為啥還會出現(xiàn)重復(fù)記錄埋心？

在很多異常情況下指郁，比如高并發(fā)、網(wǎng)絡(luò)糟糕的時候拷呆，數(shù)據(jù)庫里偶爾會出現(xiàn)重復(fù)的記錄闲坎。

假如現(xiàn)在有一張書籍表疫粥，結(jié)構(gòu)類似這樣

+----+--------------+
| id | name         |
+----+--------------+
|  1 | 世界簡史     |
+----+--------------+

在異常情況下，可能會出現(xiàn)下面這樣的記錄

+----+--------------+
| id | name         |
+----+--------------+
|  1 | 世界簡史     |
|  2 | 人類簡史     |
|  3 | 人類簡史     |
+----+--------------+

但是腰懂，想了想梗逮，自己在處理相關(guān)數(shù)據(jù)的時候也加了判重的相關(guān)邏輯，比如绣溜，新增時當(dāng)圖書 name 相同時慷彤，會提示圖書重復(fù)而返回。

初次遇到這個情況的時候怖喻，感覺有點摸不著頭腦瞬欧，后面想了想，還是理清了罢防，其實這和數(shù)據(jù)庫的事務(wù)隔離級別有一定關(guān)系艘虎。

先簡單說下數(shù)據(jù)庫事務(wù)的 4 個隔離級別，然后重現(xiàn)下上述問題咒吐，最后說說解決辦法野建。

1 數(shù)據(jù)庫事務(wù)的 4 個隔離級別

1.1 未提交讀

顧名思義，當(dāng)事務(wù)隔離級別處于這個設(shè)置的時候恬叹，不同事務(wù)能讀取其它事務(wù)中未提交的數(shù)據(jù)候生。

便于說明，我開了兩個客戶端（A 以及 B）绽昼，并設(shè)置各自的隔離級別為未提交讀唯鸭。（并沒有全局設(shè)置）

設(shè)置隔離級別命令

SET [SESSION | GLOBAL] TRANSACTION ISOLATION LEVEL {READ UNCOMMITTED | READ COMMITTED | REPEATABLE READ | SERIALIZABLE}

好了，開始硅确。

Client A

mysql> SET SESSION TRANSACTION ISOLATION LEVEL READ UNCOMMITTED;
Query OK, 0 rows affected (0.00 sec)

mysql> SELECT @@session.tx_isolation;
+------------------------+
| @@session.tx_isolation |
+------------------------+
| READ-UNCOMMITTED       |
+------------------------+
1 row in set (0.00 sec)

mysql> start transaction;
Query OK, 0 rows affected (0.01 sec)

mysql> select * from books;
+----+--------------+
| id | name         |
+----+--------------+
|  1 | 世界簡史     |
+----+--------------+
1 row in set (0.00 sec)

mysql> insert into books(name) values('人類簡史');
Query OK, 1 row affected (0.01 sec)

mysql> select * from books;
+----+--------------+
| id | name         |
+----+--------------+
|  1 | 世界簡史     |
|  4 | 人類簡史     |
+----+--------------+
2 rows in set (0.00 sec)

當(dāng) A 中的事務(wù)沒有關(guān)閉的時候目溉，我們?nèi)?B 中看下數(shù)據(jù)

Client B

mysql> SET SESSION TRANSACTION ISOLATION LEVEL READ UNCOMMITTED;
Query OK, 0 rows affected (0.00 sec)

mysql> SELECT @@session.tx_isolation;
+------------------------+
| @@session.tx_isolation |
+------------------------+
| READ-UNCOMMITTED       |
+------------------------+
1 row in set (0.00 sec)

mysql> start transaction;
Query OK, 0 rows affected (0.00 sec)

mysql> select * from books;
+----+--------------+
| id | name         |
+----+--------------+
|  1 | 世界簡史     |
|  4 | 人類簡史     |
+----+--------------+
2 rows in set (0.00 sec)

B 中可以讀取 A 未提交的數(shù)據(jù)，所謂未提交讀就是這樣菱农。

最后缭付，記得把各個事務(wù)提交。

Client A & Client B

mysql> commit;

1.2 提交讀

不能事務(wù)可以讀取其它事務(wù)中已經(jīng)提交的數(shù)據(jù)循未。

篇幅問題陷猫，這里我就不貼出設(shè)置隔離級別的語句，測試某個隔離級別的時候的妖，默認(rèn)已經(jīng)設(shè)置好該級別绣檬。

Client A

mysql> start transaction;
Query OK, 0 rows affected (0.00 sec)

mysql> select * from books;
+----+--------------+
| id | name         |
+----+--------------+
|  1 | 世界簡史     |
+----+--------------+
1 row in set (0.00 sec)

mysql> insert into books(name) values('人類簡史');
Query OK, 1 row affected (0.00 sec)

mysql> select * from books;
+----+--------------+
| id | name         |
+----+--------------+
|  1 | 世界簡史     |
|  5 | 人類簡史     |
+----+--------------+
2 rows in set (0.00 sec)

A 沒提交，在 B 里面去看下數(shù)據(jù)

Client B

mysql> start transaction;
Query OK, 0 rows affected (0.00 sec)

mysql> select * from books;
+----+--------------+
| id | name         |
+----+--------------+
|  1 | 世界簡史     |
+----+--------------+
1 row in set (0.00 sec)

和預(yù)期一樣嫂粟，A 中未提交的數(shù)據(jù)在 B 中看不到娇未。

A 中提交事務(wù)

Client A

mysql> commit;

在 B 中看下

Client B

mysql> select * from books;
+----+--------------+
| id | name         |
+----+--------------+
|  1 | 世界簡史     |
|  5 | 人類簡史     |
+----+--------------+
2 rows in set (0.00 sec)

mysql> commit;
Query OK, 0 rows affected (0.00 sec)

B 中能看到 A 中提交的數(shù)據(jù)。

1.3 可重復(fù)讀

細(xì)心的朋友可能會發(fā)現(xiàn)一個問題赋元，那就是在 B 中的同一個事務(wù)讀同一個表忘蟹，得到的結(jié)果卻不一致，開始只有 1 條搁凸，后面有 2 條媚值，而如果沒有這個問題的話，也就是可重復(fù)讀了护糖。

我們來驗證下

Client A

mysql> start transaction;
Query OK, 0 rows affected (0.00 sec)

mysql> select * from books;
+----+--------------+
| id | name         |
+----+--------------+
|  1 | 世界簡史     |
+----+--------------+
1 row in set (0.00 sec)

mysql> insert into books(name) values('人類簡史');
Query OK, 1 row affected (0.01 sec)

mysql> select * from books;
+----+--------------+
| id | name         |
+----+--------------+
|  1 | 世界簡史     |
|  6 | 人類簡史     |
+----+--------------+
2 rows in set (0.00 sec)

Client B

mysql> start transaction;
Query OK, 0 rows affected (0.00 sec)

mysql> select * from books;
+----+--------------+
| id | name         |
+----+--------------+
|  1 | 世界簡史     |
+----+--------------+
1 row in set (0.00 sec)

Client A

mysql> commit
Query OK, 0 rows affected (0.00 sec)

Client B

mysql> select * from books;
+----+--------------+
| id | name         |
+----+--------------+
|  1 | 世界簡史     |
+----+--------------+
1 row in set (0.00 sec)

和預(yù)期一致褥芒。B 中事務(wù)沒有受到 A 中事務(wù)的提交影響，讀取的數(shù)據(jù)和事務(wù)剛開始的時候一致嫡良，books 中都只有一條數(shù)據(jù)锰扶，這就是可重復(fù)讀。

當(dāng)然寝受，B 在自己的事務(wù)中做修改坷牛，肯定是可見的。

Client B

mysql> insert into books(name) value ('時間簡史');
Query OK, 1 row affected (0.00 sec)

mysql> select * from books;
+----+--------------+
| id | name         |
+----+--------------+
|  1 | 世界簡史     |
|  8 | 時間簡史     |
+----+--------------+
2 rows in set (0.00 sec)

mysql> commit;
Query OK, 0 rows affected (0.00 sec)

1.4 串行化

這是隔離級別最嚴(yán)格的一級很澄，在該級別中京闰，不同事務(wù)中的讀寫會相互阻塞。

Client A

mysql> start transaction;
Query OK, 0 rows affected (0.00 sec)

mysql> select * from books;
+----+--------------+
| id | name         |
+----+--------------+
|  1 | 世界簡史     |
+----+--------------+
1 row in set (0.00 sec)

當(dāng) A 未提交的時候在 B 中對同一個表進(jìn)行寫

Client B

mysql> start transaction;
Query OK, 0 rows affected (0.00 sec)

mysql> select * from books;
+----+--------------+
| id | name         |
+----+--------------+
|  1 | 世界簡史     |
+----+--------------+
1 row in set (0.00 sec)

mysql> insert into books(name) value ('人類簡史');
ERROR 1205 (HY000): Lock wait timeout exceeded; try restarting transaction

由于不同事務(wù)中的讀寫相互阻塞甩苛，所以出現(xiàn)了上面超時的情況蹂楣。

如果 A 中提交事務(wù)

Client A

mysql> commit;
Query OK, 0 rows affected (0.00 sec)

那么在 B 中就能正常寫了

Client B

mysql> insert into books(name) value ('人類簡史');
Query OK, 1 row affected (0.00 sec)

mysql> commit;
Query OK, 0 rows affected (0.01 sec)

同理，在 A 中開啟事務(wù)并向 books 中插入一條記錄后不提交讯蒲，B 中開啟事務(wù)并對該表進(jìn)行讀操作痊土，也會超時。當(dāng) A 中的事務(wù)提交后墨林，B 中對 books 的讀操作就沒有問題了赁酝。

2 重現(xiàn)問題

由于 MySQL 的 Innodb 的默認(rèn)事務(wù)隔離級別為可重復(fù)讀，也就導(dǎo)致了判重邏輯可能會出現(xiàn)問題旭等，我們來重現(xiàn)一下赞哗。

現(xiàn)在，數(shù)據(jù)庫的數(shù)據(jù)是這樣的

+----+--------------+
| id | name         |
+----+--------------+
|  1 | 世界簡史     |
+----+--------------+

后端邏輯類似這樣的

try:
    book_name = '人類簡史'
    book = get_by_name(book_name)
    if book:
        raise Exception(f'圖書 {book_name} 已存在')

    # 新增操作
    # 其它操作

    db.session.commit()
    return {'success': True}
except Exception as e:
    db.session.rollback()
    return {'success': False, 'msg': f'新增圖書失敗 {e}'}

當(dāng)兩個用戶輸入書名「人類簡史」并提交后辆雾，同時有兩個線程執(zhí)行這段邏輯肪笋，也就相當(dāng)于上面兩個客戶端同時開啟了事務(wù)，我們以這兩個客戶端來說明問題

Client A

mysql> start transaction;
Query OK, 0 rows affected (0.00 sec)

mysql> select * from books where name = '人類簡史';
Empty set (0.00 sec)

mysql> insert into books(name) values('人類簡史');
Query OK, 1 row affected (0.00 sec)

A 中檢測圖書不存在度迂，然后插入藤乙，但是由于「其它操作」由于網(wǎng)絡(luò)或者其它原因太費時間，導(dǎo)致事務(wù)提交延遲惭墓。

這時在 B 中執(zhí)行類似操作

Client B

mysql> start transaction;
Query OK, 0 rows affected (0.00 sec)

mysql> select * from books where name = '人類簡史';
Empty set (0.00 sec)

mysql> insert into books(name) values('人類簡史');
Query OK, 1 row affected (0.00 sec)

由于事務(wù)隔離級別是可重復(fù)讀的坛梁，B 中無法讀取 A 中未提交的數(shù)據(jù)，所以判重邏輯順利通過腊凶，也插入了同一本書划咐。（也就是說隔離級別在提交讀及以上都有可能出現(xiàn)這個問題）

最后 A 和 B 都提交后

Client A & Clinet B

mysql> commit;
Query OK, 0 rows affected (0.01 sec)

就出現(xiàn)了重復(fù)記錄了

+----+--------------+
| id | name         |
+----+--------------+
|  1 | 世界簡史     |
| 12 | 人類簡史     |
| 13 | 人類簡史     |
+----+--------------+

3 怎么解決

3.1 數(shù)據(jù)庫層面

從底層進(jìn)行限制拴念，對 name 添加唯一索引后，插入重復(fù)記錄會報錯褐缠，簡單粗暴的解決了這個問題政鼠。

3.2 代碼層面

加唯一索引能解決，但是總覺得代碼不夠完整队魏，其實在代碼層面也可以解決這個問題公般。

如果我們在接收請求的時候如果碰到關(guān)鍵參數(shù)相同的請求，我們可以直接拒絕胡桨，返回類似「操作進(jìn)行中」的響應(yīng)官帘，這樣也就從源頭上解決了這個問題。

實現(xiàn)上面的思路也很簡單昧谊，借助 redis 的 setnx 即可刽虹。

book_name = request.form.get('book_name', '')
if not book_name:
    reutrn json.dumps({'success': False, 'msg': '請?zhí)顚憰?})

redis_key = f'add_book_{book_name}'
set_res = redis_client.setnx(redis_key, 1)
if not set_res:
    reutrn json.dumps({'success': False, 'msg': '操作進(jìn)行中'})

add_res = add_book(book_name)  # 添加操作

redis_client.delete(redis_key)
return json.dumps(add_res)

如果類似場景比較多，可以考慮把 redis 的操作封裝成一個裝飾器呢诬，讓代碼能復(fù)用起來状婶，這里不再贅述。

4 小結(jié)

由于數(shù)據(jù)庫隔離級別的原因膛虫，一些數(shù)據(jù)就算是邏輯上進(jìn)行防重了，也有可能出現(xiàn)重復(fù)記錄钓猬。解決這個問題稍刀，可以在數(shù)據(jù)庫層面加唯一索引解決，也可以在代碼層面進(jìn)行解決敞曹。

本文首發(fā)于公眾號「小小后端」账月，關(guān)注并回復(fù)「1024」有驚喜哦。

?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
  • 人面猴
    序言：七十年代末澳迫，一起剝皮案震驚了整個濱河市局齿，隨后出現(xiàn)的幾起案子，更是在濱河造成了極大的恐慌橄登，老刑警劉巖抓歼，帶你破解...
    沈念sama閱讀 219,270評論 6贊 508
  • 死咒
    序言：濱河連續(xù)發(fā)生了三起死亡事件，死亡現(xiàn)場離奇詭異拢锹，居然都是意外死亡谣妻，警方通過查閱死者的電腦和手機(jī)，發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 93,489評論 3贊 395
  • 救了他兩次的神仙讓他今天三更去死
    文/潘曉璐 我一進(jìn)店門卒稳，熙熙樓的掌柜王于貴愁眉苦臉地迎上來蹋半，“玉大人，你說我怎么就攤上這事充坑〖踅” “怎么了染突？”我有些...
    開封第一講書人閱讀 165,630評論 0贊 356
  • 道士緝兇錄：失蹤的賣姜人
    文/不壞的土叔 我叫張陵，是天一觀的道長辈灼。 經(jīng)常有香客問我份企，道長，這世上最難降的妖魔是什么茵休？ 我笑而不...
    開封第一講書人閱讀 58,906評論 1贊 295
  • ?港島之戀（遺憾婚禮）
    正文 為了忘掉前任薪棒，我火速辦了婚禮手蝎，結(jié)果婚禮上榕莺，老公的妹妹穿的比我還像新娘。我一直安慰自己棵介，他們只是感情好钉鸯，可當(dāng)我...
    茶點故事閱讀 67,928評論 6贊 392
  • 惡毒庶女頂嫁案：這布局不是一般人想出來的
    文/花漫 我一把揭開白布。 她就那樣靜靜地躺著邮辽，像睡著了一般唠雕。 火紅的嫁衣襯著肌膚如雪。 梳的紋絲不亂的頭發(fā)上吨述，一...
    開封第一講書人閱讀 51,718評論 1贊 305
  • 城市分裂傳說
    那天岩睁，我揣著相機(jī)與錄音，去河邊找鬼揣云。 笑死捕儒，一個胖子當(dāng)著我的面吹牛，可吹牛的內(nèi)容都是我干的邓夕。 我是一名探鬼主播刘莹，決...
    沈念sama閱讀 40,442評論 3贊 420
  • 雙鴛鴦連環(huán)套：你想象不到人心有多黑
    文/蒼蘭香墨 我猛地睜開眼，長吁一口氣：“原來是場噩夢啊……” “哼焚刚！你這毒婦竟也來了点弯？” 一聲冷哼從身側(cè)響起，我...
    開封第一講書人閱讀 39,345評論 0贊 276
  • 萬榮殺人案實錄
    序言：老撾萬榮一對情侶失蹤矿咕，失蹤者是張志新（化名）和其女友劉穎抢肛，沒想到半個月后，有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體碳柱，經(jīng)...
    沈念sama閱讀 45,802評論 1贊 317
  • ?護(hù)林員之死
    正文 獨居荒郊野嶺守林人離奇死亡雌团，尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點故事閱讀 37,984評論 3贊 337
  • ?白月光啟示錄
    正文 我和宋清朗相戀三年，在試婚紗的時候發(fā)現(xiàn)自己被綠了士聪。 大學(xué)時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片锦援。...
    茶點故事閱讀 40,117評論 1贊 351
  • 活死人
    序言：一個原本活蹦亂跳的男人離奇死亡，死狀恐怖剥悟，靈堂內(nèi)的尸體忽然破棺而出灵寺，到底是詐尸還是另有隱情曼库，我是刑警寧澤，帶...
    沈念sama閱讀 35,810評論 5贊 346
  • ?日本核電站爆炸內(nèi)幕
    正文 年R本政府宣布略板，位于F島的核電站毁枯，受9級特大地震影響，放射性物質(zhì)發(fā)生泄漏叮称。R本人自食惡果不足惜种玛，卻給世界環(huán)境...
    茶點故事閱讀 41,462評論 3贊 331
  • 男人毒藥：我在死后第九天來索命
    文/蒙蒙 一、第九天 我趴在偏房一處隱蔽的房頂上張望瓤檐。 院中可真熱鬧赂韵，春花似錦、人聲如沸挠蛉。這莊子的主人今日做“春日...
    開封第一講書人閱讀 32,011評論 0贊 22
  • 一樁弒父案，背后竟有這般陰謀
    文/蒼蘭香墨 我抬頭看了看天上的太陽谴古。三九已至质涛，卻和暖如春，著一層夾襖步出監(jiān)牢的瞬間掰担，已是汗流浹背汇陆。 一陣腳步聲響...
    開封第一講書人閱讀 33,139評論 1贊 272
  • 情欲美人皮
    我被黑心中介騙來泰國打工， 沒想到剛下飛機(jī)就差點兒被人妖公主榨干…… 1. 我叫王不留带饱，地道東北人毡代。 一個月前我還...
    沈念sama閱讀 48,377評論 3贊 373
  • 代替公主和親
    正文 我出身青樓，卻偏偏與公主長得像纠炮，于是被迫代替她去往敵國和親月趟。 傳聞我的和親對象是個殘疾皇子，可洞房花燭夜當(dāng)晚...
    茶點故事閱讀 45,060評論 2贊 355

推薦閱讀更多精彩內(nèi)容

  • 專業(yè)考題類型管理運行工作負(fù)責(zé)人一般作業(yè)考題內(nèi)容選項A選項B選項C選項D選項E選項F正確答案 變電單選GYSZ本規(guī)程...
    小白兔去釣魚閱讀 9,000評論 0贊 13
  • 關(guān)于Mongodb的全面總結(jié) MongoDB的內(nèi)部構(gòu)造《MongoDB The Definitive Guide》...
    中v中閱讀 31,938評論 2贊 89
  • 一恢口、事務(wù) 1孝宗、事務(wù)四要素：ACID 對于事務(wù)，我之前的理解是很粗糙的耕肩，不就是為了保證操作的原子性么因妇？一般訂單系統(tǒng)或...
    張偉科閱讀 1,306評論 0贊 5
  • 人氣頗盛的《中國詩詞大會》第三季總決賽落下帷幕，積累扎實心態(tài)穩(wěn)重的外賣哥雷海為過關(guān)斬將猿诸，一舉奪冠婚被，出人意料而又扣人...
    晴鶴1閱讀 129評論 0贊 4
  • 8406！今天完成任務(wù)梳虽！這是新的開始址芯！ 公園里走完才7000步，離8000步還差點。在小區(qū)里又走了一圈谷炸。 突然發(fā)現(xiàn)...
    GraceDong閱讀 112評論 1贊 0