事務隔離級別
所謂隔離級別赫编,就是在數(shù)據(jù)庫事務中尽纽,為保證并發(fā)數(shù)據(jù)讀寫的正確性而提出的定義。每種關(guān)系型數(shù)據(jù)庫都提供了各自特色的隔離級別實現(xiàn)垒拢,雖然在通常的定義中是以鎖為實現(xiàn)單元,但實際的實現(xiàn)千差萬別火惊。
以最常見的 MySQL InnoDB 引擎為例求类,它是基于MVCC(Multi-Version Concurrency Control)和鎖的復合實現(xiàn)的,按照隔離級別由低到高屹耐,MYSQL事務隔離級別分為四個不同層次:
- 讀未提交(Read Uncommitted)尸疆,事務A能夠看到事務B未提交的修改,允許出現(xiàn)臟讀
- 讀已提交(Read Committed), 事務A只可以看到事務B已經(jīng)提交的修改惶岭,允許出現(xiàn)不可重復讀寿弱,即不能保證同一個事務中多次讀取數(shù)據(jù)的結(jié)果一致。
- 可重復讀(Repeatable Read), 保證同一個事務中多次讀取的數(shù)據(jù)是一致的按灶。這是MYSQL默認的隔離級別症革。但是和其他數(shù)據(jù)庫實現(xiàn)不同的是,MYSQL通過對一個范圍加Gap鎖鸯旁,可以在一定程度上避免幻讀情況噪矛。
- 串行化(Serializable) ,事務之間是串行執(zhí)行的铺罢,通常意味著讀需要獲取共享讀鎖艇挨,更新需要獲取排他寫鎖。
MYSQL InnerDB會根據(jù)不同的事務隔離級別韭赘,對數(shù)據(jù)修改增加一些"隱式"的鎖缩滨,同時也支持通過特定語句進行顯示的鎖定,比如:
SELECT ... LOCK IN SHARE MODE
SELECT ... FOR UPDATE
悲觀鎖和樂觀鎖
悲觀鎖和樂觀鎖不是MYSQL中獨有的概念辞居,而是并發(fā)編程的基本概念楷怒。主要區(qū)別在于蛋勺,操作共享數(shù)據(jù)時瓦灶,“悲觀鎖”認為數(shù)據(jù)出現(xiàn)沖突的可能性更大,而“樂觀鎖”則認為大部分情況不會出現(xiàn)沖突抱完,進而決定是否采用排他性的措施贼陶。JAVA中常用的synchronized關(guān)鍵字,以及并發(fā)包中的讀寫鎖巧娱,都屬于悲觀鎖碉怔,而CAS操作可以認為是樂觀鎖。
樂觀鎖的實現(xiàn)方式一般有一下兩種:
- 使用數(shù)據(jù)版本(Version)實現(xiàn)禁添,這是樂觀鎖最常用的一種實現(xiàn)方式撮胧。何謂數(shù)據(jù)版本?即為數(shù)據(jù)增加一個版本標識老翘,一般是通過為數(shù)據(jù)庫表增加一個數(shù)字類型的 “version” 字段來實現(xiàn)芹啥。當讀取數(shù)據(jù)時锻离,將version字段的值一同讀出,數(shù)據(jù)每更新一次墓怀,對此version值+1汽纠。當我們提交更新的時候,判斷數(shù)據(jù)庫表對應記錄的當前版本信息與第一次取出來的version值進行比對傀履,如果數(shù)據(jù)庫表當前版本號與第一次取出來的version值相等虱朵,則予以更新,否則認為是過期數(shù)據(jù)钓账。
- 使用時間戳(timestamp)碴犬,同樣是在需要樂觀鎖控制的table中增加一個字段,名稱無所謂梆暮,字段類型使用時間戳(timestamp), 和上面的version類似翅敌,也是在更新提交的時候檢查當前數(shù)據(jù)庫中數(shù)據(jù)的時間戳和自己更新前取到的時間戳進行對比,如果一致則OK惕蹄,否則就是版本沖突.
當前讀和快照讀
Innodb的操作可以分為當前讀(current read)和快照讀(snapshot read):
- 快照讀: 簡單的SELECT 語句
- 當前讀: SELECT IN SHARD MODE, SELECT FOR UPDATE, INSERT, UPDATE, DELETE
在RR事務隔離級別下蚯涮,快照讀是通過MVCC和undo log來實現(xiàn)的,當前讀是通過加record lock(記錄鎖)和gap lock(間隙鎖)來實現(xiàn)的卖陵。
所以我們通常所說的MYSQL 在一定程度上可以避免出現(xiàn)"幻讀" 指的是當前讀遭顶,如果在事務中使用了快照讀,則不能保證出現(xiàn)“幻讀”
MVCC實現(xiàn)
InnerDB MVCC是通過在每行記錄后面保存兩個隱藏的列來實現(xiàn)的泪蔫。這兩個列棒旗,一個保存了行的創(chuàng)建時間,一個保存行的過期時間(或刪除時間)撩荣。當然存儲的并不是實際的時間值铣揉,而是系統(tǒng)版本號(system version number)。每開始一個新的事務餐曹,系統(tǒng)版本號都會自動遞增逛拱。事務開始時刻的系統(tǒng)版本號會作為事務的版本號,用來和查詢到的每行記錄的版本號進行比較
- SELECT: 會根據(jù)以下兩個條件檢查每行記錄
- 只查找版本早于當前事務版本的數(shù)據(jù)行(也就是台猴,行的系統(tǒng)版本號小于或等于事務的系統(tǒng)版本號)朽合,這樣可以確保事務讀取的行,要么是在事務開始前已經(jīng)存在的饱狂,要么是事務自身插入或者修改過的.
- 行的刪除版本要么未定義曹步,要么大于當前事務版本號。這可以確保事務讀取到的行休讳,在事務開始之前未被刪除讲婚。
只有符合上述兩個條件的記錄,才能返回作為查詢結(jié)果
- INSERT: 新插入的每一行保存當前系統(tǒng)版本號作為行版本號俊柔。
- DELETE: 為刪除的每一行保存當前系統(tǒng)版本號作為行刪除標識筹麸。
- UPDATE: 系統(tǒng)版本號 +1
redo,undo,binglog
https://www.linuxidc.com/Linux/2018-01/150614.htm
MySQL中有六種五種日志文件:
- 重做日志(redo log)
- 回滾日志(undo log)
- 二進制日志(binlog)
- 錯誤日志(errorlog)
- 慢查詢?nèi)罩荆╯low query log)
- 一般查詢?nèi)罩荆╣eneral log)
- 中繼日志(relay log)
其中重做日志和回滾日志與事務操作息息相關(guān)纳猫,二進制日志也與事務操作有一定的關(guān)系,這三種日志竹捉,對理解MySQL中的事務操作有著重要的意義
- 重做日志
- 作用:確保事務的持久性芜辕。防止在發(fā)生故障的時間點,尚有臟頁未寫入磁盤块差,在重啟mysql服務的時候侵续,根據(jù)redo log進行重做,從而達到事務的持久性這一特性憨闰。
- 內(nèi)容:物理格式的日志状蜗,記錄的是物理數(shù)據(jù)頁面的修改的信息,其redo log是順序?qū)懭雛edo log file的物理文件中去的鹉动。
- 什么時候產(chǎn)生:事務開始之后就產(chǎn)生redo log轧坎,redo log的落盤并不是隨著事務的提交才寫入的,而是在事務的執(zhí)行過程中泽示,便開始寫入redo log文件中
- 什么時候釋放:當對應事務的臟頁寫入到磁盤之后缸血,redo log的使命也就完成了,重做日志占用的空間就可以重用(被覆蓋)
- 對應的物理文件:
默認情況下械筛,對應的物理文件位于數(shù)據(jù)庫的data目錄下的ib_logfile1&ib_logfile2
innodb_log_group_home_dir 指定日志文件組所在的路徑捎泻,默認./ ,表示在數(shù)據(jù)庫的數(shù)據(jù)目錄下埋哟。
innodb_log_files_in_group 指定重做日志文件組中文件的數(shù)量笆豁,默認2
關(guān)于文件的大小和數(shù)量,由一下兩個參數(shù)配置
innodb_log_file_size 重做日志文件的大小赤赊。
innodb_mirrored_log_groups 指定了日志鏡像文件組的數(shù)量闯狱,默認1 - 其他:
很重要一點,redo log是什么時候?qū)懕P的抛计?前面說了是在事物開始之后逐步寫盤的哄孤。
之所以說重做日志是在事務開始之后逐步寫入重做日志文件,而不一定是事務提交才寫入重做日志緩存爷辱,
原因就是录豺,重做日志有一個緩存區(qū)Innodb_log_buffer,Innodb_log_buffer的默認大小為8M(這里設置的16M),Innodb存儲引擎先將重做日志寫入innodb_log_buffer中饭弓。
然后會通過以下三種方式將innodb日志緩沖區(qū)的日志刷新到磁盤
1,Master Thread 每秒一次執(zhí)行刷新Innodb_log_buffer到重做日志文件媒抠。
2弟断,每個事務提交時會將重做日志刷新到重做日志文件。
3趴生,當重做日志緩存可用空間 少于一半時阀趴,重做日志緩存被刷新到重做日志文件
- 回滾日志
作用:
保存了事務發(fā)生之前的數(shù)據(jù)的一個版本昏翰,可以用于回滾,同時可以提供多版本并發(fā)控制下的讀(MVCC)刘急,也即非鎖定讀
內(nèi)容:
邏輯格式的日志棚菊,在執(zhí)行undo的時候,僅僅是將數(shù)據(jù)從邏輯上恢復至事務之前的狀態(tài)叔汁,而不是從物理頁面上操作實現(xiàn)的统求,這一點是不同于redo log的。
什么時候產(chǎn)生:
事務開始之前据块,將當前是的版本生成undo log码邻,undo 也會產(chǎn)生 redo 來保證undo log的可靠性
什么時候釋放:
當事務提交之后,undo log并不能立馬被刪除另假,
而是放入待清理的鏈表像屋,由purge線程判斷是否由其他事務在使用undo段中表的上一個事務之前的版本信息,決定是否可以清理undo log的日志空間边篮。
對應的物理文件:
MySQL5.6之前己莺,undo表空間位于共享表空間的回滾段中,共享表空間的默認的名稱是ibdata戈轿,位于數(shù)據(jù)文件目錄中篇恒。
MySQL5.6之后,undo表空間可以配置成獨立的文件凶杖,但是提前需要在配置文件中配置胁艰,完成數(shù)據(jù)庫初始化后生效且不可改變undo log文件的個數(shù)
如果初始化數(shù)據(jù)庫之前沒有進行相關(guān)配置,那么就無法配置成獨立的表空間了智蝠。
關(guān)于MySQL5.7之后的獨立undo 表空間配置參數(shù)如下
innodb_undo_directory = /data/undospace/ --undo獨立表空間的存放目錄
innodb_undo_logs = 128 --回滾段為128KB
innodb_undo_tablespaces = 4 --指定有4個undo log文件
如果undo使用的共享表空間腾么,這個共享表空間中又不僅僅是存儲了undo的信息,共享表空間的默認為與MySQL的數(shù)據(jù)目錄下面杈湾,其屬性由參數(shù)innodb_data_file_path配置解虱。
其他:
undo是在事務開始之前保存的被修改數(shù)據(jù)的一個版本,產(chǎn)生undo日志的時候漆撞,同樣會伴隨類似于保護事務持久化機制的redolog的產(chǎn)生殴泰。
默認情況下undo文件是保持在共享表空間的,也即ibdatafile文件中浮驳,當數(shù)據(jù)庫中發(fā)生一些大的事務性操作的時候悍汛,要生成大量的undo信息,全部保存在共享表空間中的至会。
因此共享表空間可能會變的很大离咐,默認情況下,也就是undo 日志使用共享表空間的時候,被“撐大”的共享表空間是不會也不能自動收縮的宵蛀。
因此昆著,mysql5.7之后的“獨立undo 表空間”的配置就顯得很有必要了。
- 二進制日志
作用:
1术陶,用于復制凑懂,在主從復制中,從庫利用主庫上的binlog進行重播梧宫,實現(xiàn)主從同步接谨。
2,用于數(shù)據(jù)庫的基于時間點的還原祟敛。
內(nèi)容:
邏輯格式的日志疤坝,可以簡單認為就是執(zhí)行過的事務中的sql語句。
但又不完全是sql語句這么簡單馆铁,而是執(zhí)行的sql語句(增刪改)反向的信息跑揉,
也就意味著delete對應著delete本身和其反向的insert;update對應著update執(zhí)行前后的版本的信息埠巨;insert對應著delete和insert本身的信息历谍。
在使用mysqlbinlog解析binlog之后一些都會真相大白。
因此可以基于binlog做到類似于Oracle的閃回功能辣垒,其實都是依賴于binlog中的日志記錄望侈。
什么時候產(chǎn)生:
事務提交的時候,一次性將事務中的sql語句(一個事物可能對應多個sql語句)按照一定的格式記錄到binlog中勋桶。
這里與redo log很明顯的差異就是redo log并不一定是在事務提交的時候刷新到磁盤脱衙,redo log是在事務開始之后就開始逐步寫入磁盤。
因此對于事務的提交例驹,即便是較大的事務捐韩,提交(commit)都是很快的,但是在開啟了bin_log的情況下鹃锈,對于較大事務的提交荤胁,可能會變得比較慢一些。
這是因為binlog是在事務提交的時候一次性寫入的造成的屎债,這些可以通過測試驗證仅政。
什么時候釋放:
binlog的默認是保持時間由參數(shù)expire_logs_days配置,也就是說對于非活動的日志文件盆驹,在生成時間超過expire_logs_days配置的天數(shù)之后圆丹,會被自動刪除。
對應的物理文件:
配置文件的路徑為log_bin_basename召娜,binlog日志文件按照指定大小运褪,當日志文件達到指定的最大的大小之后,進行滾動更新玖瘸,生成新的日志文件秸讹。
對于每個binlog日志文件,通過一個統(tǒng)一的index文件來組織雅倒。
其他:
二進制日志的作用之一是還原數(shù)據(jù)庫的璃诀,這與redo log很類似,很多人混淆過蔑匣,但是兩者有本質(zhì)的不同
1劣欢,作用不同:redo log是保證事務的持久性的,是事務層面的裁良,binlog作為還原的功能凿将,是數(shù)據(jù)庫層面的(當然也可以精確到事務層面的),雖然都有還原的意思价脾,但是其保護數(shù)據(jù)的層次是不一樣的牧抵。
2,內(nèi)容不同:redo log是物理日志侨把,是數(shù)據(jù)頁面的修改之后的物理記錄犀变,binlog是邏輯日志,可以簡單認為記錄的就是sql語句
3秋柄,另外获枝,兩者日志產(chǎn)生的時間,可以釋放的時間骇笔,在可釋放的情況下清理機制省店,都是完全不同的。
關(guān)于事務提交時笨触,redo log和binlog的寫入順序懦傍,為了保證主從復制時候的主從一致(當然也包括使用binlog進行基于時間點還原的情況),是要嚴格一致的旭旭,
MySQL通過兩階段提交過程來完成事務的一致性的谎脯,也即redo log和binlog的一致性的,理論上是先寫redo log持寄,再寫binlog源梭,兩個日志都提交成功(刷入磁盤),事務才算真正的完成稍味。
http://blog.itpub.net/29254281/viewspace-1398273/
http://www.cnblogs.com/leefreeman/p/8286550.html
多用戶同時修改一條數(shù)據(jù) 废麻,并發(fā)問題
https://my.oschina.net/u/2377060/blog/803217
多個用戶同時提交同一份表單,來修改同一條記錄的問題
數(shù)據(jù)庫分庫分表
訂單ID生成問題
MYSQL索引優(yōu)化: http://www.reibang.com/p/79c83531dfd1