日志是 mysql
數(shù)據(jù)庫的重要組成部分谣拣,記錄著數(shù)據(jù)庫運行期間各種狀態(tài)信息募寨。mysql
日志主要包括錯誤日志、查詢?nèi)罩旧⒙樵內(nèi)罩景斡ァ⑹聞?wù)日志、二進制日志幾大類贵涵。
作為開發(fā)列肢,我們重點需要關(guān)注的是二進制日志( binlog
)和事務(wù)日志(包括redo log
和 undo log
),本文接下來會詳細介紹這三種日志宾茂。
binlog
binlog
用于記錄數(shù)據(jù)庫執(zhí)行的寫入性操作(不包括查詢)信息瓷马,以二進制的形式保存在磁盤中。binlog
是 mysql
的邏輯日志跨晴,并且由 Server
層進行記錄欧聘,使用任何存儲引擎的 mysql
數(shù)據(jù)庫都會記錄 binlog
日志。
邏輯日志:可以簡單理解為記錄的就是sql語句 坟奥。
物理日志:
mysql
數(shù)據(jù)最終是保存在數(shù)據(jù)頁中的树瞭,物理日志記錄的就是數(shù)據(jù)頁變更 。
binlog
是通過追加的方式進行寫入的爱谁,可以通過max_binlog_size
參數(shù)設(shè)置每個 binlog
文件的大小,當(dāng)文件大小達到給定值之后孝偎,會生成新的文件來保存日志访敌。
binlog使用場景
在實際應(yīng)用中, binlog
的主要使用場景有兩個衣盾,分別是 主從復(fù)制 和 數(shù)據(jù)恢復(fù) 寺旺。
主從復(fù)制 :在
Master
端開啟binlog
,然后將binlog
發(fā)送到各個Slave
端势决,Slave
端重放binlog
從而達到主從數(shù)據(jù)一致阻塑。數(shù)據(jù)恢復(fù) :通過使用
mysqlbinlog
工具來恢復(fù)數(shù)據(jù)。
binlog刷盤時機
對于 InnoDB
存儲引擎而言果复,只有在事務(wù)提交時才會記錄biglog
陈莽,此時記錄還在內(nèi)存中,那么 biglog
是什么時候刷到磁盤中的呢?
mysql
通過 sync_binlog
參數(shù)控制 biglog
的刷盤時機走搁,取值范圍是 0-N
:
0:不去強制要求独柑,由系統(tǒng)自行判斷何時寫入磁盤;
1:每次
commit
的時候都要將binlog
寫入磁盤私植;N:每N個事務(wù)忌栅,才會將
binlog
寫入磁盤。
從上面可以看出曲稼, sync_binlog
最安全的是設(shè)置是 1
索绪,這也是MySQL 5.7.7
之后版本的默認值。但是設(shè)置一個大一些的值可以提升數(shù)據(jù)庫性能贫悄,因此實際情況下也可以將值適當(dāng)調(diào)大者春,犧牲一定的一致性來獲取更好的性能。
binlog日志格式
binlog
日志有三種格式清女,分別為 STATMENT
钱烟、 ROW
和 MIXED
。
在
MySQL 5.7.7
之前嫡丙,默認的格式是STATEMENT
拴袭,MySQL 5.7.7
之后,默認值是ROW
曙博。日志格式通過binlog-format
指定拥刻。
-
STATMENT
:基于SQL
語句的復(fù)制(statement-based replication, SBR
),每一條會修改數(shù)據(jù)的sql語句會記錄到binlog
中 父泳。
優(yōu)點:不需要記錄每一行的變化般哼,減少了 binlog 日志量,節(jié)約了 IO , 從而提高了性能惠窄;
缺點:在某些情況下會導(dǎo)致主從數(shù)據(jù)不一致杆融,比如執(zhí)行sysdate() 、 slepp() 等 蒋腮。
-
ROW
:基于行的復(fù)制(row-based replication, RBR
),不記錄每條sql語句的上下文信息作彤,僅需記錄哪條數(shù)據(jù)被修改了 。
優(yōu)點:不會出現(xiàn)某些特定情況下的存儲過程瓣距、或function蹈丸、或trigger的調(diào)用和觸發(fā)無法被正確復(fù)制的問題 逻杖;
缺點:會產(chǎn)生大量的日志,尤其是
alter table
的時候會讓日志暴漲
-
MIXED
:基于STATMENT
和ROW
兩種模式的混合復(fù)制(mixed-based replication, MBR
)够话,一般的復(fù)制使用STATEMENT
模式保存binlog
女嘲,對于STATEMENT
模式無法復(fù)制的操作使用ROW
模式保存binlog
redo log
為什么需要redo log
我們都知道欣尼,事務(wù)的四大特性里面有一個是 持久性 停蕉,具體來說就是只要事務(wù)提交成功愕鼓,那么對數(shù)據(jù)庫做的修改就被永久保存下來了,不可能因為任何原因再回到原來的狀態(tài) 慧起。
那么 mysql
是如何保證一致性的呢菇晃?
最簡單的做法是在每次事務(wù)提交的時候,將該事務(wù)涉及修改的數(shù)據(jù)頁全部刷新到磁盤中完慧。但是這么做會有嚴重的性能問題谋旦,主要體現(xiàn)在兩個方面:
因為
Innodb
是以頁
為單位進行磁盤交互的,而一個事務(wù)很可能只修改一個數(shù)據(jù)頁里面的幾個字節(jié)屈尼,這個時候?qū)⑼暾臄?shù)據(jù)頁刷到磁盤的話脾歧,太浪費資源了演熟!一個事務(wù)可能涉及修改多個數(shù)據(jù)頁鞭执,并且這些數(shù)據(jù)頁在物理上并不連續(xù)司顿,使用隨機IO寫入性能太差钦奋!
因此 mysql
設(shè)計了 redo log
捍岳, 具體來說就是只記錄事務(wù)對數(shù)據(jù)頁做了哪些修改泞坦,這樣就能完美地解決性能問題了(相對而言文件更小并且是順序IO)锣险。
redo log基本概念
redo log
包括兩部分:一個是內(nèi)存中的日志緩沖( redo log buffer
)油吭,另一個是磁盤上的日志文件( redo logfile
)类咧。
mysql
每執(zhí)行一條 DML
語句,先將記錄寫入 redo log buffer
,后續(xù)某個時間點再一次性將多個操作記錄寫到 redo log file
血巍。這種 先寫日志萧锉,再寫磁盤 的技術(shù)就是 MySQL
里經(jīng)常說到的 WAL(Write-Ahead Logging)
技術(shù)柿隙。
在計算機操作系統(tǒng)中鲫凶,用戶空間( user space
)下的緩沖區(qū)數(shù)據(jù)一般情況下是無法直接寫入磁盤的,中間必須經(jīng)過操作系統(tǒng)內(nèi)核空間( kernel space
)緩沖區(qū)( OS Buffer
)螟炫。
因此波附, redo log buffer
寫入 redo logfile
實際上是先寫入 OS Buffer
,然后再通過系統(tǒng)調(diào)用 fsync()
將其刷到 redo log file
中昼钻,過程如下:
mysql
支持三種將 redo log buffer
寫入 redo log file
的時機掸屡,可以通過 innodb_flush_log_at_trx_commit
參數(shù)配置,各參數(shù)值含義如下:
redo log記錄形式
前面說過然评, redo log
實際上記錄數(shù)據(jù)頁的變更仅财,而這種變更記錄是沒必要全部保存,因此 redo log
實現(xiàn)上采用了大小固定碗淌,循環(huán)寫入的方式盏求,當(dāng)寫到結(jié)尾時,會回到開頭循環(huán)寫日志亿眠。如下圖:
同時我們很容易得知碎罚, 在innodb中,既有redo log
需要刷盤纳像,還有 數(shù)據(jù)頁
也需要刷盤魂莫, redo log
存在的意義主要就是降低對 數(shù)據(jù)頁
刷盤的要求 ** 。
在上圖中爹耗, write pos
表示 redo log
當(dāng)前記錄的 LSN
(邏輯序列號)位置耙考, check point
表示 數(shù)據(jù)頁更改記錄 刷盤后對應(yīng) redo log
所處的 LSN
(邏輯序列號)位置。
write pos
到 check point
之間的部分是 redo log
空著的部分潭兽,用于記錄新的記錄倦始;check point
到 write pos
之間是 redo log
待落盤的數(shù)據(jù)頁更改記錄。當(dāng) write pos
追上check point
時山卦,會先推動 check point
向前移動鞋邑,空出位置再記錄新的日志。
啟動 innodb
的時候账蓉,不管上次是正常關(guān)閉還是異常關(guān)閉诺凡,總是會進行恢復(fù)操作擅笔。因為 redo log
記錄的是數(shù)據(jù)頁的物理變化,因此恢復(fù)的時候速度比邏輯日志(如 binlog
)要快很多。
重啟innodb
時钟鸵,首先會檢查磁盤中數(shù)據(jù)頁的 LSN
,如果數(shù)據(jù)頁的LSN
小于日志中的 LSN
吮龄,則會從 checkpoint
開始恢復(fù)絮吵。
還有一種情況,在宕機前正處于checkpoint
的刷盤過程锡足,且數(shù)據(jù)頁的刷盤進度超過了日志頁的刷盤進度波丰,此時會出現(xiàn)數(shù)據(jù)頁中記錄的 LSN
大于日志中的 LSN
,這時超出日志進度的部分將不會重做舶得,因為這本身就表示已經(jīng)做過的事情掰烟,無需再重做。
redo log與binlog區(qū)別
由 binlog
和 redo log
的區(qū)別可知:binlog
日志只用于歸檔沐批,只依靠 binlog
是沒有 crash-safe
能力的纫骑。
但只有 redo log
也不行,因為 redo log
是 InnoDB
特有的珠插,且日志上的記錄落盤后會被覆蓋掉惧磺。因此需要 binlog
和 redo log
二者同時記錄,才能保證當(dāng)數(shù)據(jù)庫發(fā)生宕機重啟時捻撑,數(shù)據(jù)不會丟失磨隘。
undo log
數(shù)據(jù)庫事務(wù)四大特性中有一個是 原子性 ,具體來說就是 原子性是指對數(shù)據(jù)庫的一系列操作顾患,要么全部成功番捂,要么全部失敗,不可能出現(xiàn)部分成功的情況江解。
實際上设预, 原子性 底層就是通過 undo log
實現(xiàn)的。undo log
主要記錄了數(shù)據(jù)的邏輯變化犁河,比如一條 INSERT
語句鳖枕,對應(yīng)一條DELETE
的 undo log
魄梯,對于每個 UPDATE
語句,對應(yīng)一條相反的 UPDATE
的 undo log
宾符,這樣在發(fā)生錯誤時酿秸,就能回滾到事務(wù)之前的數(shù)據(jù)狀態(tài)。
同時魏烫, undo log
也是 MVCC
(多版本并發(fā)控制)實現(xiàn)的關(guān)鍵辣苏。