Mysql日志.png
二進制日志
binlog
事務日志
redo log
undo log
binlog
binlog用于記錄數(shù)據(jù)庫執(zhí)行的寫入性操作(不包括查詢)信息实撒，以二進制的形式保存在磁盤中允乐。binlog是mysql的邏輯日志，并且由Server層進行記錄碘饼，使用任何存儲引擎的mysql數(shù)據(jù)庫都會記錄binlog日志。
- 邏輯日志：可以簡單理解為記錄的就是sql語句摆尝。
- 物理日志：因為mysql數(shù)據(jù)最終是保存在數(shù)據(jù)頁中的笆环，物理日志記錄的就是數(shù)據(jù)頁變更。
binlog是通過追加的方式進行寫入的嘶居，可以通過max_binlog_size參數(shù)設置每個binlog文件的大小罪帖，當文件大小達到給定值之后，會生成新的文件來保存日志食听。
binlog使用場景
在實際應用中胸蛛，binlog的主要使用場景有兩個，分別是主從復制和數(shù)據(jù)恢復樱报。
- 主從復制：在Master端開啟binlog，然后將binlog發(fā)送到各個Slave端泞当，Slave端重放binlog從而達到主從數(shù)據(jù)一致迹蛤。
- 數(shù)據(jù)恢復：通過使用mysqlbinlog工具來恢復數(shù)據(jù)。
binlog刷盤時機
對于InnoDB存儲引擎而言襟士，只有在事務提交時才會記錄binlog盗飒，此時記錄還在內(nèi)存中，那么binlog是什么時候刷到磁盤中的呢陋桂？mysql通過sync_binlog參數(shù)控制binlog的刷盤時機逆趣，取值范圍是0-N：
- 0：不去強制要求，由系統(tǒng)自行判斷何時寫入磁盤嗜历；
- 1：每次commit的時候都要將binlog寫入磁盤宣渗；
- N：每N個事務抖所，才會將binlog寫入磁盤。
從上面可以看出痕囱，sync_binlog最安全的是設置是1田轧，這也是MySQL 5.7.7之后版本的默認值。但是設置一個大一些的值可以提升數(shù)據(jù)庫性能鞍恢，因此實際情況下也可以將值適當調(diào)大傻粘，犧牲一定的一致性來獲取更好的性能。
binlog日志格式
binlog日志有三種格式帮掉，分別為STATMENT弦悉、ROW和MIXED。
在 MySQL 5.7.7之前蟆炊，默認的格式是STATEMENT稽莉，MySQL 5.7.7之后，默認值是ROW盅称。日志格式通過binlog-format指定肩祥。
STATMENT基于SQL語句的復制(statement-based replication, SBR)，每一條會修改數(shù)據(jù)的sql語句會記錄到binlog中缩膝。
- 優(yōu)點：不需要記錄每一行的變化混狠，減少了binlog日志量，節(jié)約了IO, 從而提高了性能疾层；
- 缺點：在某些情況下會導致主從數(shù)據(jù)不一致将饺，比如執(zhí)行sysdate()、slepp()等痛黎。
ROW基于行的復制(row-based replication, RBR)予弧，不記錄每條sql語句的上下文信息，僅需記錄哪條數(shù)據(jù)被修改了湖饱。
- 優(yōu)點：不會出現(xiàn)某些特定情況下的存儲過程掖蛤、或function、或trigger的調(diào)用和觸發(fā)無法被正確復制的問題井厌；
- 缺點：會產(chǎn)生大量的日志蚓庭，尤其是alter table的時候會讓日志暴漲
MIXED基于STATMENT和ROW兩種模式的混合復制(mixed-based replication, MBR)，一般的復制使用STATEMENT模式保存binlog仅仆，對于STATEMENT模式無法復制的操作使用ROW模式保存binlog
為什么需要redo log
我們都知道器赞，事務的四大特性里面有一個是持久性，具體來說就是只要事務提交成功墓拜，那么對數(shù)據(jù)庫做的修改就被永久保存下來了港柜，不可能因為任何原因再回到原來的狀態(tài)。那么mysql是如何保證一致性的呢咳榜？最簡單的做法是在每次事務提交的時候夏醉，將該事務涉及修改的數(shù)據(jù)頁全部刷新到磁盤中爽锥。但是這么做會有嚴重的性能問題，主要體現(xiàn)在兩個方面：
- 因為Innodb是以頁為單位進行磁盤交互的授舟，而一個事務很可能只修改一個數(shù)據(jù)頁里面的幾個字節(jié)救恨，這個時候?qū)⑼暾臄?shù)據(jù)頁刷到磁盤的話，太浪費資源了释树！
- 一個事務可能涉及修改多個數(shù)據(jù)頁肠槽，并且這些數(shù)據(jù)頁在物理上并不連續(xù)，使用隨機IO寫入性能太差奢啥！
因此mysql設計了redo log秸仙，具體來說就是只記錄事務對數(shù)據(jù)頁做了哪些修改，這樣就能完美地解決性能問題了(相對而言文件更小并且是順序IO)桩盲。
redo log包括兩部分：一個是內(nèi)存中的日志緩沖(redo log buffer)寂纪，另一個是磁盤上的日志文件(redo log file)。mysql每執(zhí)行一條SQL語句赌结，先將記錄寫入redo log buffer捞蛋，后續(xù)某個時間點再一次性將多個操作記錄寫到redo log file。這種先寫日志柬姚，再寫磁盤的技術(shù)就是MySQL里經(jīng)常說到的WAL(Write-Ahead Logging) 技術(shù)拟杉。在計算機操作系統(tǒng)中，用戶空間(user space)下的緩沖區(qū)數(shù)據(jù)一般情況下是無法直接寫入磁盤的量承，中間必須經(jīng)過操作系統(tǒng)內(nèi)核空間(kernel space)緩沖區(qū)(OS Buffer)搬设。因此，redo log buffer寫入redo log file實際上是先寫入OS Buffer撕捍，然后再通過系統(tǒng)調(diào)用fsync()將其刷到redo log file中拿穴，過程如下：mysql支持三種將redo log buffer寫入redo log file的時機，可以通過innodb_flush_log_at_trx_commit參數(shù)配置忧风，各參數(shù)值含義如下：
前面說過默色，redo log實際上記錄數(shù)據(jù)頁的變更，而這種變更記錄是沒必要全部保存狮腿，因此redo log實現(xiàn)上采用了大小固定该窗，循環(huán)寫入的方式，當寫到結(jié)尾時蚤霞，會回到開頭循環(huán)寫日志。如下圖：redo log記錄形式
同時我們很容易得知义钉，在innodb中昧绣，既有redo log需要刷盤，還有數(shù)據(jù)頁也需要刷盤捶闸，redo log存在的意義主要就是降低對數(shù)據(jù)頁刷盤的要求夜畴。在上圖中拖刃，write pos表示redo log當前記錄的LSN(邏輯序列號)位置，check point表示數(shù)據(jù)頁更改記錄刷盤后對應redo log所處的LSN(邏輯序列號)位置贪绘。write pos到check point之間的部分是redo log空著的部分兑牡，用于記錄新的記錄；check point到write pos之間是redo log待落盤的數(shù)據(jù)頁更改記錄税灌。當write pos追上check point時均函，會先推動check point向前移動，空出位置再記錄新的日志菱涤。啟動innodb的時候苞也，不管上次是正常關(guān)閉還是異常關(guān)閉，總是會進行恢復操作粘秆。因為redo log記錄的是數(shù)據(jù)頁的物理變化如迟，因此恢復的時候速度比邏輯日志(如binlog)要快很多。重啟innodb時攻走，首先會檢查磁盤中數(shù)據(jù)頁的LSN殷勘，如果數(shù)據(jù)頁的LSN小于日志中的LSN，則會從checkpoint開始恢復昔搂。還有一種情況玲销，在宕機前正處于checkpoint的刷盤過程，且數(shù)據(jù)頁的刷盤進度超過了日志頁的刷盤進度巩趁，此時會出現(xiàn)數(shù)據(jù)頁中記錄的LSN大于日志中的LSN痒玩，這時超出日志進度的部分將不會重做，因為這本身就表示已經(jīng)做過的事情议慰，無需再重做蠢古。
redo log與binlog區(qū)別
由binlog和redo log的區(qū)別可知：binlog日志只用于歸檔，只依靠binlog是沒有crash-safe能力的别凹。但只有redo log也不行草讶，因為redo log是InnoDB特有的，且日志上的記錄落盤后會被覆蓋掉炉菲。因此需要binlog和redo log二者同時記錄堕战，才能保證當數(shù)據(jù)庫發(fā)生宕機重啟時，數(shù)據(jù)不會丟失拍霜。
undo log
undo log數(shù)據(jù)庫事務四大特性中有一個是原子性嘱丢，具體來說就是 原子性是指對數(shù)據(jù)庫的一系列操作，要么全部成功祠饺，要么全部失敗越驻，不可能出現(xiàn)部分成功的情況。實際上，原子性底層就是通過undo log實現(xiàn)的缀旁。undo log主要記錄了數(shù)據(jù)的邏輯變化记劈，比如一條INSERT語句，對應一條DELETE的undo log并巍，對于每個UPDATE語句目木，對應一條相反的UPDATE的undo log，這樣在發(fā)生錯誤時懊渡，就能回滾到事務之前的數(shù)據(jù)狀態(tài)刽射。
