必須了解的mysql三大日志-binlog、redo log和undo log

日志是 mysql 數(shù)據(jù)庫的重要組成部分谣拣,記錄著數(shù)據(jù)庫運行期間各種狀態(tài)信息募寨。mysql日志主要包括錯誤日志、查詢?nèi)罩旧⒙樵內(nèi)罩景斡ァ⑹聞?wù)日志、二進制日志幾大類贵涵。

作為開發(fā)列肢,我們重點需要關(guān)注的是二進制日志( binlog )和事務(wù)日志(包括redo logundo log ),本文接下來會詳細介紹這三種日志宾茂。

binlog

binlog 用于記錄數(shù)據(jù)庫執(zhí)行的寫入性操作(不包括查詢)信息瓷马,以二進制的形式保存在磁盤中。binlogmysql的邏輯日志跨晴,并且由 Server 層進行記錄欧聘,使用任何存儲引擎的 mysql 數(shù)據(jù)庫都會記錄 binlog 日志。

  • 邏輯日志:可以簡單理解為記錄的就是sql語句 坟奥。

  • 物理日志mysql 數(shù)據(jù)最終是保存在數(shù)據(jù)頁中的树瞭,物理日志記錄的就是數(shù)據(jù)頁變更 。

binlog 是通過追加的方式進行寫入的爱谁,可以通過max_binlog_size 參數(shù)設(shè)置每個 binlog文件的大小,當(dāng)文件大小達到給定值之后孝偎,會生成新的文件來保存日志访敌。

binlog使用場景

在實際應(yīng)用中, binlog 的主要使用場景有兩個衣盾,分別是 主從復(fù)制數(shù)據(jù)恢復(fù) 寺旺。

  1. 主從復(fù)制 :在 Master 端開啟 binlog ,然后將 binlog發(fā)送到各個 Slave 端势决, Slave 端重放 binlog 從而達到主從數(shù)據(jù)一致阻塑。

  2. 數(shù)據(jù)恢復(fù) :通過使用 mysqlbinlog 工具來恢復(fù)數(shù)據(jù)。

binlog刷盤時機

對于 InnoDB 存儲引擎而言果复,只有在事務(wù)提交時才會記錄biglog 陈莽,此時記錄還在內(nèi)存中,那么 biglog是什么時候刷到磁盤中的呢?

mysql 通過 sync_binlog 參數(shù)控制 biglog 的刷盤時機走搁,取值范圍是 0-N

  • 0:不去強制要求独柑,由系統(tǒng)自行判斷何時寫入磁盤;

  • 1:每次 commit 的時候都要將 binlog 寫入磁盤私植;

  • N:每N個事務(wù)忌栅,才會將 binlog 寫入磁盤。

從上面可以看出曲稼, sync_binlog 最安全的是設(shè)置是 1 索绪,這也是MySQL 5.7.7之后版本的默認值。但是設(shè)置一個大一些的值可以提升數(shù)據(jù)庫性能贫悄,因此實際情況下也可以將值適當(dāng)調(diào)大者春,犧牲一定的一致性來獲取更好的性能。

binlog日志格式

binlog 日志有三種格式清女,分別為 STATMENT 钱烟、 ROWMIXED

MySQL 5.7.7 之前嫡丙,默認的格式是 STATEMENT 拴袭, MySQL 5.7.7 之后,默認值是 ROW曙博。日志格式通過 binlog-format 指定拥刻。

  • STATMENT:基于SQL 語句的復(fù)制( statement-based replication, SBR ),每一條會修改數(shù)據(jù)的sql語句會記錄到binlog 中 父泳。
  • 優(yōu)點:不需要記錄每一行的變化般哼,減少了 binlog 日志量,節(jié)約了 IO , 從而提高了性能惠窄;

  • 缺點:在某些情況下會導(dǎo)致主從數(shù)據(jù)不一致杆融,比如執(zhí)行sysdate() 、 slepp() 等 蒋腮。

  • ROW:基于行的復(fù)制(row-based replication, RBR ),不記錄每條sql語句的上下文信息作彤,僅需記錄哪條數(shù)據(jù)被修改了 。
  • 優(yōu)點:不會出現(xiàn)某些特定情況下的存儲過程瓣距、或function蹈丸、或trigger的調(diào)用和觸發(fā)無法被正確復(fù)制的問題 逻杖;

  • 缺點:會產(chǎn)生大量的日志,尤其是alter table 的時候會讓日志暴漲

  • MIXED:基于STATMENTROW 兩種模式的混合復(fù)制(mixed-based replication, MBR )够话,一般的復(fù)制使用STATEMENT 模式保存 binlog 女嘲,對于 STATEMENT 模式無法復(fù)制的操作使用 ROW 模式保存 binlog

redo log

為什么需要redo log

我們都知道欣尼,事務(wù)的四大特性里面有一個是 持久性 停蕉,具體來說就是只要事務(wù)提交成功愕鼓,那么對數(shù)據(jù)庫做的修改就被永久保存下來了,不可能因為任何原因再回到原來的狀態(tài) 慧起。

那么 mysql是如何保證一致性的呢菇晃?

最簡單的做法是在每次事務(wù)提交的時候,將該事務(wù)涉及修改的數(shù)據(jù)頁全部刷新到磁盤中完慧。但是這么做會有嚴重的性能問題谋旦,主要體現(xiàn)在兩個方面:

  1. 因為 Innodb 是以 為單位進行磁盤交互的,而一個事務(wù)很可能只修改一個數(shù)據(jù)頁里面的幾個字節(jié)屈尼,這個時候?qū)⑼暾臄?shù)據(jù)頁刷到磁盤的話脾歧,太浪費資源了演熟!

  2. 一個事務(wù)可能涉及修改多個數(shù)據(jù)頁鞭执,并且這些數(shù)據(jù)頁在物理上并不連續(xù)司顿,使用隨機IO寫入性能太差钦奋!

因此 mysql 設(shè)計了 redo log 捍岳, 具體來說就是只記錄事務(wù)對數(shù)據(jù)頁做了哪些修改泞坦,這樣就能完美地解決性能問題了(相對而言文件更小并且是順序IO)锣险。

redo log基本概念

redo log 包括兩部分:一個是內(nèi)存中的日志緩沖( redo log buffer )油吭,另一個是磁盤上的日志文件( redo logfile)类咧。

mysql 每執(zhí)行一條 DML 語句,先將記錄寫入 redo log buffer,后續(xù)某個時間點再一次性將多個操作記錄寫到 redo log file血巍。這種 先寫日志萧锉,再寫磁盤 的技術(shù)就是 MySQL
里經(jīng)常說到的 WAL(Write-Ahead Logging) 技術(shù)柿隙。

在計算機操作系統(tǒng)中鲫凶,用戶空間( user space )下的緩沖區(qū)數(shù)據(jù)一般情況下是無法直接寫入磁盤的,中間必須經(jīng)過操作系統(tǒng)內(nèi)核空間( kernel space )緩沖區(qū)( OS Buffer )螟炫。

因此波附, redo log buffer 寫入 redo logfile 實際上是先寫入 OS Buffer ,然后再通過系統(tǒng)調(diào)用 fsync() 將其刷到 redo log file
中昼钻,過程如下:

image

mysql 支持三種將 redo log buffer 寫入 redo log file 的時機掸屡,可以通過 innodb_flush_log_at_trx_commit 參數(shù)配置,各參數(shù)值含義如下:

image
image

redo log記錄形式

前面說過然评, redo log 實際上記錄數(shù)據(jù)頁的變更仅财,而這種變更記錄是沒必要全部保存,因此 redo log實現(xiàn)上采用了大小固定碗淌,循環(huán)寫入的方式盏求,當(dāng)寫到結(jié)尾時,會回到開頭循環(huán)寫日志亿眠。如下圖:

image

同時我們很容易得知碎罚, 在innodb中,既有redo log 需要刷盤纳像,還有 數(shù)據(jù)頁 也需要刷盤魂莫, redo log存在的意義主要就是降低對 數(shù)據(jù)頁 刷盤的要求 ** 。

在上圖中爹耗, write pos 表示 redo log 當(dāng)前記錄的 LSN (邏輯序列號)位置耙考, check point 表示 數(shù)據(jù)頁更改記錄 刷盤后對應(yīng) redo log 所處的 LSN(邏輯序列號)位置。

write poscheck point 之間的部分是 redo log 空著的部分潭兽,用于記錄新的記錄倦始;check pointwrite pos 之間是 redo log 待落盤的數(shù)據(jù)頁更改記錄。當(dāng) write pos追上check point 時山卦,會先推動 check point 向前移動鞋邑,空出位置再記錄新的日志。

啟動 innodb 的時候账蓉,不管上次是正常關(guān)閉還是異常關(guān)閉诺凡,總是會進行恢復(fù)操作擅笔。因為 redo log記錄的是數(shù)據(jù)頁的物理變化,因此恢復(fù)的時候速度比邏輯日志(如 binlog )要快很多。

重啟innodb 時钟鸵,首先會檢查磁盤中數(shù)據(jù)頁的 LSN ,如果數(shù)據(jù)頁的LSN 小于日志中的 LSN 吮龄,則會從 checkpoint 開始恢復(fù)絮吵。

還有一種情況,在宕機前正處于checkpoint 的刷盤過程锡足,且數(shù)據(jù)頁的刷盤進度超過了日志頁的刷盤進度波丰,此時會出現(xiàn)數(shù)據(jù)頁中記錄的 LSN 大于日志中的 LSN,這時超出日志進度的部分將不會重做舶得,因為這本身就表示已經(jīng)做過的事情掰烟,無需再重做。

redo log與binlog區(qū)別

image

binlogredo log 的區(qū)別可知:binlog 日志只用于歸檔沐批,只依靠 binlog 是沒有 crash-safe 能力的纫骑。

但只有 redo log 也不行,因為 redo logInnoDB特有的珠插,且日志上的記錄落盤后會被覆蓋掉惧磺。因此需要 binlogredo log二者同時記錄,才能保證當(dāng)數(shù)據(jù)庫發(fā)生宕機重啟時捻撑,數(shù)據(jù)不會丟失磨隘。

undo log

數(shù)據(jù)庫事務(wù)四大特性中有一個是 原子性 ,具體來說就是 原子性是指對數(shù)據(jù)庫的一系列操作顾患,要么全部成功番捂,要么全部失敗,不可能出現(xiàn)部分成功的情況江解。

實際上设预, 原子性 底層就是通過 undo log 實現(xiàn)的。undo log主要記錄了數(shù)據(jù)的邏輯變化犁河,比如一條 INSERT 語句鳖枕,對應(yīng)一條DELETEundo log 魄梯,對于每個 UPDATE 語句,對應(yīng)一條相反的 UPDATEundo log 宾符,這樣在發(fā)生錯誤時酿秸,就能回滾到事務(wù)之前的數(shù)據(jù)狀態(tài)。

同時魏烫, undo log 也是 MVCC(多版本并發(fā)控制)實現(xiàn)的關(guān)鍵辣苏。

?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
  • 序言:七十年代末,一起剝皮案震驚了整個濱河市哄褒,隨后出現(xiàn)的幾起案子稀蟋,更是在濱河造成了極大的恐慌,老刑警劉巖呐赡,帶你破解...
    沈念sama閱讀 216,919評論 6 502
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件退客,死亡現(xiàn)場離奇詭異,居然都是意外死亡罚舱,警方通過查閱死者的電腦和手機井辜,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 92,567評論 3 392
  • 文/潘曉璐 我一進店門,熙熙樓的掌柜王于貴愁眉苦臉地迎上來管闷,“玉大人粥脚,你說我怎么就攤上這事“觯” “怎么了刷允?”我有些...
    開封第一講書人閱讀 163,316評論 0 353
  • 文/不壞的土叔 我叫張陵,是天一觀的道長碧囊。 經(jīng)常有香客問我树灶,道長,這世上最難降的妖魔是什么糯而? 我笑而不...
    開封第一講書人閱讀 58,294評論 1 292
  • 正文 為了忘掉前任天通,我火速辦了婚禮,結(jié)果婚禮上熄驼,老公的妹妹穿的比我還像新娘像寒。我一直安慰自己,他們只是感情好瓜贾,可當(dāng)我...
    茶點故事閱讀 67,318評論 6 390
  • 文/花漫 我一把揭開白布诺祸。 她就那樣靜靜地躺著,像睡著了一般祭芦。 火紅的嫁衣襯著肌膚如雪筷笨。 梳的紋絲不亂的頭發(fā)上,一...
    開封第一講書人閱讀 51,245評論 1 299
  • 那天,我揣著相機與錄音胃夏,去河邊找鬼轴或。 笑死,一個胖子當(dāng)著我的面吹牛构订,可吹牛的內(nèi)容都是我干的侮叮。 我是一名探鬼主播,決...
    沈念sama閱讀 40,120評論 3 418
  • 文/蒼蘭香墨 我猛地睜開眼悼瘾,長吁一口氣:“原來是場噩夢啊……” “哼!你這毒婦竟也來了审胸?” 一聲冷哼從身側(cè)響起亥宿,我...
    開封第一講書人閱讀 38,964評論 0 275
  • 序言:老撾萬榮一對情侶失蹤,失蹤者是張志新(化名)和其女友劉穎砂沛,沒想到半個月后烫扼,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體,經(jīng)...
    沈念sama閱讀 45,376評論 1 313
  • 正文 獨居荒郊野嶺守林人離奇死亡碍庵,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點故事閱讀 37,592評論 2 333
  • 正文 我和宋清朗相戀三年映企,在試婚紗的時候發(fā)現(xiàn)自己被綠了。 大學(xué)時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片静浴。...
    茶點故事閱讀 39,764評論 1 348
  • 序言:一個原本活蹦亂跳的男人離奇死亡堰氓,死狀恐怖,靈堂內(nèi)的尸體忽然破棺而出苹享,到底是詐尸還是另有隱情双絮,我是刑警寧澤,帶...
    沈念sama閱讀 35,460評論 5 344
  • 正文 年R本政府宣布得问,位于F島的核電站囤攀,受9級特大地震影響,放射性物質(zhì)發(fā)生泄漏宫纬。R本人自食惡果不足惜焚挠,卻給世界環(huán)境...
    茶點故事閱讀 41,070評論 3 327
  • 文/蒙蒙 一、第九天 我趴在偏房一處隱蔽的房頂上張望漓骚。 院中可真熱鬧蝌衔,春花似錦、人聲如沸认境。這莊子的主人今日做“春日...
    開封第一講書人閱讀 31,697評論 0 22
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽叉信。三九已至亩冬,卻和暖如春,著一層夾襖步出監(jiān)牢的瞬間,已是汗流浹背硅急。 一陣腳步聲響...
    開封第一講書人閱讀 32,846評論 1 269
  • 我被黑心中介騙來泰國打工覆享, 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留,地道東北人营袜。 一個月前我還...
    沈念sama閱讀 47,819評論 2 370
  • 正文 我出身青樓撒顿,卻偏偏與公主長得像,于是被迫代替她去往敵國和親荚板。 傳聞我的和親對象是個殘疾皇子凤壁,可洞房花燭夜當(dāng)晚...
    茶點故事閱讀 44,665評論 2 354

推薦閱讀更多精彩內(nèi)容