再深入一點|binlog和relay-log到底長啥樣？

上一篇mysql面試的文章之后收到不少朋友的意見健盒，希望深入講講復(fù)制绒瘦、日志的格式這些，今天扣癣，我們就來深挖一下mysql的復(fù)制機制到底有哪一些惰帽，以及binlog和relay-log的結(jié)構(gòu)到底是什么樣子的。

binlog作用

binlog的主要作用是記錄數(shù)據(jù)庫中表的更改父虑，它只記錄改變數(shù)據(jù)的sql该酗，不改變數(shù)據(jù)的sql不會寫入，比如select語句一般不會被記錄士嚎，因為他們不會對數(shù)據(jù)產(chǎn)生任何改動呜魄。

用一個實際的場景看下binlog產(chǎn)生的過程莱衩，準(zhǔn)備sql：

create table    test(text varchar(20));
insert into test values ('test_text');
select * from test;
flush logs;

查看binlog

show binlog events in 'binlog.000029';

顯示的結(jié)果如下：

binlog

另外爵嗅，也可以使用mysqlbinlog工具來查看binlog的內(nèi)容：

show variables like 'log_%'; #查看日志目錄
mysqlbinlog --short-form --force-if-open --base64-output=never /usr/local/var/mysql/binlog.000029

image

從日志我們可以看到執(zhí)行了創(chuàng)建表的語句以及一個Format_desc頭和Ratate輪換事件，這個我們會在后面講到笨蚁，先看幾個字段代表的含義睹晒。

Log_name代表日志文件的名稱，比如我這里的查詢是直接查詢binlog.000029括细，默認(rèn)的寫法是show binlog events伪很，但是這樣只會查詢到第一個binlog，并不是當(dāng)前激活狀態(tài)的binlog奋单，如果你不知道binlog有哪些锉试，可以用命令:

show binary logs; #查看binlog列表
show master status; #查看最新的binlog

image

Pos代表文件開始的位置。

Event_type代表事件的類型览濒。

Server_id是創(chuàng)建事件的服務(wù)器ID呆盖。

End_log_pos代表事件在文件中的結(jié)束位置，以上面為例匾七，第一次查詢的結(jié)束位置是723絮短，第二次insert之后文件的開始位置就是從723開始。

Info代表事件信息昨忆，是一段可讀的文本內(nèi)容丁频。

binlog日志結(jié)構(gòu)

binlog日志的結(jié)構(gòu)大概是長這樣的，它由索引文件和binlog文件組成邑贴，其中binlog事件又包含通用頭席里、提交頭和事件體3個部分組成。

image

首先說說索引文件拢驾，索引文件的每一行都包含了一個binlog文件的完整文件名(類似host-bin.001)奖磁，一些命令比如flush logs將所有日志寫入磁盤會影響到索引文件。

每個binlog文件以若干個binlog事件組成繁疤，以格式描述事件(Format_description)作為文件頭(上面的binlog圖片F(xiàn)ormat_desc事件)咖为，以日志輪換事件(rotate)作為文件尾秕狰。

Format_description包含binlog文件的服務(wù)器信息、文件狀態(tài)的關(guān)鍵信息等躁染。如果服務(wù)器關(guān)閉或者重啟鸣哀，則會創(chuàng)建一個新的binlog文件，同時寫入一個新的format_description吞彤。他的格式大致如下我衬。

2                binlog-version
string[50]       mysql-server version
4                create timestamp
1                event header length
string[p]        event type header lengths

日志輪換事件則包含下一個binlog的文件名以及開始讀取的位置，它由服務(wù)器寫完binlog后添加到文件尾饰恕，輪換事件并不會每次都存在挠羔，格式如下。

if binlog-version > 1 {
8              position
}
string[p]      name of the next binlog

binlog事件包含若干個事務(wù)組成的組(group)埋嵌，每個組對應(yīng)一個事務(wù)破加，如果是create alter語句不屬于事務(wù)語句的話，則他們本身就是一個組莉恼，每個組要么全部執(zhí)行拌喉，要么都不執(zhí)行。

image

binlog事件結(jié)構(gòu)

每個binlog事件由3個部分組成：

通用頭俐银，包含binlog中所有事件具備的基本信息尿背。
提交頭，對于不同類型的事件來說捶惜，提交頭的內(nèi)容也不盡相同
事件體田藐，存儲事件的主要數(shù)據(jù)，同樣對于不同類型事件也不同吱七。

binlog輪換和清理

從上面的例子我們也可以看出來汽久，binlog并非只有一個，而基于真實的場景來說踊餐，始終寫一個binlog文件肯定也是不可取的景醇，而binlog輪換主要有3個場景：

服務(wù)器啟動，每次服務(wù)器啟動都會生成一個新的binlog文件吝岭。
達(dá)到最大大小三痰，可以通過binlog-cache-size控制大小，達(dá)到最大大小后將更換窜管。
顯示刷新散劫，flush logs將所有日志寫入磁盤，這時候會創(chuàng)建一個新的文件寫入幕帆，從第一個例子也能看出來執(zhí)行完之后生成了一個新的日志binlog.000030的文件并且開始的位置是4获搏。