MySQL主從復(fù)制是邏輯復(fù)制譬涡,基于Binlog進(jìn)行主從數(shù)據(jù)傳輸合蔽,MySQL提供了豐富的參數(shù)來(lái)配置主從復(fù)制過濾條件怀骤。在主庫(kù)可以設(shè)置對(duì)于庫(kù)的數(shù)據(jù)寫入是否寫入binlog费封,在從庫(kù)可以設(shè)置對(duì)某些庫(kù)或者表的binlog是否忽略。本文將簡(jiǎn)單描述MySQL主從復(fù)制過濾的相關(guān)參數(shù)和常見用法蒋伦。
原文地址:
https://mytecdb.com/blogDetail.php?id=88
- MySQL版本:5.7.19
- binlog_format:ROW
1. 是否寫入binlog
MySQL通過以下兩個(gè)參數(shù)來(lái)控制某些庫(kù)是否寫入binlog弓摘。
- --binlog-do-db=db_name
- --binlog-ignore-db=db_name
--binlog-do-db 指定的庫(kù)名,其內(nèi)部表數(shù)據(jù)修改都會(huì)寫入binlog痕届。
--binlog-ignore-db 指定的庫(kù)名韧献,其內(nèi)部表數(shù)據(jù)修改將不會(huì)寫入binlog。
這兩個(gè)參數(shù)修改需要重啟MySQL研叫,無(wú)法動(dòng)態(tài)修改锤窑,另外在show global variables 的結(jié)果中也無(wú)法顯示這兩個(gè)參數(shù)。
2. SQL線程過濾日志
從庫(kù)復(fù)制的SQL線程從relay log里讀日志嚷炉,并應(yīng)用日志渊啰,通過設(shè)置如下參數(shù),可以控制SQL線程根據(jù)庫(kù)名或表名過濾日志申屹。
- --replicate-ignore-db=db_name
- --replicate-ignore-table=db_name.tbl_name
- --replicate-do-db=db_name
- --replicate-do-table=db_name.tbl_name
- --replicate-wild-do-table=db_name.tbl_name
- --replicate-wild-ignore-table=db_name.tbl_name
- --replicate-rewrite-db=from_name->to_name
--replicate-ignore-db 忽略某些庫(kù)的binlog 日志應(yīng)用绘证。
--replicate-ignore-table 忽略某些表的binlog 日志應(yīng)用。
--replicate-do-db 應(yīng)用某些庫(kù)的binlog 日志哗讥。
--replicate-do-table 應(yīng)用某些表的binlog 日志嚷那。
--replicate-wild-do-table 使用通配符來(lái)匹配那些應(yīng)用binlog日志的表。
--replicate-wild-ignore-table 使用通配符來(lái)匹配那些不能應(yīng)用binlog日志的表杆煞。
--replicate-rewrite-db魏宽,能夠?qū)崿F(xiàn)主庫(kù)與從庫(kù)數(shù)據(jù)庫(kù)名稱不同的復(fù)制腐泻,比如主庫(kù)數(shù)據(jù)庫(kù)名為A,從庫(kù)數(shù)據(jù)庫(kù)名為B湖员,實(shí)現(xiàn)主庫(kù)A到從庫(kù)B的復(fù)制贫悄。
以上這些參數(shù)同樣不能動(dòng)態(tài)修改,需要重啟MySQL生效娘摔。在show global variables 的結(jié)果中也無(wú)法顯示這些參數(shù)窄坦。
動(dòng)態(tài)設(shè)置過濾條件:
MySQL提供了另外一種動(dòng)態(tài)設(shè)置從庫(kù)的復(fù)制過濾條件的方式,CHANGE REPLICATION FILTER 語(yǔ)法凳寺,設(shè)置前先停止復(fù)制的SQL線程鸭津,設(shè)置完成后,再開啟SQL線程肠缨。具體語(yǔ)法如下:
CHANGE REPLICATION FILTER filter [, filter][, ...]
filter:
REPLICATE_DO_DB = (db_list)
| REPLICATE_IGNORE_DB = (db_list)
| REPLICATE_DO_TABLE = (tbl_list)
| REPLICATE_IGNORE_TABLE = (tbl_list)
| REPLICATE_WILD_DO_TABLE = (wild_tbl_list)
| REPLICATE_WILD_IGNORE_TABLE = (wild_tbl_list)
| REPLICATE_REWRITE_DB = (db_pair_list)
db_list:
db_name[, db_name][, ...]
tbl_list:
db_name.table_name[, db_table_name][, ...]
wild_tbl_list:
'db_pattern.table_pattern'[, 'db_pattern.table_pattern'][, ...]
db_pair_list:
(db_pair)[, (db_pair)][, ...]
db_pair:
from_db, to_db
比如逆趋,下面只復(fù)制庫(kù)名為db1和db2中的表:
CHANGE REPLICATION FILTER REPLICATE_DO_DB = (db1, db2);
比如,下面同步db1.t1開頭的表晒奕,過濾db1.t2開頭的表
CHANGE REPLICATION FILTER
REPLICATE_WILD_DO_TABLE = ('db1.t1%'),
REPLICATE_WILD_IGNORE_TABLE = ('db1.t2%');
關(guān)于復(fù)制過濾闻书,有幾點(diǎn)需要額外注意:
(1)如果一個(gè)binlog事務(wù)里有多個(gè)SQL,其中涉及到過濾庫(kù)名或者表名的SQL將被過濾脑慧,不涉及到的則仍然執(zhí)行魄眉。舉例如下:
比如主庫(kù)執(zhí)行:
begin;
insert into db1.tb1 values(1);
insert into db2.tb2 values(2);
commit;
從庫(kù)設(shè)置
CHANGE REPLICATION FILTER REPLICATE_IGNORE_DB = (db1);
從庫(kù)執(zhí)行的事務(wù)變成如下:
begin;
insert into db2.tb2 values(2);
commit;
(2)如果事務(wù)中的所有SQL都是被過濾的,那么從庫(kù)就會(huì)變成執(zhí)行一個(gè)空事務(wù)闷袒。
比如主庫(kù)執(zhí)行:
begin;
insert into db1.tb1 values(1);
insert into db1.tb2 values(2);
commit;
從庫(kù)設(shè)置
CHANGE REPLICATION FILTER REPLICATE_IGNORE_DB = (db1);
從庫(kù)執(zhí)行的事務(wù)變成如下:
begin;
commit;
(3)過濾是全局設(shè)置的坑律,如果使用channel多通道復(fù)制,那么所有通道的復(fù)制過濾都是一樣的囊骤。MySQL 8.0 對(duì)這個(gè)問題進(jìn)行了改進(jìn)晃择,能夠?qū)δ硞€(gè)通道單獨(dú)指定復(fù)制過濾規(guī)則。
3. binlog_format為statement
對(duì)于binlog格式為statement時(shí)也物,過濾db的邏輯與row格式不太一樣宫屠,判斷sql是否屬于某個(gè)db,與use db相關(guān)滑蚯。比如下面這個(gè)例子浪蹂,目的是想要將涉及db1的SQL不寫入binlog,結(jié)果卻與預(yù)想不一樣膘魄。
設(shè)置:
--binlog-ignore-db=db1
執(zhí)行SQL:
use db2;
update db1.tb set name='123' where id=1;
對(duì)db1中的表做了修改乌逐,該修改本來(lái)是想忽略,不記錄binlog创葡,但結(jié)果仍然記錄在binlog里浙踢,原因就是use db2導(dǎo)致。