更多MySQL 技術(shù)交流請加群:428322170
1恬试、復(fù)制概述
1.1抱怔、復(fù)制解決的問題數(shù)據(jù)復(fù)制技術(shù)有以下一些特點(diǎn):
(1) 數(shù)據(jù)分布
(2) 負(fù)載平衡(load balancing)
(3) 備份
(4) 高可用性(high availability)和容錯
1.2、復(fù)制如何工作從高層來看瞭稼,復(fù)制分成三步:
(1) master將改變記錄到二進(jìn)制日志(binary log)中(這些記錄叫做二進(jìn)制日志事件,binary log events);
(2) slave將master的binary log events拷貝到它的中繼日志(relay log)裁良;
(3) slave重做中繼日志中的事件,將改變反映它自己的數(shù)據(jù)校套。
下圖描述了這一過程:
該過程的第一部分就是master記錄二進(jìn)制日志价脾。在每個(gè)事務(wù)更新數(shù)據(jù)完成之前,master在二日志記錄這些改變笛匙。MySQL將事務(wù)串行的寫入二進(jìn)制日志侨把,即使事務(wù)中的語句都是交叉執(zhí)行的犀变。在事件寫入二進(jìn)制日志完成后,master通知存儲引擎提交事務(wù)秋柄。下一步就是slave將master的binary log拷貝到它自己的中繼日志获枝。首先,slave開始一個(gè)工作線程——I/O線程骇笔。I/O線程在master上打開一個(gè)普通的連接省店,然后開始binlog dump process。Binlog dump process從master的二進(jìn)制日志中讀取事件蜘拉,如果已經(jīng)跟上master萨西,它會睡眠并等待master產(chǎn)生新的事件。I/O線程將這些事件寫入中繼日志旭旭。SQL slave thread處理該過程的最后一步谎脯。SQL線程從中繼日志讀取事件,更新slave的數(shù)據(jù)持寄,使其與master中的數(shù)據(jù)一致源梭。只要該線程與I/O線程保持一致,中繼日志通常會位于OS的緩存中稍味,所以中繼日志的開銷很小废麻。此外,在master中也有一個(gè)工作線程:和其它MySQL的連接一樣模庐,slave在master中打開一個(gè)連接也會使得master開始一個(gè)線程烛愧。復(fù)制過程有一個(gè)很重要的限制——復(fù)制在slave上是串行化的,也就是說master上的并行更新操作不能在slave上并行操作掂碱。
2怜姿、體驗(yàn)MySQL復(fù)制MySQL開始復(fù)制是很簡單的過程,不過疼燥,根據(jù)特定的應(yīng)用場景沧卢,都會在基本的步驟上有一些變化。最簡單的場景就是一個(gè)新安裝的master和slave醉者,從高層來看但狭,整個(gè)過程如下:
(1)在每個(gè)服務(wù)器上創(chuàng)建一個(gè)復(fù)制帳號;
(2)配置master和slave撬即;
(3)Slave連接master開始復(fù)制立磁。
2.1、創(chuàng)建復(fù)制帳號每個(gè)slave使用標(biāo)準(zhǔn)的MySQL用戶名和密碼連接master搞莺。進(jìn)行復(fù)制操作的用戶會授予REPLICATION SLAVE權(quán)限息罗。用戶名的密碼都會存儲在文本文件master.info中。假如才沧,你想創(chuàng)建repl用戶迈喉,如下:mysql> GRANT REPLICATION SLAVE, REPLICATION CLIENT ON . TO repl@'192.168.140.%' IDENTIFIED BY 'repl';
2.2绍刮、配置master接下來對master進(jìn)行配置,包括打開二進(jìn)制日志挨摸,指定唯一的servr ID孩革。例如,在配置文件加入如下值:[mysqld]log-bin=mysql-binserver-id=1重啟master得运,運(yùn)行SHOW MASTER STATUS膝蜈,輸出如下:
2.3、配置slaveSlave的配置與master類似熔掺,你同樣需要重啟slave的MySQL饱搏。如下:log_bin = mysql-binserver_id = 2relay_log = mysql-relay-binlog_slave_updates = 1read_only = 1server_id是必須的,而且唯一置逻。slave沒有必要開啟二進(jìn)制日志推沸,但是在一些情況下,必須設(shè)置券坞,例如鬓催,如果slave為其它slave的master,必須設(shè)置bin_log恨锚。在這里宇驾,我們開啟了二進(jìn)制日志,而且顯示的命名(默認(rèn)名稱為hostname猴伶,但是课舍,如果hostname改變則會出現(xiàn)問題)。relay_log配置中繼日志他挎,log_slave_updates表示slave將復(fù)制事件寫進(jìn)自己的二進(jìn)制日志(后面會看到它的用處)布卡。有些人開啟了slave的二進(jìn)制日志,卻沒有設(shè)置log_slave_updates雇盖,然后查看slave的數(shù)據(jù)是否改變,這是一種錯誤的配置栖忠。所以崔挖,盡量使用read_only,它防止改變數(shù)據(jù)(除了特殊的線程)庵寞。但是狸相,read_only并是很實(shí)用,特別是那些需要在slave上創(chuàng)建表的應(yīng)用捐川。
2.4脓鹃、啟動slave
接下來就是讓slave連接master,并開始重做master二進(jìn)制日志中的事件古沥。你不應(yīng)該用配置文件進(jìn)行該操作瘸右,而應(yīng)該使用CHANGE MASTER TO語句娇跟,該語句可以完全取代對配置文件的修改,而且它可以為slave指定不同的master太颤,而不需要停止服務(wù)器苞俘。如下:
mysql> CHANGE MASTER TO MASTER_HOST='192.168.140.129',MASTER_USER='repl',MASTER_PASSWORD='repl',MASTER_LOG_FILE='mysql-bin.000001',MASTER_LOG_POS=0;
MASTER_LOG_POS的值為0,因?yàn)樗侨罩镜拈_始位置龄章。然后吃谣,你可以用SHOW SLAVE STATUS語句查看slave的設(shè)置是否正確:
mysql> SHOW SLAVE STATUS\G
*************************** 1. row ***************************
Slave_IO_State:
Master_Host: 192.168.140.129
Master_User: repl
Master_Port: 3306
Connect_Retry: 60
Master_Log_File: mysql-bin.000001
Read_Master_Log_Pos: 4
Relay_Log_File: mysql-relay-bin.000001
Relay_Log_Pos: 4
Relay_Master_Log_File: mysql-bin.000001
Slave_IO_Running: No
Slave_SQL_Running: No
...omitted...
Seconds_Behind_Master: NULL
Slave_IO_State, Slave_IO_Running, 和Slave_SQL_Running表明slave還沒有開始復(fù)制過程。日志的位置為4而不是0做裙,這是因?yàn)?只是日志文件的開始位置岗憋,并不是日志位置。實(shí)際上锚贱,MySQL知道的第一個(gè)事件的位置是4仔戈。
為了開始復(fù)制,你可以運(yùn)行:
mysql> START SLAVE;
運(yùn)行SHOW SLAVE STATUS查看輸出結(jié)果:
mysql> SHOW SLAVE STATUS\G
*************************** 1. row ***************************
Slave_IO_State: Waiting for master to send event
Master_Host: 192.168.140.129
Master_User: repl
Master_Port: 3306
Connect_Retry: 60
Master_Log_File: mysql-bin.000001
Read_Master_Log_Pos: 164
Relay_Log_File: mysql-relay-bin.000001
Relay_Log_Pos: 164
Relay_Master_Log_File: mysql-bin.000001
Slave_IO_Running: Yes
Slave_SQL_Running: Yes
...omitted...
Seconds_Behind_Master: 0
注意惋鸥,slave的I/O和SQL線程都已經(jīng)開始運(yùn)行杂穷,而且Seconds_Behind_Master不再是NULL。日志的位置增加了卦绣,意味著一些事件被獲取并執(zhí)行了耐量。如果你在master上進(jìn)行修改,你可以在slave上看到各種日志文件的位置的變化滤港,同樣廊蜒,你也可以看到數(shù)據(jù)庫中數(shù)據(jù)的變化。
你可查看master和slave上線程的狀態(tài)溅漾。在master上山叮,你可以看到slave的I/O線程創(chuàng)建的連接:
mysql> show processlist \G
*************************** 1. row ***************************
Id: 1
User: root
Host: localhost:2096
db: test
Command: Query
Time: 0
State: NULL
Info: show processlist
*************************** 2. row ***************************
Id: 2
User: repl
Host: localhost:2144
db: NULL
Command: Binlog Dump
Time: 1838
State: Has sent all binlog to slave; waiting for binlog to be updated
Info: NULL
2 rows in set (0.00 sec)
行2為處理slave的I/O線程的連接。在slave上運(yùn)行該語句:
mysql> show processlist \G
*************************** 1. row ***************************
Id: 1
User: system user
Host:
db: NULL
Command: Connect
Time: 2291
State: Waiting for master to send event
Info: NULL
*************************** 2. row ***************************
Id: 2
User: system user
Host:
db: NULL
Command: Connect
Time: 1852
State: Has read all relay log; waiting for the slave I/O thread to update it
Info: NULL
*************************** 3. row ***************************
Id: 5
User: root
Host: localhost:2152
db: test
Command: Query
Time: 0
State: NULL
Info: show processlist
3 rows in set (0.00 sec)
行1為I/O線程狀態(tài)添履,行2為SQL線程狀態(tài)屁倔。
2.5、從另一個(gè)master初始化slave前面討論的假設(shè)你是新安裝的master和slave暮胧,所以锐借,slave與master有相同的數(shù)據(jù)。但是往衷,大多數(shù)情況卻不是這樣的钞翔,例如,你的master可能已經(jīng)運(yùn)行很久了席舍,而你想對新安裝的slave進(jìn)行數(shù)據(jù)同步布轿,甚至它沒有master的數(shù)據(jù)。此時(shí),有幾種方法可以使slave從另一個(gè)服務(wù)開始汰扭,例如稠肘,從master拷貝數(shù)據(jù),從另一個(gè)slave克隆东且,從最近的備份開始一個(gè)slave启具。Slave與master同步時(shí),需要三樣?xùn)|西:
(1)master的某個(gè)時(shí)刻的數(shù)據(jù)快照珊泳;
(2)master當(dāng)前的日志文件鲁冯、以及生成快照時(shí)的字節(jié)偏移。這兩個(gè)值可以叫做日志文件坐標(biāo)(log file coordinate)色查,因?yàn)樗鼈兇_定了一個(gè)二進(jìn)制日志的位置薯演,你可以用SHOW MASTER STATUS命令找到日志文件的坐標(biāo);
(3)master的二進(jìn)制日志文件秧了。
可以通過以下幾中方法來克隆一個(gè)slave:
(1) 冷拷貝(cold copy)停止master跨扮,將master的文件拷貝到slave;然后重啟master验毡。缺點(diǎn)很明顯衡创。
(2) 熱拷貝(warm copy)如果你僅使用MyISAM表,你可以使用mysqlhotcopy拷貝晶通,即使服務(wù)器正在運(yùn)行璃氢。
(3) 使用mysqldump使用mysqldump來得到一個(gè)數(shù)據(jù)快照可分為以下幾步:<1>鎖表:如果你還沒有鎖表,你應(yīng)該對表加鎖狮辽,防止其它連接修改數(shù)據(jù)庫一也,否則,你得到的數(shù)據(jù)可以是不一致的喉脖。如下:mysql> FLUSH TABLES WITH READ LOCK;<2>在另一個(gè)連接用mysqldump創(chuàng)建一個(gè)你想進(jìn)行復(fù)制的數(shù)據(jù)庫的轉(zhuǎn)儲:shell> mysqldump --all-databases --lock-all-tables >dbdump.db<3>對表釋放鎖。mysql> UNLOCK TABLES;3舆蝴、深入復(fù)制已經(jīng)討論了關(guān)于復(fù)制的一些基本東西题诵,下面深入討論一下復(fù)制须误。
3.1、基于語句的復(fù)制(Statement-Based Replication)MySQL 5.0及之前的版本僅支持基于語句的復(fù)制(也叫做邏輯復(fù)制仇轻,logical replication)篷店,這在數(shù)據(jù)庫并不常見。master記錄下改變數(shù)據(jù)的查詢,然后疲陕,slave從中繼日志中讀取事件蹄殃,并執(zhí)行它,這些SQL語句與master執(zhí)行的語句一樣讳苦。這種方式的優(yōu)點(diǎn)就是實(shí)現(xiàn)簡單吩谦。此外,基于語句的復(fù)制的二進(jìn)制日志可以很好的進(jìn)行壓縮咐扭,而且日志的數(shù)據(jù)量也較小滑废,占用帶寬少——例如蠕趁,一個(gè)更新GB的數(shù)據(jù)的查詢僅需要幾十個(gè)字節(jié)的二進(jìn)制日志。而mysqlbinlog對于基于語句的日志處理十分方便逛绵。 但是倔韭,基于語句的復(fù)制并不是像它看起來那么簡單,因?yàn)橐恍┎樵冋Z句依賴于master的特定條件胰苏,例如,master與slave可能有不同的時(shí)間硕并。所以秧荆,MySQL的二進(jìn)制日志的格式不僅僅是查詢語句乙濒,還包括一些元數(shù)據(jù)信息卵蛉,例如么库,當(dāng)前的時(shí)間戳诉儒。即使如此,還是有一些語句泛释,比如缭受,CURRENT USER函數(shù),不能正確的進(jìn)行復(fù)制韭畸。此外蔓搞,存儲過程和觸發(fā)器也是一個(gè)問題喂分。另外一個(gè)問題就是基于語句的復(fù)制必須是串行化的。這要求大量特殊的代碼蒲祈,配置梆掸,例如InnoDB的next-key鎖等。并不是所有的存儲引擎都支持基于語句的復(fù)制怪得。
3.2卑硫、基于記錄的復(fù)制(Row-Based Replication)MySQL增加基于記錄的復(fù)制欢伏,在二進(jìn)制日志中記錄下實(shí)際數(shù)據(jù)的改變,這與其它一些DBMS的實(shí)現(xiàn)方式類似径筏。這種方式有優(yōu)點(diǎn),也有缺點(diǎn)。優(yōu)點(diǎn)就是可以對任何語句都能正確工作咸这,一些語句的效率更高媳维。主要的缺點(diǎn)就是二進(jìn)制日志可能會很大,而且不直觀指黎,所以州丹,你不能使用mysqlbinlog來查看二進(jìn)制日志。對于一些語句吓揪,基于記錄的復(fù)制能夠更有效的工作所计,如:mysql> INSERT INTO summary_table(col1, col2, sum_col3) SELECT col1, col2, sum(col3) FROM enormous_table GROUP BY col1, col2;假設(shè)主胧,只有三種唯一的col1和col2的組合,但是焙格,該查詢會掃描原表的許多行己英,卻僅返回三條記錄损肛。此時(shí),基于記錄的復(fù)制效率更高摩泪。另一方面劫谅,下面的語句嚷掠,基于語句的復(fù)制更有效:mysql> UPDATE enormous_table SET col1 = 0;此時(shí)使用基于記錄的復(fù)制代價(jià)會非常高不皆。由于兩種方式不能對所有情況都能很好的處理熊楼,所以,MySQL 5.1支持在基于語句的復(fù)制和基于記錄的復(fù)制之前動態(tài)交換犬耻。你可以通過設(shè)置session變量binlog_format來進(jìn)行控制枕磁。3.3术吝、復(fù)制相關(guān)的文件除了二進(jìn)制日志和中繼日志文件外,還有其它一些與復(fù)制相關(guān)的文件峭咒。如下:(1)mysql-bin.index服務(wù)器一旦開啟二進(jìn)制日志纪岁,會產(chǎn)生一個(gè)與二日志文件同名幔翰,但是以.index結(jié)尾的文件。它用于跟蹤磁盤上存在哪些二進(jìn)制日志文件叫惊。MySQL用它來定位二進(jìn)制日志文件做修。 (2)mysql-relay-bin.index該文件的功能與mysql-bin.index類似饰及,但是它是針對中繼日志,而不是二進(jìn)制日志宾濒。內(nèi)容如下:.\mysql-02-relay-bin.000017.\mysql-02-relay-bin.000018(3)master.info保存master的相關(guān)信息屏箍。不要刪除它,否則卸奉,slave重啟后不能連接master榄棵。
I/O線程更新master.info文件
(4)relay-log.info
包含slave中當(dāng)前二進(jìn)制日志和中繼日志的信息。
3.5惑芭、復(fù)制過濾(Replication Filters)復(fù)制過濾可以讓你只復(fù)制服務(wù)器中的一部分?jǐn)?shù)據(jù),有兩種復(fù)制過濾:在master上過濾二進(jìn)制日志中的事件逃沿;在slave上過濾中繼日志中的事件凯亮。如下:
4越败、復(fù)制的常用拓?fù)浣Y(jié)構(gòu)復(fù)制的體系結(jié)構(gòu)有以下一些基本原則:(1) 每個(gè)slave只能有一個(gè)master究飞;(2) 每個(gè)slave只能有一個(gè)唯一的服務(wù)器ID堂鲤;(3) 每個(gè)master可以有很多slave瘟栖;(4) 如果你設(shè)置log_slave_updates谅阿,slave可以是其它slave的master签餐,從而擴(kuò)散master的更新。
MySQL不支持多主服務(wù)器復(fù)制(Multimaster Replication)——即一個(gè)slave可以有多個(gè)master戒良。但是冠摄,通過一些簡單的組合,我們卻可以建立靈活而強(qiáng)大的復(fù)制體系結(jié)構(gòu)沃呢。
4.1薄霜、單一master和多slave由一個(gè)master和一個(gè)slave組成復(fù)制系統(tǒng)是最簡單的情況纸兔。Slave之間并不相互通信食拜,只能與master進(jìn)行通信。如下: 如果寫操作較少流强,而讀操作很時(shí)呻待,可以采取這種結(jié)構(gòu)蚕捉。你可以將讀操作分布到其它的slave,從而減小master的壓力秘通。但是肺稀,當(dāng)slave增加到一定數(shù)量時(shí),slave對master的負(fù)載以及網(wǎng)絡(luò)帶寬都會成為一個(gè)嚴(yán)重的問題夕吻。這種結(jié)構(gòu)雖然簡單繁仁,但是黄虱,它卻非常靈活,足夠滿足大多數(shù)應(yīng)用需求。
一些建議:
(1) 不同的slave扮演不同的作用(例如使用不同的索引默勾,或者不同的存儲引擎)聚谁;
(2) 用一個(gè)slave作為備用master,只進(jìn)行復(fù)制环疼;
(3) 用一個(gè)遠(yuǎn)程的slave炫隶,用于災(zāi)難恢復(fù)阎曹;
主動的Master-Master復(fù)制有一些特殊的用處。例如陶衅,地理上分布的兩個(gè)部分都需要自己的可寫的數(shù)據(jù)副本直晨。這種結(jié)構(gòu)最大的問題就是更新沖突勇皇。假設(shè)一個(gè)表只有一行(一列)的數(shù)據(jù),其值為1门烂,如果兩個(gè)服務(wù)器分別同時(shí)執(zhí)行如下語句:在第一個(gè)服務(wù)器上執(zhí)行:mysql> UPDATE tbl SET col=col + 1;在第二個(gè)服務(wù)器上執(zhí)行:mysql> UPDATE tbl SET col=col * 2;那么結(jié)果是多少呢屯远?一臺服務(wù)器是4捕虽,另一個(gè)服務(wù)器是3泄私,但是,這并不會產(chǎn)生錯誤捅暴。實(shí)際上咧纠,MySQL并不支持其它一些DBMS支持的多主服務(wù)器復(fù)制(Multimaster Replication)漆羔,這是MySQL的復(fù)制功能很大的一個(gè)限制(多主服務(wù)器的難點(diǎn)在于解決更新沖突)钧椰,但是,如果你實(shí)在有這種需求瓶埋,你可以采用MySQL Cluster,以及將Cluster和Replication結(jié)合起來曾撤,可以建立強(qiáng)大的高性能的數(shù)據(jù)庫平臺晕粪。但是巫湘,可以通過其它一些方式來模擬這種多主服務(wù)器的復(fù)制。
4.3诀诊、主動-被動模式的Master-Master(Master-Master in Active-Passive Mode)這是master-master結(jié)構(gòu)變化而來的属瓣,它避免了M-M的缺點(diǎn)讯柔,實(shí)際上魂迄,這是一種具有容錯和高可用性的系統(tǒng)。它的不同點(diǎn)在于其中一個(gè)服務(wù)只能進(jìn)行只讀操作。如圖: