從庫(kù)開啟并行復(fù)制

數(shù)據(jù)庫(kù)復(fù)制的主要性能問題就是數(shù)據(jù)延時(shí)

為了優(yōu)化復(fù)制性能弊决,Mysql 5.6 引入了 “多線程復(fù)制” 這個(gè)新功能

但 5.6 中的每個(gè)線程只能處理一個(gè)數(shù)據(jù)庫(kù)噪舀,所以如果只有一個(gè)數(shù)據(jù)庫(kù),或者絕大多數(shù)寫操作都是集中在某一個(gè)數(shù)據(jù)庫(kù)的飘诗,那么這個(gè)“多線程復(fù)制”就不能充分發(fā)揮作用了

Mysql 5.7 對(duì) “多線程復(fù)制” 進(jìn)行了改善与倡,可以按照邏輯時(shí)鐘的方式來(lái)分配線程,大大提高了復(fù)制性能

下面看一下在5.7中如何配置 “多線程復(fù)制”

1昆稿、查看當(dāng)前復(fù)制模式

可以看到只有一個(gè)復(fù)制線程在工作


image.png

2纺座、設(shè)置并發(fā)同步類型為邏輯時(shí)鐘方式

查看默認(rèn)的并發(fā)復(fù)制類型

mysql> show variables like 'slave_parallel_type';
+---------------------+----------+
| Variable_name       | Value    |
+---------------------+----------+
| slave_parallel_type | DATABASE |
+---------------------+----------+
1 row in set (0.00 sec)

默認(rèn)是datebase,每個(gè)線程只能處理一個(gè)數(shù)據(jù)庫(kù)

配置成基于邏輯時(shí)鐘的方式

mysql> stop slave;
Query OK, 0 rows affected (0.01 sec)

mysql> set global slave_parallel_type='logical_clock';
Query OK, 0 rows affected (0.00 sec)

mysql> show variables like 'slave_parallel_type';
+---------------------+---------------+
| Variable_name       | Value         |
+---------------------+---------------+
| slave_parallel_type | LOGICAL_CLOCK |
+---------------------+---------------+
1 row in set (0.01 sec)

mysql> 

3溉潭、設(shè)置復(fù)制線程的數(shù)量

#查看下當(dāng)前的復(fù)制線程數(shù)净响,默認(rèn)都是0
mysql> show variables like 'slave_parallel_workers';
+------------------------+-------+
| Variable_name          | Value |
+------------------------+-------+
| slave_parallel_workers | 0     |
+------------------------+-------+
1 row in set (0.00 sec)
#適當(dāng)調(diào)整,我這里設(shè)置的是4

mysql> set global slave_parallel_workers=4;
Query OK, 0 rows affected (0.00 sec)

mysql> show variables like 'slave_parallel_workers';
+------------------------+-------+
| Variable_name          | Value |
+------------------------+-------+
| slave_parallel_workers | 4     |
+------------------------+-------+
1 row in set (0.01 sec)


4喳瓣、配置從庫(kù)回放順序

slave_preserve_commit_order 參數(shù)在多線程復(fù)制環(huán)境下馋贤,能夠保證從庫(kù)回放relay log事務(wù)的順序與這些事務(wù)在relay log中的順序完全一致,也就是與主庫(kù)提交的順序完全一致畏陕。

舉個(gè)例子配乓,開啟并行復(fù)制后,如果relay log中有3個(gè)事務(wù)A,B,C惠毁,他們?cè)趓elay log中的順序是A->B->C犹芹,而它們的last_commited相同,也就是說他們可以并行回放鞠绰,那么在從庫(kù)上腰埂,這3個(gè)事務(wù),提交的順序可能就不再是A->B->C蜈膨,設(shè)置slave_preserve_commit_order=ON屿笼,能夠保證這3個(gè)事務(wù),在從庫(kù)回放時(shí)丈挟,仍然按照它們?cè)趓elay log中的順序來(lái)回放刁卜,保證從庫(kù)回放relay log事務(wù)的順序與主庫(kù)完全相同。

slave_preserve_commit_order:

作用范圍:Global
動(dòng)態(tài)修改:Yes曙咽,修改時(shí)需要停止SQL線程
默認(rèn)值:OFF
該參數(shù)起作用的前提條件是開啟多線程復(fù)制:

slave_parallel_type=LOGICAL_CLOCK
slave_parallel_workers>0
在 8.0.18 及之前版本蛔趴,從庫(kù)只有開啟binlog的兩個(gè)參數(shù)(log_bin,log_slave_updates)例朱,才能設(shè)置slave_preserve_commit_order=ON孝情,而 8.0.19 版本開始鱼蝉,這個(gè)前提條件不再需要了。

設(shè)置slave_preserve_commit_order=ON箫荡,當(dāng)一個(gè)線程等待其他線程的事務(wù)提交時(shí)魁亦,會(huì)出現(xiàn)一個(gè)狀態(tài)信息,在一個(gè)寫入量較大的主從復(fù)制集群中羔挡,在從庫(kù)上執(zhí)行show processlist可以看到這個(gè)狀態(tài)信息洁奈,如下:
Waiting for preceding transaction to commit

5、設(shè)置事件所需的內(nèi)存大小

mysql> set global slave_pending_jobs_size_max= 536970912;
Query OK, 0 rows affected, 1 warning (0.00 sec)

mysql> show variables like '%slave_pending_jobs_size_max%';
+-----------------------------+-----------+
| Variable_name               | Value     |
+-----------------------------+-----------+
| slave_pending_jobs_size_max | 536970240 |
+-----------------------------+-----------+
1 row in set (0.01 sec)


從庫(kù)回放線程的時(shí)間內(nèi)存大小默認(rèn)為16M绞灼,這個(gè)參數(shù)不一定非要修改利术,但是一定要大于主庫(kù)設(shè)置的max_allowed_packet。
負(fù)責(zé)我們放回時(shí)可能就會(huì)報(bào)錯(cuò)低矮,具體參考下面的報(bào)錯(cuò)信息

Slave_IO_Running: Yes
            Slave_SQL_Running: No
              Replicate_Do_DB: 
          Replicate_Ignore_DB: 
           Replicate_Do_Table: 
       Replicate_Ignore_Table: 
      Replicate_Wild_Do_Table: 
  Replicate_Wild_Ignore_Table: 
                   Last_Errno: 1864
                   Last_Error: Cannot schedule event Write_rows, relay-log name ./mysql-relay-bin.001304, position 416228895 to Worker thread because its size 16777357 exceeds 16777216 of slave_pending_jobs_size_max.

6印叁、統(tǒng)一配置文件

以上參數(shù),全部可以在從庫(kù)的配置文件中添加上军掂,然后重啟數(shù)據(jù)庫(kù)

slave_parallel_type= LOGICAL_CLOCK
slave_parallel_workers= 4
slave_preserve_commit_order= 1
slave_pending_jobs_size_max= 536870912
log_slave_updates =1

?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
  • 序言:七十年代末轮蜕,一起剝皮案震驚了整個(gè)濱河市,隨后出現(xiàn)的幾起案子蝗锥,更是在濱河造成了極大的恐慌跃洛,老刑警劉巖,帶你破解...
    沈念sama閱讀 219,490評(píng)論 6 508
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件玛追,死亡現(xiàn)場(chǎng)離奇詭異税课,居然都是意外死亡,警方通過查閱死者的電腦和手機(jī)痊剖,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 93,581評(píng)論 3 395
  • 文/潘曉璐 我一進(jìn)店門韩玩,熙熙樓的掌柜王于貴愁眉苦臉地迎上來(lái),“玉大人陆馁,你說我怎么就攤上這事找颓。” “怎么了叮贩?”我有些...
    開封第一講書人閱讀 165,830評(píng)論 0 356
  • 文/不壞的土叔 我叫張陵击狮,是天一觀的道長(zhǎng)。 經(jīng)常有香客問我益老,道長(zhǎng)彪蓬,這世上最難降的妖魔是什么? 我笑而不...
    開封第一講書人閱讀 58,957評(píng)論 1 295
  • 正文 為了忘掉前任捺萌,我火速辦了婚禮档冬,結(jié)果婚禮上,老公的妹妹穿的比我還像新娘。我一直安慰自己酷誓,他們只是感情好披坏,可當(dāng)我...
    茶點(diǎn)故事閱讀 67,974評(píng)論 6 393
  • 文/花漫 我一把揭開白布询兴。 她就那樣靜靜地躺著零蓉,像睡著了一般滴肿。 火紅的嫁衣襯著肌膚如雪衩茸。 梳的紋絲不亂的頭發(fā)上,一...
    開封第一講書人閱讀 51,754評(píng)論 1 307
  • 那天俯艰,我揣著相機(jī)與錄音渤愁,去河邊找鬼樟澜。 笑死琐旁,一個(gè)胖子當(dāng)著我的面吹牛涮阔,可吹牛的內(nèi)容都是我干的猜绣。 我是一名探鬼主播灰殴,決...
    沈念sama閱讀 40,464評(píng)論 3 420
  • 文/蒼蘭香墨 我猛地睜開眼,長(zhǎng)吁一口氣:“原來(lái)是場(chǎng)噩夢(mèng)啊……” “哼掰邢!你這毒婦竟也來(lái)了牺陶?” 一聲冷哼從身側(cè)響起,我...
    開封第一講書人閱讀 39,357評(píng)論 0 276
  • 序言:老撾萬(wàn)榮一對(duì)情侶失蹤辣之,失蹤者是張志新(化名)和其女友劉穎掰伸,沒想到半個(gè)月后,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體怀估,經(jīng)...
    沈念sama閱讀 45,847評(píng)論 1 317
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡狮鸭,尸身上長(zhǎng)有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 37,995評(píng)論 3 338
  • 正文 我和宋清朗相戀三年,在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了多搀。 大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片歧蕉。...
    茶點(diǎn)故事閱讀 40,137評(píng)論 1 351
  • 序言:一個(gè)原本活蹦亂跳的男人離奇死亡,死狀恐怖康铭,靈堂內(nèi)的尸體忽然破棺而出惯退,到底是詐尸還是另有隱情,我是刑警寧澤从藤,帶...
    沈念sama閱讀 35,819評(píng)論 5 346
  • 正文 年R本政府宣布催跪,位于F島的核電站,受9級(jí)特大地震影響夷野,放射性物質(zhì)發(fā)生泄漏懊蒸。R本人自食惡果不足惜,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 41,482評(píng)論 3 331
  • 文/蒙蒙 一悯搔、第九天 我趴在偏房一處隱蔽的房頂上張望骑丸。 院中可真熱鬧,春花似錦、人聲如沸者娱。這莊子的主人今日做“春日...
    開封第一講書人閱讀 32,023評(píng)論 0 22
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽(yáng)黄鳍。三九已至推姻,卻和暖如春,著一層夾襖步出監(jiān)牢的瞬間框沟,已是汗流浹背藏古。 一陣腳步聲響...
    開封第一講書人閱讀 33,149評(píng)論 1 272
  • 我被黑心中介騙來(lái)泰國(guó)打工, 沒想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留忍燥,地道東北人拧晕。 一個(gè)月前我還...
    沈念sama閱讀 48,409評(píng)論 3 373
  • 正文 我出身青樓,卻偏偏與公主長(zhǎng)得像梅垄,于是被迫代替她去往敵國(guó)和親厂捞。 傳聞我的和親對(duì)象是個(gè)殘疾皇子,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 45,086評(píng)論 2 355

推薦閱讀更多精彩內(nèi)容