Mysql 中主庫跑太快蟀架,從庫追不上

本文要點:

主從常見架構(gòu)

隨著日益增長的訪問量瓣赂,單臺數(shù)據(jù)庫的應(yīng)接能力已經(jīng)捉襟見肘。因此采用主庫寫數(shù)據(jù)片拍,從庫讀數(shù)據(jù)這種將讀寫分離開的主從架構(gòu)便隨之衍生了出來煌集。

在生產(chǎn)環(huán)境中,常見的主從架構(gòu)有很多種捌省,在這里給大家介紹幾種比較常見的架構(gòu)模式苫纤。

圖片
圖片

主從復(fù)制原理

了解了主從的基本架構(gòu)及相關(guān)配置后,下面就要進入正題了。

對于主從來說卷拘,通常的操作是主庫用來寫入數(shù)據(jù)喊废,從庫用來讀取數(shù)據(jù)。這樣的好處是通過將讀寫壓力分散開栗弟,避免了所有的請求都打在主庫上污筷。同時通過從庫進行水平擴展使系統(tǒng)的伸縮性及負(fù)載能力也得到了很大的提升。

圖片

但是問題就來了乍赫,讀從庫時的數(shù)據(jù)要與主庫保持一致瓣蛀,那就需要主庫的數(shù)據(jù)在寫入后同步到從庫中。如何保持主庫與從庫的數(shù)據(jù)一致性耿焊,主庫又是通過什么樣的方式將數(shù)據(jù)實時同步到從庫的揪惦?

基本原理

Mysql 中主從復(fù)制時有兩個很重要的日志文件:

  • binlog(二進制日志文件)

  • relay log(中繼日志文件)

圖片

在主從同步的過程中,主庫會將所有的操作事件記錄在 binlog 中罗侯,從庫通過開啟一個 I/O 線程保持與主庫的通信器腋,并在一定時間間隔內(nèi)探測 binlog 日志文件是否發(fā)生改變。如果 binlog 日志發(fā)生了變化钩杰,主庫生成一個 binlog dump 線程向從庫 I/O 線程傳送 binlog纫塌。從庫上的 I/O 線程將 binlog 復(fù)制到自己的 relay log 中。最終由從庫中的 SQL 線程讀取 relay log 中的事件重放到從庫上讲弄。

圖片

主從延遲原因

上面的流程我們已經(jīng)知道了主從復(fù)制的相關(guān)過程了措左,但是主庫有更新就會同步從庫,那為什么會出現(xiàn)主從延遲的情況呢避除?

隨機重放

Mysql 主庫中寫 binlog 的操作是順序?qū)懙脑跖拔覀兲岬竭^,磁盤的順序讀寫速度是很快的瓶摆。同樣的凉逛,從庫中的 I/O 線程操作日志的速度效率也是很高的。但是別忘了群井,還有一個 SQL 線程來進行數(shù)據(jù)重放状飞,而重放的過程是隨機寫盤的。到這里你應(yīng)該就明白了吧书斜,某一時刻 relay log 里的數(shù)據(jù)來不及重放進從庫诬辈,就會產(chǎn)生主從延遲的情況。

主庫并發(fā)高

知道了從庫中 SQL 線程的重放情況荐吉,對于主庫并發(fā)高導(dǎo)致主從延遲肯定就不難理解了焙糟。某一時刻,大量寫請求打到主庫上样屠,意味著要不斷對 binlog 進行寫入酬荞,此時從庫中的 SQL 線程就會應(yīng)接不暇搓劫,自然會產(chǎn)生主從延遲。

鎖等待

對于 SQL 單線程來說混巧,當(dāng)遇到阻塞時就會一直等待枪向,直到執(zhí)行成功才會繼續(xù)進行。如果某一時刻從庫因為查詢產(chǎn)生了鎖等待的情況咧党,此時只有當(dāng)前的操作執(zhí)行完成后才會進行下面的操作秘蛔,同理也就產(chǎn)生了主從延遲的情況。

主從延遲處理

知道了主從延遲的原因傍衡,接下來我們看看如何來進行處理深员。

并行復(fù)制

既然 SQL 單線程進行重放時速度有限,那么能不能采用多線程的方式來進行重放呢蛙埂?MySQL 5.6 版本后倦畅,提供了一種并行復(fù)制的方式,通過將 SQL 線程轉(zhuǎn)換為多個 work 線程來進行重放绣的,這樣就解決了主從延遲的問題叠赐。

圖片

降低主庫并發(fā)

你可能會說了,我現(xiàn)在用的低版本的數(shù)據(jù)庫屡江,也沒法升版本啊芭概,那我怎么整。對于主庫并發(fā)高的情況惩嘉,這種方式你只能通過控制并發(fā)來解決延遲了罢洲,多用用 Redis。

讀主庫

這種情況你肯定不陌生文黎,對于一些實時性要求比較高的數(shù)據(jù)惹苗,你總不能讀從庫去拿吧,萬一延遲個大半天耸峭,你不得貢獻自己的年終獎啊桩蓉。

總結(jié)

主從復(fù)制原理

  • 主從復(fù)制中有兩個很重要的日志文件,binlog和relay log抓艳,分別位于主庫與從庫中触机。其中 binlog 是主從復(fù)制的基礎(chǔ)帚戳,通過將操作事件寫入 binlog 通過 I/O 線程傳送至從庫進行同步玷或。

主從延遲原因

  • 從庫中 SQL 線程重放的過程是隨機寫盤的,并且 SQL 線程是單線程的片任,因此數(shù)據(jù)來不及重放的話就會導(dǎo)致主從延遲偏友。

  • 主庫并發(fā)高會導(dǎo)致寫操作不斷寫入 binlog,對于 SQL 線程說可能會應(yīng)接不暇对供,也會產(chǎn)生主從延遲位他。

  • 重放過程中如果遇到鎖等待也是產(chǎn)生延遲的原因之一氛濒。

主從延遲處理

  • MySQL 5.6版本以后通過并行復(fù)制的方式來解決 SQL 單線程產(chǎn)生的主從延遲問題。對于低版本來說鹅髓,可以通過降低主庫的并發(fā)來解決舞竿。如果對數(shù)據(jù)實時性要求比較嚴(yán)格的話,可以通過讀主庫來達到目的窿冯。
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
  • 序言:七十年代末骗奖,一起剝皮案震驚了整個濱河市,隨后出現(xiàn)的幾起案子醒串,更是在濱河造成了極大的恐慌执桌,老刑警劉巖,帶你破解...
    沈念sama閱讀 221,820評論 6 515
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件芜赌,死亡現(xiàn)場離奇詭異仰挣,居然都是意外死亡,警方通過查閱死者的電腦和手機缠沈,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 94,648評論 3 399
  • 文/潘曉璐 我一進店門膘壶,熙熙樓的掌柜王于貴愁眉苦臉地迎上來,“玉大人博烂,你說我怎么就攤上這事香椎。” “怎么了禽篱?”我有些...
    開封第一講書人閱讀 168,324評論 0 360
  • 文/不壞的土叔 我叫張陵畜伐,是天一觀的道長。 經(jīng)常有香客問我躺率,道長玛界,這世上最難降的妖魔是什么? 我笑而不...
    開封第一講書人閱讀 59,714評論 1 297
  • 正文 為了忘掉前任悼吱,我火速辦了婚禮慎框,結(jié)果婚禮上,老公的妹妹穿的比我還像新娘后添。我一直安慰自己笨枯,他們只是感情好,可當(dāng)我...
    茶點故事閱讀 68,724評論 6 397
  • 文/花漫 我一把揭開白布遇西。 她就那樣靜靜地躺著馅精,像睡著了一般。 火紅的嫁衣襯著肌膚如雪粱檀。 梳的紋絲不亂的頭發(fā)上洲敢,一...
    開封第一講書人閱讀 52,328評論 1 310
  • 那天,我揣著相機與錄音茄蚯,去河邊找鬼压彭。 笑死睦优,一個胖子當(dāng)著我的面吹牛,可吹牛的內(nèi)容都是我干的壮不。 我是一名探鬼主播汗盘,決...
    沈念sama閱讀 40,897評論 3 421
  • 文/蒼蘭香墨 我猛地睜開眼,長吁一口氣:“原來是場噩夢啊……” “哼询一!你這毒婦竟也來了衡未?” 一聲冷哼從身側(cè)響起,我...
    開封第一講書人閱讀 39,804評論 0 276
  • 序言:老撾萬榮一對情侶失蹤家凯,失蹤者是張志新(化名)和其女友劉穎缓醋,沒想到半個月后,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體绊诲,經(jīng)...
    沈念sama閱讀 46,345評論 1 318
  • 正文 獨居荒郊野嶺守林人離奇死亡送粱,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點故事閱讀 38,431評論 3 340
  • 正文 我和宋清朗相戀三年,在試婚紗的時候發(fā)現(xiàn)自己被綠了掂之。 大學(xué)時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片抗俄。...
    茶點故事閱讀 40,561評論 1 352
  • 序言:一個原本活蹦亂跳的男人離奇死亡,死狀恐怖世舰,靈堂內(nèi)的尸體忽然破棺而出动雹,到底是詐尸還是另有隱情,我是刑警寧澤跟压,帶...
    沈念sama閱讀 36,238評論 5 350
  • 正文 年R本政府宣布胰蝠,位于F島的核電站,受9級特大地震影響震蒋,放射性物質(zhì)發(fā)生泄漏茸塞。R本人自食惡果不足惜,卻給世界環(huán)境...
    茶點故事閱讀 41,928評論 3 334
  • 文/蒙蒙 一查剖、第九天 我趴在偏房一處隱蔽的房頂上張望钾虐。 院中可真熱鬧,春花似錦笋庄、人聲如沸效扫。這莊子的主人今日做“春日...
    開封第一講書人閱讀 32,417評論 0 24
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽菌仁。三九已至,卻和暖如春哆键,著一層夾襖步出監(jiān)牢的瞬間掘托,已是汗流浹背瘦锹。 一陣腳步聲響...
    開封第一講書人閱讀 33,528評論 1 272
  • 我被黑心中介騙來泰國打工籍嘹, 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留闪盔,地道東北人。 一個月前我還...
    沈念sama閱讀 48,983評論 3 376
  • 正文 我出身青樓辱士,卻偏偏與公主長得像泪掀,于是被迫代替她去往敵國和親。 傳聞我的和親對象是個殘疾皇子颂碘,可洞房花燭夜當(dāng)晚...
    茶點故事閱讀 45,573評論 2 359

推薦閱讀更多精彩內(nèi)容