mysql全量備份和增量備份

1.檢查是log_bin是否開啟

增量備份需要開啟log_bin

若狀態(tài)為on 則是已經(jīng)開啟log_bin

mysql > show variables like '%log_bin%';
+---------------------------------+-----------------------------+
| Variable_name                   | Value                       |
+---------------------------------+-----------------------------+
| log_bin                         | ON                          |
| log_bin_basename                | /var/lib/mysql/binlog       |
| log_bin_index                   | /var/lib/mysql/binlog.index |
| log_bin_trust_function_creators | OFF                         |
| log_bin_use_v1_row_events       | OFF                         |
| sql_log_bin                     | ON                          |
+---------------------------------+-----------------------------+

若沒開啟log_bin,則修改mysql配置文件my.cnf,添加以下配置,重啟mysql使配置生效

log-bin=/var/lib/mysql/mysql-bin

查看當(dāng)前正在記錄操作的日志log_bin文件名稱

mysql > show master status;
+---------------+----------+--------------+------------------+-------------------+
| File          | Position | Binlog_Do_DB | Binlog_Ignore_DB | Executed_Gtid_Set |
+---------------+----------+--------------+------------------+-------------------+
| binlog.000017 |      155 |              |                  |                   |
+---------------+----------+--------------+------------------+-------------------+

2.全量備份

只要執(zhí)行下述命令于未,就可以進(jìn)行全量備份

mysqldump -uroot -p123456 --quick --events --all-databases --flush-logs --delete-master-logs --single-transaction > data.sql
全量備份的流程如下:
  • 先創(chuàng)建相應(yīng)目錄
  • 使用mysqldump進(jìn)行全量備份
  • 對(duì)備份文件進(jìn)行壓縮
  • 使用scp復(fù)制備份文件到其他服務(wù)器
  • 清理過期的全量備份文件
  • 定時(shí)任務(wù)自動(dòng)進(jìn)行全量備份
全量備份腳本

mysqlFullBack.sh

#!/bin/bash
# 初始化時(shí),創(chuàng)建相應(yīng)目錄
# mkdir -p /home/mysql/backup/daily 

# 定時(shí)任務(wù)
# 每個(gè)星期日凌晨3:00執(zhí)行全量備份腳本 
# 0 3 * * 0 /bin/bash -x /root/mysqlFullBack.sh >/dev/null 2>&1
# 周一到周六凌晨3:00執(zhí)行增量備份腳本
# 0 3 * * 1-6 /bin/bash -x /root/mysqlPartBack.sh >/dev/null 2>&1

BakDir=/home/mysql/backup
LogFile=/home/mysql/backup/bak.log
Date=`date +%Y%m%d`
Begin=`date +"%Y年%m月%d日 %H:%M:%S"`
cd $BakDir
DumpFile=$Date.sql
GZDumpFile=$Date.sql.tgz
mysqldump -uroot -p123456 --quick --events --all-databases --flush-logs --delete-master-logs --single-transaction > $DumpFile
/bin/tar -zvcf $GZDumpFile $DumpFile
/bin/rm $DumpFile
Last=`date +"%Y年%m月%d日 %H:%M:%S"`
echo [FullBack] 開始:$Begin 結(jié)束:$Last $GZDumpFile successful >> $LogFile
# scp重復(fù)全量備份文件到其他服務(wù)器
# scp $GZDumpFile root@xxxx:/usr/mysql/backup/$GZDumpFile
# 刪除30天前的全量備份文件
find $BakDir -mtime +30 -type f -name "*.sql.tgz" | xargs rm -f
# 刪除增量備份文件
cd $BakDir/daily
/bin/rm -f *

mysqldump參數(shù)說明

  • --quick : 該選項(xiàng)在導(dǎo)出大表時(shí)很有用,它強(qiáng)制 mysqldump 從服務(wù)器查詢?nèi)〉糜涗浿苯虞敵龆皇侨〉盟杏涗浐髮⑺鼈兙彺娴絻?nèi)存中蓉冈。
  • --all-databases : 導(dǎo)出所有數(shù)據(jù)庫
  • --flush-logs : 生成新的二進(jìn)制日志文件
  • --single-transaction : 此選項(xiàng)會(huì)將隔離級(jí)別設(shè)置為:REPEATABLE READ。并且隨后再執(zhí)行一條START TRANSACTION語句轩触,讓整個(gè)數(shù)據(jù)在dump過程中保證數(shù)據(jù)的一致性寞酿,這個(gè)選項(xiàng)對(duì)InnoDB的數(shù)據(jù)表很有用,且不會(huì)鎖表脱柱。但是這個(gè)不能保證MyISAM表和MEMORY表的數(shù)據(jù)一致性伐弹。 為了確保使用--single-transaction命令時(shí),保證dump文件的有效性榨为。需沒有下列語句ALTER TABLE, CREATE TABLE, DROP TABLE, RENAME TABLE, TRUNCATE TABLE惨好,因?yàn)橐恢滦宰x不能隔離上述語句。所以如果在dump過程中随闺,使用上述語句日川,可能會(huì)導(dǎo)致dump出來的文件數(shù)據(jù)不一致或者不可用。

從全量備份文件恢復(fù)數(shù)據(jù)

直接執(zhí)行全量備份文件sql即可

mysql > source /home/data.sql;

3. 增量備份

只要執(zhí)行下述命令矩乐,就會(huì)生成相應(yīng)的增量備份日志龄句,根據(jù)日志可以恢復(fù)增量備份

在/var/lib/mysql下或/var/lib/mysql/mysql-bin下可查看到增量備份日志

mysqladmin -uroot -p123456 flush-logs

增量備份流程:

  • 刷新日志
  • 遍歷日志索引文件
  • 備份新日志文件,忽略已經(jīng)備份的文件

增量備份腳本

mysqlPartBack.sh

#!/bin/bash
#在使用之前绰精,請(qǐng)?zhí)崆皠?chuàng)建以下各個(gè)目錄
backupDir=/home/mysql/backup/daily
#增量備份時(shí)復(fù)制mysql-bin.00000*的目標(biāo)目錄撒璧,提前手動(dòng)創(chuàng)建這個(gè)目錄
mysqlDir=/var/lib/mysql
#mysql的數(shù)據(jù)目錄
logFile=/home/mysql/backup/bak.log
BinFile=/var/lib/mysql/binlog.index
#mysql的index文件路徑,放在數(shù)據(jù)目錄下的

mysqladmin -uroot -p123456 flush-logs
#這個(gè)是用于產(chǎn)生新的mysql-bin.00000*文件
# wc -l 統(tǒng)計(jì)行數(shù)
# awk 簡單來說awk就是把文件逐行的讀入笨使,以空格為默認(rèn)分隔符將每行切片卿樱,切開的部分再進(jìn)行各種分析處理。
Counter=`wc -l $BinFile |awk '{print $1}'`
NextNum=0
#這個(gè)for循環(huán)用于比對(duì)$Counter,$NextNum這兩個(gè)值來確定文件是不是存在或最新的
for file in `cat $BinFile`
do
    base=`basename $file`
    echo $base
    #basename用于截取mysql-bin.00000*文件名硫椰,去掉./mysql-bin.000005前面的./
    NextNum=`expr $NextNum + 1`
    if [ $NextNum -eq $Counter ]
    then
        echo $base skip! >> $logFile
    else
        dest=$backupDir/$base
        if(test -e $dest)
        #test -e用于檢測(cè)目標(biāo)文件是否存在繁调,存在就寫exist!到$logFile去
        then
            echo $base exist! >> $logFile
        else
            cp $mysqlDir/$base $backupDir
            echo $base copying >> $logFile
         fi
     fi
done
echo [PartBack] `date +"%Y年%m月%d日 %H:%M:%S"` $Next Bakup successful! >> $logFile

恢復(fù)增量備份數(shù)據(jù)

 mysqlbinlog /home/mysql/backup/daily/binlog.000008 | mysql -uroot -p123456;

4. 定時(shí)任務(wù)

定時(shí)任務(wù)

每個(gè)星期日凌晨3:00執(zhí)行全量備份腳本

0 3 * * 0 /bin/bash -x /root/mysqlFullBack.sh >/dev/null 2>&1

周一到周六凌晨3:00執(zhí)行增量備份腳本

0 3 * * 1-6 /bin/bash -x /root/mysqlPartBack.sh >/dev/null 2>&1

5. 常見問題

當(dāng)通過linux定時(shí)任務(wù)crontab去執(zhí)行備份腳本時(shí)萨蚕,你會(huì)發(fā)現(xiàn)全量備份后的sql文件是個(gè)空文件。然而蹄胰,你手動(dòng)執(zhí)行命令卻是正常的岳遥。

原因:mysqldump命令在crontab執(zhí)行環(huán)境中并不存在,要使用絕對(duì)路徑裕寨,才能執(zhí)行此命令
查看mysqldump所在位置

which mysqldump
// /usr/local/mysql/bin/mysqldump

然后把全量備份腳本中的mysqldump替換為/usr/local/mysql/bin/mysqldump

最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
  • 序言:七十年代末浩蓉,一起剝皮案震驚了整個(gè)濱河市,隨后出現(xiàn)的幾起案子宾袜,更是在濱河造成了極大的恐慌捻艳,老刑警劉巖,帶你破解...
    沈念sama閱讀 218,386評(píng)論 6 506
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件庆猫,死亡現(xiàn)場(chǎng)離奇詭異认轨,居然都是意外死亡,警方通過查閱死者的電腦和手機(jī)月培,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 93,142評(píng)論 3 394
  • 文/潘曉璐 我一進(jìn)店門嘁字,熙熙樓的掌柜王于貴愁眉苦臉地迎上來,“玉大人杉畜,你說我怎么就攤上這事纪蜒。” “怎么了此叠?”我有些...
    開封第一講書人閱讀 164,704評(píng)論 0 353
  • 文/不壞的土叔 我叫張陵霍掺,是天一觀的道長。 經(jīng)常有香客問我拌蜘,道長,這世上最難降的妖魔是什么牙丽? 我笑而不...
    開封第一講書人閱讀 58,702評(píng)論 1 294
  • 正文 為了忘掉前任简卧,我火速辦了婚禮,結(jié)果婚禮上烤芦,老公的妹妹穿的比我還像新娘举娩。我一直安慰自己,他們只是感情好构罗,可當(dāng)我...
    茶點(diǎn)故事閱讀 67,716評(píng)論 6 392
  • 文/花漫 我一把揭開白布铜涉。 她就那樣靜靜地躺著,像睡著了一般遂唧。 火紅的嫁衣襯著肌膚如雪芙代。 梳的紋絲不亂的頭發(fā)上,一...
    開封第一講書人閱讀 51,573評(píng)論 1 305
  • 那天盖彭,我揣著相機(jī)與錄音纹烹,去河邊找鬼页滚。 笑死,一個(gè)胖子當(dāng)著我的面吹牛铺呵,可吹牛的內(nèi)容都是我干的裹驰。 我是一名探鬼主播,決...
    沈念sama閱讀 40,314評(píng)論 3 418
  • 文/蒼蘭香墨 我猛地睜開眼片挂,長吁一口氣:“原來是場(chǎng)噩夢(mèng)啊……” “哼幻林!你這毒婦竟也來了?” 一聲冷哼從身側(cè)響起音念,我...
    開封第一講書人閱讀 39,230評(píng)論 0 276
  • 序言:老撾萬榮一對(duì)情侶失蹤沪饺,失蹤者是張志新(化名)和其女友劉穎,沒想到半個(gè)月后症昏,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體随闽,經(jīng)...
    沈念sama閱讀 45,680評(píng)論 1 314
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 37,873評(píng)論 3 336
  • 正文 我和宋清朗相戀三年肝谭,在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了掘宪。 大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片。...
    茶點(diǎn)故事閱讀 39,991評(píng)論 1 348
  • 序言:一個(gè)原本活蹦亂跳的男人離奇死亡攘烛,死狀恐怖魏滚,靈堂內(nèi)的尸體忽然破棺而出,到底是詐尸還是另有隱情坟漱,我是刑警寧澤鼠次,帶...
    沈念sama閱讀 35,706評(píng)論 5 346
  • 正文 年R本政府宣布,位于F島的核電站芋齿,受9級(jí)特大地震影響腥寇,放射性物質(zhì)發(fā)生泄漏间影。R本人自食惡果不足惜仑扑,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 41,329評(píng)論 3 330
  • 文/蒙蒙 一、第九天 我趴在偏房一處隱蔽的房頂上張望妇汗。 院中可真熱鬧栅炒,春花似錦掂摔、人聲如沸。這莊子的主人今日做“春日...
    開封第一講書人閱讀 31,910評(píng)論 0 22
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽。三九已至释移,卻和暖如春叭披,著一層夾襖步出監(jiān)牢的瞬間,已是汗流浹背玩讳。 一陣腳步聲響...
    開封第一講書人閱讀 33,038評(píng)論 1 270
  • 我被黑心中介騙來泰國打工趋观, 沒想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留扛禽,地道東北人。 一個(gè)月前我還...
    沈念sama閱讀 48,158評(píng)論 3 370
  • 正文 我出身青樓皱坛,卻偏偏與公主長得像编曼,于是被迫代替她去往敵國和親。 傳聞我的和親對(duì)象是個(gè)殘疾皇子剩辟,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 44,941評(píng)論 2 355

推薦閱讀更多精彩內(nèi)容