利用innobackupex 將線上數(shù)據(jù) 轉(zhuǎn)移到 測(cè)試環(huán)境

參考 https://qizhanming.com/blog/2017/05/10/install-percona-xtrabackup-on-centos-7
https://my.oschina.net/nox/blog/1498936

機(jī)器DB A 是正式數(shù)據(jù)庫(kù)处渣,數(shù)據(jù)轉(zhuǎn)移到機(jī)器DB T,供測(cè)試用。 環(huán)境都是

centos7 和 mysql5.6

工具

docker 和 innobackupex 安裝過(guò)程不重要南吮,忽略

第一步備份DB A迟郎,my.cnf會(huì)告訴innobackupex 從datadir目錄拷貝數(shù)據(jù),/var/lib/mydata是備份目錄

innobackupex --defaults-file=/etc/my.cnf --user=XXX  --password=XXX /var/lib/mydata

顯示completed OK!后审编,/var/lib/mydata會(huì)有一個(gè)帶時(shí)間的目錄剪决,里面就是該時(shí)間點(diǎn)的數(shù)據(jù), 加上參數(shù)--no-timestamp就不會(huì)創(chuàng)建這個(gè)時(shí)間目錄了蔗候。

第二步保證數(shù)據(jù)完整性怒允,300G的數(shù)據(jù)第一步需要1個(gè)多小時(shí),期間沒(méi)錄入備份中的事務(wù)锈遥,需要手動(dòng)加上

innobackupex  --defaults-file=/etc/my.cnf --apply-log --redo-only  /var/lib/mydata/2018-06-26_18-06-31/

第三步在DB T纫事,安裝mysql,版本要一致所灸。文件級(jí)的數(shù)據(jù)丽惶,不同版本的mysql是讀取不了的,用docker最簡(jiǎn)單爬立。

sudo docker pull mysql:5.6
sudo docker run --name dbtest -v /data/mydata:/var/lib/mysql  -p 3306:3306 -e MYSQL_ROOT_PASSWORD=123456 -d mysql:5.6

第四步導(dǎo)入數(shù)據(jù)

把備份文件從DB A機(jī)器傳過(guò)來(lái)钾唬,期間會(huì)報(bào)目錄權(quán)限問(wèn)題,就著提示改下就行

scp -r cloud@DB A:/var/lib/mydata/2018-06-26_18-06-31/ /data/backup

docker安裝xtrabackup, Dockerfile如下

FROM centos
RUN yum install -y http://www.percona.com/downloads/percona-release/redhat/0.1-4/percona-release-0.1-4.noarch.rpm
RUN yum install -y percona-xtrabackup-24

在文件所在目錄執(zhí)行docker鏡像的編譯命令侠驯,構(gòu)建一個(gè)xtrabackup的鏡像

docker build -t nox/xtrabackup .
#/data/backup/2018-06-26_18-06-31是備份目錄抡秆,/data/mydata/待導(dǎo)入目錄,映射到xtrabackup容器
sudo docker run --name nox-xtrabackup -d -i -t -v /data/backup/2018-06-26_18-06-31:/opt/master-data -v /data/mydata/:/var/lib/mysql nox/xtrabackup /bin/bash
#待導(dǎo)入的目錄必須清空
sudo rm -rf /data/mydata
sudo docker exec -it nox-xtrabackup innobackupex --copy-back  /opt/master-data

顯示completed OK!后陵霉,發(fā)現(xiàn)mysql里已經(jīng)是正式數(shù)據(jù)了琅轧,無(wú)需重啟生效。
開(kāi)發(fā)迭代周期內(nèi)踊挠,開(kāi)發(fā)和測(cè)試會(huì)產(chǎn)生測(cè)試數(shù)據(jù)乍桂。下一個(gè)迭代又需要拋棄這些數(shù)據(jù),把最新的正式數(shù)據(jù)再導(dǎo)一份過(guò)來(lái)效床。這時(shí)候直接增量導(dǎo)入是不行的睹酌。全備份可以搞定,或者每個(gè)周期的新數(shù)據(jù)增量過(guò)來(lái)剩檀,把data dir清空憋沿,重新導(dǎo)入data。

后續(xù)的思路:
DB T先做一個(gè)不對(duì)外服務(wù)的從庫(kù)沪猴,把scp傳數(shù)據(jù)的過(guò)程省掉辐啄。因?yàn)閟cp會(huì)把內(nèi)網(wǎng)占掉,影響主從復(fù)制运嗜、負(fù)載均衡過(guò)來(lái)的內(nèi)網(wǎng)查詢 壶辜。只為數(shù)據(jù)遷移的從庫(kù),省心省力担租。

最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
  • 序言:七十年代末砸民,一起剝皮案震驚了整個(gè)濱河市,隨后出現(xiàn)的幾起案子,更是在濱河造成了極大的恐慌岭参,老刑警劉巖反惕,帶你破解...
    沈念sama閱讀 221,576評(píng)論 6 515
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件,死亡現(xiàn)場(chǎng)離奇詭異演侯,居然都是意外死亡姿染,警方通過(guò)查閱死者的電腦和手機(jī),發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 94,515評(píng)論 3 399
  • 文/潘曉璐 我一進(jìn)店門蚌本,熙熙樓的掌柜王于貴愁眉苦臉地迎上來(lái)盔粹,“玉大人,你說(shuō)我怎么就攤上這事程癌∠衔耍” “怎么了?”我有些...
    開(kāi)封第一講書人閱讀 168,017評(píng)論 0 360
  • 文/不壞的土叔 我叫張陵嵌莉,是天一觀的道長(zhǎng)进萄。 經(jīng)常有香客問(wèn)我,道長(zhǎng)锐峭,這世上最難降的妖魔是什么中鼠? 我笑而不...
    開(kāi)封第一講書人閱讀 59,626評(píng)論 1 296
  • 正文 為了忘掉前任,我火速辦了婚禮沿癞,結(jié)果婚禮上援雇,老公的妹妹穿的比我還像新娘。我一直安慰自己椎扬,他們只是感情好惫搏,可當(dāng)我...
    茶點(diǎn)故事閱讀 68,625評(píng)論 6 397
  • 文/花漫 我一把揭開(kāi)白布。 她就那樣靜靜地躺著蚕涤,像睡著了一般筐赔。 火紅的嫁衣襯著肌膚如雪。 梳的紋絲不亂的頭發(fā)上揖铜,一...
    開(kāi)封第一講書人閱讀 52,255評(píng)論 1 308
  • 那天茴丰,我揣著相機(jī)與錄音,去河邊找鬼天吓。 笑死贿肩,一個(gè)胖子當(dāng)著我的面吹牛,可吹牛的內(nèi)容都是我干的龄寞。 我是一名探鬼主播尸曼,決...
    沈念sama閱讀 40,825評(píng)論 3 421
  • 文/蒼蘭香墨 我猛地睜開(kāi)眼,長(zhǎng)吁一口氣:“原來(lái)是場(chǎng)噩夢(mèng)啊……” “哼萄焦!你這毒婦竟也來(lái)了?” 一聲冷哼從身側(cè)響起,我...
    開(kāi)封第一講書人閱讀 39,729評(píng)論 0 276
  • 序言:老撾萬(wàn)榮一對(duì)情侶失蹤拂封,失蹤者是張志新(化名)和其女友劉穎茬射,沒(méi)想到半個(gè)月后,有當(dāng)?shù)厝嗽跇?shù)林里發(fā)現(xiàn)了一具尸體冒签,經(jīng)...
    沈念sama閱讀 46,271評(píng)論 1 320
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡在抛,尸身上長(zhǎng)有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 38,363評(píng)論 3 340
  • 正文 我和宋清朗相戀三年,在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了萧恕。 大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片刚梭。...
    茶點(diǎn)故事閱讀 40,498評(píng)論 1 352
  • 序言:一個(gè)原本活蹦亂跳的男人離奇死亡,死狀恐怖票唆,靈堂內(nèi)的尸體忽然破棺而出朴读,到底是詐尸還是另有隱情,我是刑警寧澤走趋,帶...
    沈念sama閱讀 36,183評(píng)論 5 350
  • 正文 年R本政府宣布衅金,位于F島的核電站,受9級(jí)特大地震影響簿煌,放射性物質(zhì)發(fā)生泄漏氮唯。R本人自食惡果不足惜,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 41,867評(píng)論 3 333
  • 文/蒙蒙 一姨伟、第九天 我趴在偏房一處隱蔽的房頂上張望惩琉。 院中可真熱鬧,春花似錦夺荒、人聲如沸瞒渠。這莊子的主人今日做“春日...
    開(kāi)封第一講書人閱讀 32,338評(píng)論 0 24
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽(yáng)在孝。三九已至,卻和暖如春淮摔,著一層夾襖步出監(jiān)牢的瞬間私沮,已是汗流浹背。 一陣腳步聲響...
    開(kāi)封第一講書人閱讀 33,458評(píng)論 1 272
  • 我被黑心中介騙來(lái)泰國(guó)打工和橙, 沒(méi)想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留仔燕,地道東北人。 一個(gè)月前我還...
    沈念sama閱讀 48,906評(píng)論 3 376
  • 正文 我出身青樓魔招,卻偏偏與公主長(zhǎng)得像晰搀,于是被迫代替她去往敵國(guó)和親。 傳聞我的和親對(duì)象是個(gè)殘疾皇子办斑,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 45,507評(píng)論 2 359