Day33-集群rsync應(yīng)用擴(kuò)展和企業(yè)項(xiàng)目案例

實(shí)踐排除復(fù)制:

NFS01:

[root@nfs01 ~]# mkdir /data -p

[root@nfs01 ~]# cd /data

[root@nfs01 /data]# touch {a..d}

[root@nfs01 /data]# ls

a ?b ?c ?d

--exclude 排除參數(shù)

例:排除 a b

[root@nfs01 /data]# rsync -avz /data/ --exclude=a --exclude=b ?rsync_backup@172.16.1.41::backup

sending incremental file list

./

c

d

排除1到4

[root@nfs01 /data]# touch {1..5}

[root@nfs01 /data]# rsync -avz /data/ --exclude={1..4} ?rsync_backup@172.16.1.41::backup

sending incremental file list

./

5

a

b

[root@nfs01 /data]# rsync -avz /data/ --exclude={1,3,a} ?rsync_backup@172.16.1.41::backup

sending incremental file list

2

4

--exclude-from 從文件排除

[root@nfs01 /data]# rsync -avz /data/ --exclude-from=./paichu.txt ?rsync_backup@172.16.1.41::backup

sending incremental file list

./

16

17

18

19

20

paichu.txt

實(shí)踐刪除:

rsync作為鏡像,相當(dāng)于raid1,讓兩臺(tái)服務(wù)器目錄保持一致八堡。

--delete 讓兩臺(tái)服務(wù)器目錄保持一致

推送:

rsync -avz --delete /data/ ?rsync_backup@172.16.1.41::backup

本地目錄有啥玄叠,遠(yuǎn)端就有啥。

注意:遠(yuǎn)端目錄是不是東西更多挎春,多了東西會(huì)被刪除。提前備份backup對(duì)應(yīng)的目錄。

rsync -avz --delete rsync_backup@172.16.1.41::backup /data/?

遠(yuǎn)端有啥躺苦。本地目錄就有啥,注意本地/data目錄产还。把/data改成根匹厘。提前注意備份本地/data

--partial 支持大文件斷點(diǎn)續(xù)傳

--bwlimit=KBPS 限速。

企業(yè)案例:

某上市公司脐区,白天高峰期某DBA人員從數(shù)據(jù)庫(kù)服務(wù)器通過(guò)rsync將上百GB數(shù)據(jù)復(fù)制到備份服務(wù)器愈诚,導(dǎo)致數(shù)據(jù)庫(kù)庫(kù)服務(wù)器帶寬占滿,造成用戶無(wú)法訪問(wèn)網(wǎng)站的悲劇牛隅。其實(shí)可以利用rsync限速功能炕柔,將復(fù)制速度限制在剩余帶寬的1/3或者1/2蚯根,可能就不會(huì)出現(xiàn)故障了

1)最簡(jiǎn)單的實(shí)現(xiàn)摩疑,可以在配置文件結(jié)尾加如下內(nèi)容(特殊底紋部分):

[root@backup ~]# cat /etc/rsyncd.conf

#rsync_config_______________start

#created by oldboy

#site: http://www.oldboyedu.com

uid = rsync

gid = rsync

use chroot = no

fake super = yes

max connections = 200

timeout = 600?

pid file = /var/run/rsyncd.pid

lock file = /var/run/rsync.lock

log file = /var/log/rsyncd.log

ignore errors

read only = false

list = false

hosts allow = 172.16.1.0/24

hosts deny = 0.0.0.0/32

auth users = rsync_backup

secrets file = /etc/rsync.password

[backup]

comment = welcome to oldboyedu backup.

path = /backup/

[data] ? ? ? ? #<==新模塊。

path = /data/ ?#<==新備份目錄迂求。

#除了增加以上兩行外默伍,讀者也可以設(shè)定更多的獨(dú)立配置參數(shù)欢嘿,例如:獨(dú)立虛擬用戶衰琐,獨(dú)立密碼文件等。

2)建立目錄并授權(quán)炼蹦。

[root@backup ~]# mkdir -p /data

[root@backup ~]# chown -R rsync.rsync /data

[root@backup ~]# ls -ld /data

drwxr-xr-x 2 rsync rsync 6 4月 ?16 10:04 /data

3)重啟rsync服務(wù)(只要修改配置羡宙,就考慮重載服務(wù))

[root@backup ~]# systemctl restart rsyncd

4)從客戶端訪問(wèn)測(cè)試

[root@backup ~]# ls /data

etc

1、內(nèi)部人員產(chǎn)生的數(shù)據(jù)(定時(shí)備份足矣):

程序員開(kāi)發(fā)代碼(他電腦上)==>代碼服務(wù)上(git/svn代碼版本管理)==>測(cè)試環(huán)境測(cè)試===>正式環(huán)境

原則上程序代碼可以不備份框弛。

運(yùn)維人員辛辨,寫個(gè)定時(shí)任務(wù),寫個(gè)備份腳本瑟枫,更改或增加服務(wù)配置rsyncd.conf斗搞,需要備份

運(yùn)維人員修改配置(測(cè)試服務(wù)器)==>代碼服務(wù)器上(git/svn代碼版本管理)==>測(cè)試環(huán)境測(cè)試===>正式環(huán)境

原則上運(yùn)維人員的變更可以不備份。

2慷妙、用戶產(chǎn)生的數(shù)據(jù)(必須實(shí)時(shí)備份)

圖片僻焚、視頻等文件是放在存儲(chǔ)服務(wù)器上的,任意時(shí)刻都可能傳上來(lái)膝擂,必須實(shí)時(shí)備份虑啤。

文本(博客文章),放在數(shù)據(jù)庫(kù)里架馋,狞山,任意時(shí)刻都可能發(fā)布,必須實(shí)時(shí)備份叉寂。

第一個(gè)里程碑:

41搭建好rsync服務(wù)萍启,并在31、7上測(cè)試成功屏鳍。

第二個(gè)里程碑 開(kāi)發(fā)腳本打包備份

/backup 備份目錄

/var/spool/cron/root /etc/rc.local /server/scripts /var/html/www /app/logs 需要備份的內(nèi)容

模擬創(chuàng)建:

[root@nfs01 ~]# mkdir -p /server/scripts

[root@web01 ~]# mkdir -p /server/scripts /var/html/www /app/logs

web01:

[root@web01 ~]# mkdir -p /backup

[root@web01 ~]# ls -ld /backup/

drwxr-xr-x 2 root root 6 4月 ?16 11:36 /backup/

[root@web01 /]# tar zcvhf /backup/bak_$(date +%F_%w).tar.gz /var/spool/cron/root /etc/rc.local /server/scripts /var/html/www /app/logs?

tar: 從成員名中刪除開(kāi)頭的“/”

/var/spool/cron/root

/etc/rc.local

/server/scripts/

/var/html/www/

/app/logs/

[root@web01 /]# ls /backup/

bak_2019-04-16_2.tar.gz

寫腳本:

[root@web01 /]# mkdir /server/scripts/ -p

[root@web01 /]# cd /server/scripts/

[root@web01 /server/scripts]# cat ?/server/scripts/bak.sh?

[root@web01 /server/scripts]# cat bak.sh?

#!/bin/sh

export PATH="/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/root/bin"

export RSYNC_PASSWORD=oldboy

IP=$(hostname -i)

mkdir -p /backup/$IP

#1.打包

tar zchf /backup/$IP/bak_$(date +%F_%w).tar.gz /var/spool/cron/root /etc/rc.local /server/scripts /var/html/www /app/logs &>/dev/null &&\

#2.刪除

find /backup/ -type f -name "*.tar.gz" -mtime +7|xargs rm -f &&\

#3.推送

rsync -az /backup/ rsync_backup@172.16.1.41::backup &>/dev/null

[root@web01 /server/scripts]# /bin/sh /server/scripts/bak.sh?

[root@web01 /server/scripts]# ls /backup/

bak_2019-04-16_2.tar.gz

定時(shí)任務(wù):

[root@web01 /server/scripts]# crontab -e

[root@web01 /server/scripts]# crontab -l|tail -2

######back.....

00 00 * * * /bin/sh /server/scripts/bak.sh >/dev/null 2>&1

[root@web01 /server/scripts]# find /backup/ -type f -name "*.tar.gz" -mtime +7|xargs rm -f

確保備份完整勘纯。

做flag和采集指紋

[root@nfs01 /server/scripts]# #采集人的指紋

[root@nfs01 /server/scripts]# md5sum oldboy.txt >zhiwen.log

[root@nfs01 /server/scripts]# cat zhiwen.log?

348bd3ce10ec00ecc29d31ec97cd5839 ?oldboy.txt

[root@nfs01 /server/scripts]# #校驗(yàn)

[root@nfs01 /server/scripts]# md5sum -c zhiwen.log?

oldboy.txt: 確定

[root@web01 /server/scripts]# cat bak.sh?

#!/bin/sh

export PATH="/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/root/bin"

export RSYNC_PASSWORD=oldboy

IP=$(hostname -i)

mkdir -p /backup/$IP

#1.打包

tar zchf /backup/$IP/bak_${IP}_$(date +%F_%w).tar.gz /var/spool/cron/root /etc/rc.local /server/scripts /var/html/www /app/logs &>/dev/null &&\

touch /backup/$IP/bak_${IP}_$(date +%F_%w).flag &&\

#采集指紋

find /backup/ -type f -name "*.tar.gz"|xargs md5sum >/backup/$IP/bak_${IP}_$(date +%F_%w).flag &&\

#2.刪除

find /backup/ -type f -name "*.tar.gz" -mtime +7|xargs rm -f &&\

#3.推送

rsync -az /backup/ rsync_backup@172.16.1.41::backup &>/dev/null

bak_172.16.1.7_2019-04-16_2.tar.gz ?

bak_172.16.1.7_2019-04-17_3.tar.gz ?

bak_172.16.1.7_2019-04-18_4.tar.gz ?

bak_172.16.1.7_2019-04-16_2.tar.gz ?

?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
  • 序言:七十年代末,一起剝皮案震驚了整個(gè)濱河市钓瞭,隨后出現(xiàn)的幾起案子驳遵,更是在濱河造成了極大的恐慌,老刑警劉巖山涡,帶你破解...
    沈念sama閱讀 219,270評(píng)論 6 508
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件堤结,死亡現(xiàn)場(chǎng)離奇詭異,居然都是意外死亡鸭丛,警方通過(guò)查閱死者的電腦和手機(jī)霍殴,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 93,489評(píng)論 3 395
  • 文/潘曉璐 我一進(jìn)店門,熙熙樓的掌柜王于貴愁眉苦臉地迎上來(lái)系吩,“玉大人,你說(shuō)我怎么就攤上這事妒蔚〈┌ぃ” “怎么了月弛?”我有些...
    開(kāi)封第一講書人閱讀 165,630評(píng)論 0 356
  • 文/不壞的土叔 我叫張陵,是天一觀的道長(zhǎng)科盛。 經(jīng)常有香客問(wèn)我帽衙,道長(zhǎng),這世上最難降的妖魔是什么贞绵? 我笑而不...
    開(kāi)封第一講書人閱讀 58,906評(píng)論 1 295
  • 正文 為了忘掉前任厉萝,我火速辦了婚禮,結(jié)果婚禮上榨崩,老公的妹妹穿的比我還像新娘谴垫。我一直安慰自己,他們只是感情好母蛛,可當(dāng)我...
    茶點(diǎn)故事閱讀 67,928評(píng)論 6 392
  • 文/花漫 我一把揭開(kāi)白布翩剪。 她就那樣靜靜地躺著,像睡著了一般彩郊。 火紅的嫁衣襯著肌膚如雪前弯。 梳的紋絲不亂的頭發(fā)上,一...
    開(kāi)封第一講書人閱讀 51,718評(píng)論 1 305
  • 那天秫逝,我揣著相機(jī)與錄音恕出,去河邊找鬼。 笑死违帆,一個(gè)胖子當(dāng)著我的面吹牛浙巫,可吹牛的內(nèi)容都是我干的。 我是一名探鬼主播前方,決...
    沈念sama閱讀 40,442評(píng)論 3 420
  • 文/蒼蘭香墨 我猛地睜開(kāi)眼狈醉,長(zhǎng)吁一口氣:“原來(lái)是場(chǎng)噩夢(mèng)啊……” “哼!你這毒婦竟也來(lái)了惠险?” 一聲冷哼從身側(cè)響起苗傅,我...
    開(kāi)封第一講書人閱讀 39,345評(píng)論 0 276
  • 序言:老撾萬(wàn)榮一對(duì)情侶失蹤,失蹤者是張志新(化名)和其女友劉穎班巩,沒(méi)想到半個(gè)月后渣慕,有當(dāng)?shù)厝嗽跇?shù)林里發(fā)現(xiàn)了一具尸體,經(jīng)...
    沈念sama閱讀 45,802評(píng)論 1 317
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡抱慌,尸身上長(zhǎng)有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 37,984評(píng)論 3 337
  • 正文 我和宋清朗相戀三年逊桦,在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了。 大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片抑进。...
    茶點(diǎn)故事閱讀 40,117評(píng)論 1 351
  • 序言:一個(gè)原本活蹦亂跳的男人離奇死亡强经,死狀恐怖,靈堂內(nèi)的尸體忽然破棺而出寺渗,到底是詐尸還是另有隱情匿情,我是刑警寧澤兰迫,帶...
    沈念sama閱讀 35,810評(píng)論 5 346
  • 正文 年R本政府宣布,位于F島的核電站炬称,受9級(jí)特大地震影響汁果,放射性物質(zhì)發(fā)生泄漏。R本人自食惡果不足惜玲躯,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 41,462評(píng)論 3 331
  • 文/蒙蒙 一据德、第九天 我趴在偏房一處隱蔽的房頂上張望。 院中可真熱鬧跷车,春花似錦棘利、人聲如沸。這莊子的主人今日做“春日...
    開(kāi)封第一講書人閱讀 32,011評(píng)論 0 22
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽(yáng)。三九已至不铆,卻和暖如春蝌焚,著一層夾襖步出監(jiān)牢的瞬間,已是汗流浹背誓斥。 一陣腳步聲響...
    開(kāi)封第一講書人閱讀 33,139評(píng)論 1 272
  • 我被黑心中介騙來(lái)泰國(guó)打工只洒, 沒(méi)想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留,地道東北人劳坑。 一個(gè)月前我還...
    沈念sama閱讀 48,377評(píng)論 3 373
  • 正文 我出身青樓毕谴,卻偏偏與公主長(zhǎng)得像,于是被迫代替她去往敵國(guó)和親距芬。 傳聞我的和親對(duì)象是個(gè)殘疾皇子涝开,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 45,060評(píng)論 2 355

推薦閱讀更多精彩內(nèi)容