完整利用Rsync實現服務器/網站數據增量同步備份

我們在選擇VPS礁哄、服務器架設項目之后,所有的項目溪北、網站數據都需要我們自行備份和維護桐绒,即便有些服務商有提供管理型服務器,但是數據自行備份和管理才是較為靠譜的之拨。無論是網站茉继,還是其他項目,數據的備份方式有很多種蚀乔,有服務商提供的快照備份烁竭,也可以我們手工和自動利用腳本備份到本地服務器或者遠程服務器。

但是吉挣,較多的做法都只能做到定期和定時的備份派撕,如果我們網站項目數據吞吐量比較大,那定時備份并不能完美的解決數據的容災問題睬魂,萬一數據丟失或者不完整终吼,我們可能只能恢復到上一個備份點,也會產生數據丟失氯哮。如果我們項目比較大且數據重要际跪,定時備份的方式肯定不行的。

我們可以在定時備份的同時喉钢,采用增量同步備份,比如主服務器數據增加一剎那,也會在備份服務器中同步過去歇盼,如果我們數據更為重要的,還可以采用多臺備份服務器同步豹缀。在這篇文章中伯复,老部落(微信公眾號:imweber)重新整理一份較為完整且確實可行的Rsync同步增量備份方式。

第一啸如、準備工作

1氮惯、數據備份

如果我們沒有把握一次性搞定叮雳,我們可以準備兩臺測試環(huán)境服務器實現Rsync同步備份功能之后再用到生產環(huán)境想暗。如果用到生產環(huán)境,我們可以將服務器快照備份帘不,或者將網站、項目數據備份储狭。

2、服務器準備

這里我們采用的是Rsync同步增量備份辽狈,所以我們需要準備主服務器呛牲、以及一臺備份服務器。鑒于數據備份后的功能侈净,我們可以直接備份到備份服務器某一個目錄,或者將備份服務器安裝主服務器環(huán)境元扔,將需要備份的網站項目備份到對應的同目錄中旋膳。

3、端口開放

如果我們服務器沒有設定iptables防火墻規(guī)則验懊,那就不要設置端口。如果我們有設置iptables防火墻减俏,那就需要將873端口添加放行碱工。

vi /etc/sysconfig/iptables

打開iptables規(guī)則文檔,添加:

-A INPUT -p tcp -m state --state NEW -m tcp --dport 873 -j ACCEPT

編輯保存之后怕篷,然后/etc/init.d/iptables restart重啟才能生效。同樣的方法梳猪,我們需要在主服務器和備份服務器同時設置蒸痹。

第二呛哟、配置備份服務器

1惕稻、安裝rsync

yum install rsync xinetd -y

2、配置文件

vi /etc/xinetd.d/rsync

將配置文件disable參數從"yes"換成"no"公给。

3、創(chuàng)建配置文件

vi /etc/rsyncd.conf

創(chuàng)建文件蜘渣,然后將下面腳本添加:

log file = /var/log/rsyncd.logpidfile = /var/run/rsyncd.pidlock file

= /var/run/rsync.locksecrets file = /etc/rsync.passmotd file =

/etc/rsyncd.Motd#創(chuàng)建一個模塊名稱,后面需要一致[www.laobuluo.com]#備份服務器目錄地址path =

/home/wwwroot/www.laobuluo.com#對應上面模塊名稱comment = www.laobuluo.comuid =

rootgid = rootport = 873use chroot = noread only = nolist = nomax

connections = 200timeout = 600#創(chuàng)建一個同步用戶名腿准,隨便取拾碌,反正后面出現的時候要一致auth users =

www.laobuluo.com_user#主服務器IP地址hosts allow = xxx.xxx.xxx.xxx

根據我們網站項目以及服務器實際信息創(chuàng)建文件貼到配置文件中保存退出。

4弟跑、創(chuàng)建密碼配對文件

vi /etc/rsync.pass

創(chuàng)建密碼配對文件:

www.laobuluo.com_user:1234567890passwd

紅色字段需要對應上面的auth users防症,藍色部分是我們創(chuàng)建配對的密碼。后面主服務器配置的時候也需要用到密碼蔫敲,所以必須一致。

5貌虾、開放權限和啟動

chmod 600 /etc/rsyncd.confchmod 600 /etc/rsync.passservice xinetd restart

第三裙犹、配置主服務器

1、安裝rsync

yum install rsync xinetd -y

2伯诬、配置文件

vi /etc/xinetd.d/rsync

將配置文件disable參數從"yes"換成"no"巫财。

3、創(chuàng)建密碼配對文件

vi /etc/passwd.txt

將我們上面在備份服務器中藍色的密碼丟進來赫舒,必須一致。

4心赶、授權和啟動

chmod 600 /etc/passwd.txtservice xinetd restart

第四缺猛、配置主服務器

這一步我們繼續(xù)配置主服務器,需要安裝和配置inotify-tools來實現同步增量備份荔燎。

1、安裝環(huán)境包

yum install make gcc gcc-c++ -y

2琐簇、下載和安裝inotify-tools

cd /usr/local/srcwget

https://download.laobuluo.com/tools/inotify-tools-3.14.tar.gztar -zxvf

inotify-tools-3.14.tar.gzcd inotify-tools-3.14./configure

--prefix=/usr/local/inotifymakemake install

3座享、配置環(huán)境變量

echo "PATH=/usr/local/inotify/bin:$PATH"

>>/etc/profile.d/inotify.shsource /etc/profile.d/inotify.shecho

"/usr/local/inotify/lib" >/etc/ld.so.conf.d/inotify.confln -s

/usr/local/inotify/include /usr/include/inotify

4、配置參數

vi /etc/sysctl.conf

添加到腳本最后:

fs.inotify.max_queued_events=99999999fs.inotify.max_user_watches=99999999fs.inotify.max_user_instances=65535

5丈秩、創(chuàng)建觸發(fā)腳本

vi /usr/local/inotify/rsync.sh

創(chuàng)建腳本:

#!/bin/sh#同步主服務器網站目錄srcdir=/home/wwwroot/www.laobuluo.com#目錄名稱dstdir=www.laobuluo.comexcludedir=/usr/local/inotify/exclude.list#對應同步名稱要一致rsyncuser=www.laobuluo.com_userrsyncpassdir=/etc/passwd.txt#備份服務器IP地址dstip="xxx.xxx.xxx.xxx"for

ip in $dstipdorsync -avH --port=873 --progress --delete

--exclude-from=$excludedir $srcdir $rsyncuser@$ip::$dstdir

--password-file=$rsyncpassdirdone/usr/local/inotify/bin/inotifywait -mrq

--timefmt '%d/%m/%y %H:%M' --format '%T %w%f%e' -e

close_write,modify,delete,create,attrib,move $srcdir | while read

filedofor ip in $dstipdorsync -avH --port=873 --progress --delete

--exclude-from=$excludedir $srcdir $rsyncuser@$ip::$dstdir

--password-file=$rsyncpassdirecho " ${file} was rsynced" >>

/tmp/rsync.log 2>&1donedone

修改自行的文件和目錄诗箍,然后保存退出。

6滤祖、創(chuàng)建排除目錄列表

vi /usr/local/inotify/exclude.list

創(chuàng)建一個排除目錄匠童,這里可以添加不同步的目錄,一行一個目錄汤求。如果暫時沒有可以留空,以后需要用到在添加竖独。

7挤牛、授權和設置開機啟動

chmod +x /usr/local/inotify/rsync.sh

這里我們授權。

vi /etc/rc.d/rc.local

最后一行添加:

sh /usr/local/inotify/rsync.sh &

第五、檢測以及生效小結

1航瞭、檢查生效

設置完畢之后坦辟,我們可以通過手工檢查

sh /usr/local/inotify/rsync.sh &

在主服務器執(zhí)行腳本,如果看到有目錄在進度锉走,說明完美,然后去備份服務器中可以看到已經備份到的文件目錄疮绷。

2嚣潜、自動生效

重啟主服務器,然后就會自動生效懂算。如果不放心我們可以在主服務器對應目錄丟一個文件看看備份服務器是否有增加。

這樣喜德,我們就通過rsync實現主服務器與備份服務器之間的同步增量備份垮媒,來解決大數據吞吐的解決容災問題。如果我們數據不大睡雇,可以采用定時和手工備份,畢竟這樣一套設置下來確實比較費時間秕豫。

本文原創(chuàng)來自:https://www.laobuluo.com/1070.html

?著作權歸作者所有,轉載或內容合作請聯系作者
  • 序言:七十年代末观蓄,一起剝皮案震驚了整個濱河市,隨后出現的幾起案子歌径,更是在濱河造成了極大的恐慌亲茅,老刑警劉巖金矛,帶你破解...
    沈念sama閱讀 222,590評論 6 517
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件勺届,死亡現場離奇詭異娶耍,居然都是意外死亡,警方通過查閱死者的電腦和手機胚膊,發(fā)現死者居然都...
    沈念sama閱讀 95,157評論 3 399
  • 文/潘曉璐 我一進店門想鹰,熙熙樓的掌柜王于貴愁眉苦臉地迎上來,“玉大人喻犁,你說我怎么就攤上這事何缓。” “怎么了碌廓?”我有些...
    開封第一講書人閱讀 169,301評論 0 362
  • 文/不壞的土叔 我叫張陵谷婆,是天一觀的道長慨蛙。 經常有香客問我,道長期贫,這世上最難降的妖魔是什么廷区? 我笑而不...
    開封第一講書人閱讀 60,078評論 1 300
  • 正文 為了忘掉前任,我火速辦了婚禮埠帕,結果婚禮上玖绿,老公的妹妹穿的比我還像新娘。我一直安慰自己斑匪,他們只是感情好,可當我...
    茶點故事閱讀 69,082評論 6 398
  • 文/花漫 我一把揭開白布狡蝶。 她就那樣靜靜地躺著,像睡著了一般苏章。 火紅的嫁衣襯著肌膚如雪奏瞬。 梳的紋絲不亂的頭發(fā)上,一...
    開封第一講書人閱讀 52,682評論 1 312
  • 那天并淋,我揣著相機與錄音珍昨,去河邊找鬼。 笑死曼尊,一個胖子當著我的面吹牛,可吹牛的內容都是我干的骆撇。 我是一名探鬼主播,決...
    沈念sama閱讀 41,155評論 3 422
  • 文/蒼蘭香墨 我猛地睜開眼肴裙,長吁一口氣:“原來是場噩夢啊……” “哼涌乳!你這毒婦竟也來了?” 一聲冷哼從身側響起宛乃,我...
    開封第一講書人閱讀 40,098評論 0 277
  • 序言:老撾萬榮一對情侶失蹤蒸辆,失蹤者是張志新(化名)和其女友劉穎,沒想到半個月后谆奥,有當地人在樹林里發(fā)現了一具尸體拂玻,經...
    沈念sama閱讀 46,638評論 1 319
  • 正文 獨居荒郊野嶺守林人離奇死亡宰译,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內容為張勛視角 年9月15日...
    茶點故事閱讀 38,701評論 3 342
  • 正文 我和宋清朗相戀三年魄懂,在試婚紗的時候發(fā)現自己被綠了。 大學時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片肋坚。...
    茶點故事閱讀 40,852評論 1 353
  • 序言:一個原本活蹦亂跳的男人離奇死亡肃廓,死狀恐怖诲泌,靈堂內的尸體忽然破棺而出,到底是詐尸還是另有隱情哀蘑,我是刑警寧澤葵第,帶...
    沈念sama閱讀 36,520評論 5 351
  • 正文 年R本政府宣布,位于F島的核電站卒密,受9級特大地震影響,放射性物質發(fā)生泄漏膛腐。R本人自食惡果不足惜鼎俘,卻給世界環(huán)境...
    茶點故事閱讀 42,181評論 3 335
  • 文/蒙蒙 一、第九天 我趴在偏房一處隱蔽的房頂上張望贸伐。 院中可真熱鬧,春花似錦脯丝、人聲如沸歌逢。這莊子的主人今日做“春日...
    開封第一講書人閱讀 32,674評論 0 25
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽。三九已至赚导,卻和暖如春,著一層夾襖步出監(jiān)牢的瞬間吼旧,已是汗流浹背。 一陣腳步聲響...
    開封第一講書人閱讀 33,788評論 1 274
  • 我被黑心中介騙來泰國打工掂为, 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留员串,地道東北人。 一個月前我還...
    沈念sama閱讀 49,279評論 3 379
  • 正文 我出身青樓欲诺,卻偏偏與公主長得像渺鹦,于是被迫代替她去往敵國和親。 傳聞我的和親對象是個殘疾皇子毅厚,可洞房花燭夜當晚...
    茶點故事閱讀 45,851評論 2 361

推薦閱讀更多精彩內容

  • 蘇沐原創(chuàng)卧斟,轉載請聯系授權。 有些人珍语,驚鴻一瞥,從你的生命里一閃而過板乙,卻似飛機從空中劃過,留下長長的劃際線蛋铆。歷久不散...
    蘇沐執(zhí)筆閱讀 387評論 3 2
  • BSD Socket 服務器必須通過調用 bind(int socketFileDescriptor, socka...
    spbreak閱讀 446評論 0 2
  • 在朋友圈看到有一個朋友發(fā)了動態(tài)糊渊,不禁想起身邊的一對小情侶,正好可以用來回應她了吧渺绒! 從我上初中起贺喝,身邊就陸陸續(xù)續(xù)的...
    貳拾一_閱讀 834評論 3 8
  • 斯蒂芬·威廉·霍金(Stephen William Hawking宗兼,1942年1月8日至2018年3月14日)今天...
    灰叔漫畫閱讀 1,688評論 5 20
  • 如果你有一分鐘可以變成任何一個人殷绍,你想變成誰?以及在你成為那個人的60秒里你想做些什么篡帕?據說這個問題源自最近獲得諾...
    亂紅N閱讀 519評論 3 3