day 30 備份服務(wù)rsync

網(wǎng)絡(luò)命令總結(jié)

ping命令

作用:測(cè)試命令是否可以ping通
選項(xiàng):
-c :測(cè)試ping的次數(shù)
-w:測(cè)試Ping的次數(shù)
-i: 發(fā)送包的間隔時(shí)間
-q: 查看ping的結(jié)果,不顯示過(guò)程
-f:快速ping

nc/telent /nmap命令

telnet: 檢查主機(jī)的遠(yuǎn)程端口是否開啟
telnet 10.0.0.200 22
nc 10.0.0.200 22
nmap -p [port ] 22 10.0.0.200
-p:設(shè)置本地主機(jī)使用的通信端口

tcpdump命令

作用:網(wǎng)絡(luò)抓包命令 (命令行)
wireshark 圖形化抓包軟件
格式:tcpdump [選項(xiàng)]
-i: 指定監(jiān)聽的接口
-nn:用Ip地址進(jìn)行監(jiān)聽
-c:指定抓包的次數(shù)
-X:把協(xié)議網(wǎng)關(guān)和包內(nèi)容都以16進(jìn)制顯示
-w:將流量保存到文件當(dāng)中
-r:讀取raw packets文件

備份服務(wù)rsync

系統(tǒng)主機(jī)克隆說(shuō)明
  1. 虛擬主機(jī)準(zhǔn)備工作
    (1) 虛擬主機(jī)網(wǎng)絡(luò)配置
    (2) 虛擬主機(jī)系統(tǒng)優(yōu)化
  2. 主機(jī)克隆過(guò)程說(shuō)明
    鏈接克隆:利用模板主機(jī)做為克隆主機(jī)生成鏈接克隆主機(jī)生均,節(jié)省資源空間芒填,效率高卡乾,但是依賴模板主機(jī)铸磅,一旦模板主機(jī)刪除功炮,鏈接主機(jī)就不能使用了筷弦。
    完整克吕哐荨:獨(dú)立于模板主機(jī),浪費(fèi)物理磁盤容量烂琴,效率低爹殊。
rsync概述

概念說(shuō)明:rsync是一款開源的備份工具,可以在不同之間進(jìn)行同步奸绷,可實(shí)現(xiàn)全量備份與增量備份梗夸,因此非常適合用于構(gòu)集中式備份或異地備份等應(yīng)用。
Rsync的監(jiān)聽端口號(hào):873
rsync的運(yùn)行模式:C/S
備份方式:
完全備份:將客戶端的所有數(shù)據(jù)備份到服務(wù)端下号醉,效率低下反症,占用空間。
增量備份:將客戶端的數(shù)據(jù)增量備份到服務(wù)端下畔派,效率高铅碍,節(jié)省空間,適合異地備份线椰。
作用:
(1)用于將數(shù)據(jù)信息進(jìn)行恢復(fù)胞谈;
(2)用于出現(xiàn)問(wèn)題進(jìn)行文件信息的對(duì)比。
(3)對(duì)網(wǎng)站服務(wù)數(shù)據(jù)進(jìn)行統(tǒng)一管理。
增量備份實(shí)現(xiàn)的兩種方式:
(1)比對(duì)文件屬性烦绳;
(2)比對(duì)md5加密數(shù)據(jù)卿捎;用到的是md5sum命令,如果修改文件的信息爵嗅,md5sum輸出的信息會(huì)大有不同娇澎。或者可以用rsync -c /etc/hosts命令和md5sum會(huì)有一樣的效果睹晒。

▽root@oldboy ~]# md5sum /etc/hosts
79cdfa52462ba75cac1c728451a045e6  /etc/hosts
[root@oldboy ~]# vim /etc/hosts
127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4
::1         localhost localhost.localdomain localhost6 localhost6.localdomain6
10.0.0.5    lb01
10.0.0.6    lb02
10.0.0.7    web01
10.0.0.8    web02
10.0.0.9    web03
10.0.0.31   nfs01
10.0.0.41   backup
10.0.0.51   db01
10.0.0.61   m01
10.0.0.71   zabbix

~                                                                                                         
~                                                                                                                                                                                                  
"/etc/hosts" 13L, 336C written                                                               
[root@oldboy ~]# md5sum /etc/hosts
a14fefb7723d76ea86c2de2bce6bff6b  /etc/hosts
rsync的應(yīng)用場(chǎng)景

推(push):將所有主機(jī)的數(shù)據(jù)推下服務(wù)端趟庄,會(huì)導(dǎo)致數(shù)據(jù)同步緩慢(適合少量數(shù)據(jù)備份)
拉(pull): 將服務(wù)器的數(shù)據(jù)下載到主機(jī),會(huì)導(dǎo)致備份服務(wù)器開銷大伪很。
在工作中備份服務(wù)器設(shè)置的數(shù)量說(shuō)明:
同一機(jī)房應(yīng)該有多個(gè)備份服務(wù)器戚啥;
不同機(jī)房應(yīng)該有多個(gè)備份服務(wù)器;
不同地址位置應(yīng)該有多個(gè)備份服務(wù)器锉试。
例如:中石油備份數(shù)據(jù)架構(gòu)解決方案:兩地三中心
需要備份什么樣的數(shù)據(jù):
1.內(nèi)部人員就備份的數(shù)據(jù)信息包括:腳本信息或者代碼信息猫十,每個(gè)服務(wù)的配置文件,數(shù)據(jù)庫(kù)文件呆盖,日志文件等拖云。這些文件都以定時(shí)任務(wù)的方式進(jìn)行數(shù)據(jù)備份;
2.外部人員備份的數(shù)據(jù)信息包括:主要是用戶信息应又,視頻宙项,圖片和附件信息。這些文件都以實(shí)時(shí)數(shù)據(jù)備份株扛。

rsync的本地傳輸方式

Local: rsync [OPTION...] SRC... [DEST]
Rsync:命令
Option:選項(xiàng)
SRC:目標(biāo)主機(jī)源文件
DEST:下載至本地哪個(gè)位置

[root@oldboy ~]# rsync /etc/hosts /tmp/
[root@oldboy ~]# ls /tmp/
hosts        vmware-root_5884-969520887   vmware-root_6057-1681202140  vmware-root_6134-1003139195
oldboy1.txt  vmware-root_5963-1690049222  vmware-root_6064-734560284
oldboy2.txt  vmware-root_6052-692291465   vmware-root_6108-960608207
oldboy3.txt  vmware-root_6054-700614155   vmware-root_6111-1983327635

[root@oldboy ~]# rsync -a oldboy /tmp/
[root@oldboy ~]# ls /tmp/
hosts                        vmware-root_6052-692291465   vmware-root_6108-960608207
oldboy                       vmware-root_6054-700614155   vmware-root_6111-1983327635
vmware-root_5884-969520887   vmware-root_6057-1681202140  vmware-root_6134-1003139195
vmware-root_5963-1690049222  vmware-root_6064-734560284
PS:可以看出尤筐,備份的是oldboy目錄及以下的所有文件

[root@oldboy ~]# rsync  -a oldboy/ /tmp/
[root@oldboy ~]# ls /tmp/
hosts        vmware-root_5884-969520887   vmware-root_6057-1681202140  vmware-root_6134-1003139195
oldboy1.txt  vmware-root_5963-1690049222  vmware-root_6064-734560284
oldboy2.txt  vmware-root_6052-692291465   vmware-root_6108-960608207
oldboy3.txt  vmware-root_6054-700614155   vmware-root_6111-1983327635
PS:如果oldboy后面加/,備份的是下面的所有文件信息。
rsync備份的遠(yuǎn)程信息

Access via remote shell:
Pull: rsync [OPTION...] [USER@]HOST:SRC... [DEST]
Push: rsync [OPTION...] SRC... [USER@]HOST:DEST
Pull:下載洞就,拉取命令
[USER@]:登錄遠(yuǎn)程主機(jī)用戶信息盆繁,默認(rèn)使用當(dāng)前用戶進(jìn)行連接
HOST::遠(yuǎn)程主機(jī)IP信息或者主機(jī)名稱信息
SRC...:遠(yuǎn)程主機(jī)信息備份到本地信息
[DEST]: 將數(shù)據(jù)保存到本地主機(jī)路徑
Push:上傳,推命令
SRC...:本地主機(jī)信息備份到遠(yuǎn)程主機(jī)
[USER@]:登錄遠(yuǎn)程主機(jī)用戶信息旬蟋,默認(rèn)使用當(dāng)前用戶進(jìn)行連接
HOST::遠(yuǎn)程主機(jī)IP信息或者主機(jī)名稱信息
DEST:將數(shù)據(jù)保存到遠(yuǎn)程主機(jī)路徑

[root@oldboy ~]# scp -r /etc/hosts 172.16.1.41:/tmp/
The authenticity of host '172.16.1.41 (172.16.1.41)' can't be established.
ECDSA key fingerprint is SHA256:qh/xYmE6E7fb4x5uxLP1ZgTA5W4Vsp/Kjy4VLOputcQ.
ECDSA key fingerprint is MD5:99:3d:3a:63:01:ed:d8:bf:14:ca:ab:34:29:9f:48:d1.
Are you sure you want to continue connecting (yes/no)? yes
Warning: Permanently added '172.16.1.41' (ECDSA) to the list of known hosts.
root@172.16.1.41's password: 
hosts                                                                        100%  336   465.0KB/s   00:00    

[root@backup ~]# ls /tmp/
hosts             vmware-root_5647-1958685219  vmware-root_6023-1715281389  yum.log
ks-script-1g4Paa  vmware-root_5931-1957964446  vmware-root_6057-1681202140
rsync守護(hù)進(jìn)程配置方式
  • 服務(wù)端的配置方式
    第一步:檢查軟件是否安裝
[root@backup ~]# rpm -qa | grep rsync
rsync-3.1.2-4.el7.x86_64

第二步:配置文件信息內(nèi)容

[root@backup ~]# cat /etc/rsyncd.conf 
uid = rsync
gid = rsync
port = 873
#fake super = yes
use chroot = no
max connections = 200
timeout = 300
pid file = /var/run/rsyncd.pid
lock file = /var/run/rsync.lock
log file = /var/log/rsyncd.log
ignore errors
read only = false
list = false
hosts allow = 172.16.1.0/24
hosts deny = 0.0.0.0/32
auth users = rsync_backup
secrets file = /etc/rsync.password
[backup]
comment = "backup dir by oldboy"
path = /backup
注釋信息:
# 管理備份目錄的屬主信息 uid = rsync
# 管理備份目錄的屬組信息 gid = rsync
# 備份服務(wù)的默認(rèn)端口信息 port = 873
# 不讓rsync以root用戶運(yùn)行油昂,允許接收文件的完整屬性#fake super = yes
# 禁錮推送的數(shù)據(jù)至某個(gè)目錄,不允許跳出該目錄 use chroot = no
# 最大連接數(shù)量  max connections = 200
# 連接超時(shí)時(shí)間(默認(rèn)是秒) timeout = 300
# 記錄服務(wù)進(jìn)程號(hào)碼文件 pid file = /var/run/rsyncd.pid
# 當(dāng)最大連數(shù)量達(dá)到上限咖为,利用鎖文件阻止新的連接lock file = /var/run/rsync.lock
# 備份服務(wù)的日志文件log file = /var/log/rsyncd.log
# 忽略錯(cuò)誤信息 ignore errors
# 可讀可寫read only = false
# 不允許查看模塊信息list = false
# 設(shè)置訪問(wèn)策略 白名單hosts allow = 172.16.1.0/24
# 設(shè)置訪問(wèn)策略 黑名單 hosts deny = 0.0.0.0/32
# 定義虛擬用戶作為連接的認(rèn)證用戶 auth users = rsync_backup
# 定義rsync服務(wù)用戶連接認(rèn)證的密碼文件路徑 secrets file = /etc/rsync.password
# 模塊名稱[backup]
# 模塊注釋 信息comment = "backup dir by oldboy"
# 定義接收備份數(shù)據(jù)目錄 path = /backup

第三步:創(chuàng)建虛擬用戶rsync

Useradd -M -s /sbin/nologin rsync

第四步:創(chuàng)建密碼文件秕狰,并修改密碼文件權(quán)限信息

[root@backup ~]# cat /etc/rsync.password
rsync_backup:oldboy123

第五步:創(chuàng)建備份目錄,修改目錄的屬主和屬組信息

[root@backup ~]# ll /backup/ -d
drwxr-xr-x 2 rsync rsync 6 Aug 12 19:06 /backup/
[root@backup ~]# chown   -R rsync.rsync /backup/    

第六步:?jiǎn)?dòng)或重啟服務(wù)

Systemctl restart rsyncd
  • 客戶端進(jìn)行測(cè)試
[root@oldboy ~]# rsync -avz /root/read.sh  rsync_backup@172.16.1.41::backup
Password: 
sending incremental file list
read.sh
rsync: chgrp ".read.sh.nkY1Sc" (in backup) failed: Operation not permitted (1)

sent 325 bytes  received 126 bytes  100.22 bytes/sec
total size is 450  speedup is 1.00
rsync error: some files/attrs were not transferred (see previous errors) (code 23) at main.c(1178) [sender=3.1.2]
rsync的原理

rsync的原理
第一步:客戶端向服務(wù)端發(fā)送請(qǐng)求傳輸數(shù)據(jù)躁染,數(shù)據(jù)內(nèi)容包括命令信息,認(rèn)證用戶信息和傳輸數(shù)據(jù)信息架忌。
第二步:服務(wù)端向客戶端發(fā)送接收信息吞彤,并審核認(rèn)證的用戶,會(huì)回復(fù)提示輸入密碼的信息;
第三步:客戶端接收到服務(wù)端的指令饰恕,并輸入密碼信息挠羔,發(fā)送請(qǐng)求并傳輸數(shù)據(jù);
第四步:服務(wù)端接收到客戶端的密碼信息埋嵌,并進(jìn)行審核密碼是否正確破加,正確則會(huì)發(fā)送客戶端確認(rèn)信息;
第五步:客戶端向服務(wù)端發(fā)送數(shù)據(jù)進(jìn)行傳輸雹嗦,對(duì)用戶信息進(jìn)行轉(zhuǎn)換------>rsync
第六步:服務(wù)端接收數(shù)據(jù)完畢范舀,保存到備份目錄當(dāng)中,備份目錄的屬主為rsync了罪。

rsync的命令格式
image.png
守護(hù)進(jìn)程多模塊的調(diào)用
  • 守護(hù)進(jìn)程多模塊的創(chuàng)建
[root@backup ~]# tail /etc/rsyncd.conf 
[sa_backup]
comment = "backup dir by oldboy"
path = /sa_backup
exclude from = /backup/sa_backup/oldboy/exclude.txt
[dev_backup]
comment = "backup dir by oldboy"
path = /backup/dev_backup
[dba_backup]
comment = "backup dir by oldboy"
path = /backup/dba_backup
  • 守護(hù)進(jìn)程 數(shù)據(jù)排除功能
    --exclude :排除指定文件信息
    --exclude-from:排除多個(gè)文件信息
    服務(wù)端:
    exclude
    exclude from
    在全局模式中锭环, 所有模塊都可以生效;
    在局部模式中泊藕,只有設(shè)置exclude模塊可以生效辅辩。
  • 守護(hù)進(jìn)程無(wú)差異同步
    --delete 客戶端數(shù)據(jù)向服務(wù)端無(wú)差異性傳輸數(shù)據(jù)。
  • 守護(hù)進(jìn)程模式創(chuàng)建子目錄
  • 守護(hù)進(jìn)程模式訪問(wèn)控制策略
    白名單/黑名單
    第一種情況:只有允許的白名單策略娃圆,沒(méi)有禁止黑名單玫锋,白名單可以放行,其它流量阻止讼呢;
    第二種情況:沒(méi)有允許的白名單撩鹿,只有禁止黑名單,黑名單阻止吝岭,其它放行三痰;
    第三種情況:有白名單也有黑名單,對(duì)白名單放行窜管,對(duì)黑名單阻止散劫,默認(rèn)允許。
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
  • 序言:七十年代末幕帆,一起剝皮案震驚了整個(gè)濱河市获搏,隨后出現(xiàn)的幾起案子,更是在濱河造成了極大的恐慌失乾,老刑警劉巖常熙,帶你破解...
    沈念sama閱讀 211,561評(píng)論 6 492
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件,死亡現(xiàn)場(chǎng)離奇詭異碱茁,居然都是意外死亡裸卫,警方通過(guò)查閱死者的電腦和手機(jī),發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 90,218評(píng)論 3 385
  • 文/潘曉璐 我一進(jìn)店門纽竣,熙熙樓的掌柜王于貴愁眉苦臉地迎上來(lái)墓贿,“玉大人茧泪,你說(shuō)我怎么就攤上這事×” “怎么了队伟?”我有些...
    開封第一講書人閱讀 157,162評(píng)論 0 348
  • 文/不壞的土叔 我叫張陵,是天一觀的道長(zhǎng)幽勒。 經(jīng)常有香客問(wèn)我嗜侮,道長(zhǎng),這世上最難降的妖魔是什么啥容? 我笑而不...
    開封第一講書人閱讀 56,470評(píng)論 1 283
  • 正文 為了忘掉前任锈颗,我火速辦了婚禮,結(jié)果婚禮上干毅,老公的妹妹穿的比我還像新娘宜猜。我一直安慰自己,他們只是感情好硝逢,可當(dāng)我...
    茶點(diǎn)故事閱讀 65,550評(píng)論 6 385
  • 文/花漫 我一把揭開白布姨拥。 她就那樣靜靜地躺著,像睡著了一般渠鸽。 火紅的嫁衣襯著肌膚如雪叫乌。 梳的紋絲不亂的頭發(fā)上,一...
    開封第一講書人閱讀 49,806評(píng)論 1 290
  • 那天徽缚,我揣著相機(jī)與錄音憨奸,去河邊找鬼。 笑死凿试,一個(gè)胖子當(dāng)著我的面吹牛排宰,可吹牛的內(nèi)容都是我干的。 我是一名探鬼主播那婉,決...
    沈念sama閱讀 38,951評(píng)論 3 407
  • 文/蒼蘭香墨 我猛地睜開眼板甘,長(zhǎng)吁一口氣:“原來(lái)是場(chǎng)噩夢(mèng)啊……” “哼!你這毒婦竟也來(lái)了详炬?” 一聲冷哼從身側(cè)響起盐类,我...
    開封第一講書人閱讀 37,712評(píng)論 0 266
  • 序言:老撾萬(wàn)榮一對(duì)情侶失蹤,失蹤者是張志新(化名)和其女友劉穎呛谜,沒(méi)想到半個(gè)月后在跳,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體,經(jīng)...
    沈念sama閱讀 44,166評(píng)論 1 303
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡隐岛,尸身上長(zhǎng)有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 36,510評(píng)論 2 327
  • 正文 我和宋清朗相戀三年猫妙,在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了。 大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片聚凹。...
    茶點(diǎn)故事閱讀 38,643評(píng)論 1 340
  • 序言:一個(gè)原本活蹦亂跳的男人離奇死亡吐咳,死狀恐怖逻悠,靈堂內(nèi)的尸體忽然破棺而出元践,到底是詐尸還是另有隱情韭脊,我是刑警寧澤,帶...
    沈念sama閱讀 34,306評(píng)論 4 330
  • 正文 年R本政府宣布单旁,位于F島的核電站沪羔,受9級(jí)特大地震影響,放射性物質(zhì)發(fā)生泄漏象浑。R本人自食惡果不足惜蔫饰,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 39,930評(píng)論 3 313
  • 文/蒙蒙 一、第九天 我趴在偏房一處隱蔽的房頂上張望愉豺。 院中可真熱鬧篓吁,春花似錦、人聲如沸蚪拦。這莊子的主人今日做“春日...
    開封第一講書人閱讀 30,745評(píng)論 0 21
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽(yáng)驰贷。三九已至盛嘿,卻和暖如春,著一層夾襖步出監(jiān)牢的瞬間括袒,已是汗流浹背次兆。 一陣腳步聲響...
    開封第一講書人閱讀 31,983評(píng)論 1 266
  • 我被黑心中介騙來(lái)泰國(guó)打工, 沒(méi)想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留锹锰,地道東北人芥炭。 一個(gè)月前我還...
    沈念sama閱讀 46,351評(píng)論 2 360
  • 正文 我出身青樓,卻偏偏與公主長(zhǎng)得像恃慧,于是被迫代替她去往敵國(guó)和親园蝠。 傳聞我的和親對(duì)象是個(gè)殘疾皇子,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 43,509評(píng)論 2 348

推薦閱讀更多精彩內(nèi)容

  • 轉(zhuǎn)載自駿馬金龍的博客 2.1 說(shuō)在前面的話 rsync官方網(wǎng)站 rsync是可以實(shí)現(xiàn)增量備份的工具糕伐。配合任務(wù)計(jì)劃砰琢,...
    whisshe閱讀 3,855評(píng)論 0 3
  • 一、服務(wù)學(xué)習(xí)技巧 1.安裝部署 yum良瞧、rpm(一解決軟件之間的依賴關(guān)系陪汽;二知曉軟件屬于哪個(gè)安裝包)、編譯(在ng...
    荊俊瑋閱讀 399評(píng)論 0 0
  • 1.ping --- 測(cè)試網(wǎng)絡(luò)連通性 -c ---指定數(shù)據(jù)包發(fā)送數(shù)量-i --- 指定數(shù)據(jù)包發(fā)送間隔-q ---指...
    斗魂_2e5d閱讀 203評(píng)論 0 0
  • rsync 備份服務(wù)器,相當(dāng)于倉(cāng)庫(kù) 1.什么是rsync赞庶? (片面理解:sync是把數(shù)據(jù)寫入磁盤训挡,前邊加一個(gè)r,...
    國(guó)王12閱讀 455評(píng)論 0 0
  • 測(cè)試環(huán)境: rsync-server:192.168.1.132 rsync-client:192.168.1.2...
    lailai900201閱讀 2,356評(píng)論 0 10