4.15Day32rsync推拉數(shù)據(jù)文件功能實現(xiàn)含懊。

1、什么是rsync玄括?
rsync,Rsync英文全稱為Remote synchronization 縮寫rsync
是開源肉瓦、高速的遭京、可實現(xiàn)本地以及遠程胃惜,全量以及增量的數(shù)據(jù)復制(拷貝)工具。

2哪雕、全量和增量區(qū)別
全量復制:
[root@nfs01 ~]# cp -a /etc/ /opt/
[root@nfs01 ~]# \cp -a /etc/ /opt
[root@nfs01 ~]# touch /etc/oldboy.txt
[root@nfs01 ~]# \cp -a /etc/ /opt/
增量復制:
只復制oldboy.txt

3船殉、rsync的做作用
工作中需要定時/實時數(shù)據(jù)備份。本地服務器目錄斯嚎、不同機器利虫、
不同機房之間的數(shù)據(jù)備份,都可以用rsync完成
4堡僻、rsync 功能特性
? 支持拷貝普通文件與特殊文件糠惫,如鏈接文件,設備文件等苦始。
? 支持排除指定文件或目錄同步的功能寞钥,相當于打包命令tar的排除功能。
? 可以做到保持原文件或目錄的權限陌选、時間理郑、軟硬鏈接、屬主咨油、組等所有屬性均不改變您炉。
? 可實現(xiàn)增量復制,既只復制發(fā)生變化的數(shù)據(jù)役电,因此數(shù)據(jù)傳輸效率很高赚爵。
? 可以使用rcp,rsh,ssh等方式來配合進行隧道加密傳輸文件(rsync本身不對數(shù)據(jù)加密)。
? 可以通過socket(進程方式)傳輸文件和數(shù)據(jù)(服務端和客戶端)*法瑟。
? 支持匿名或認證(無需系統(tǒng)用戶)進程模式傳輸冀膝,安全的進行數(shù)據(jù)備份及鏡像
5、rsync增量復制原理
使用 quick check算法霎挟,只對增量的部分復制窝剖,根據(jù)大小屬性的變化進行復制。
6酥夭、rsync三種工作模式
1)本地(local)
rsync就是一個命令
rsync [OPTION...] SRC... [DEST]
rsync命令 參數(shù)選項 [源目錄或文件] 目的目錄或文件
命令操作:
a赐纱、把數(shù)據(jù)從一個地方復制到另一個地方(僅在一再機器增量) 相當于cp
b、通過加參數(shù)實現(xiàn)刪除的功能相當于rm
c熬北、查看屬性信息的功能(類似ls)
檢驗a:
[root@backup ~]# rsync /etc/hosts /opt
[root@backup ~]# ls
1.sh anaconda-ks.cfg 培訓要求.txt
[root@backup ~]# ls /opt
hosts
[root@backup ~]# \cp /etc/hosts /opt
[root@backup ~]# ls /opt
hosts
[root@backup ~]# ll /etc/hosts /opt/hosts
-rw-r--r--. 1 root root 332 4月 14 15:04 /etc/hosts
-rw-r--r-- 1 root root 332 4月 15 10:08 /opt/hosts
檢測b
root@backup ~]# touch /null.txt
[root@backup ~]# cat /opt/hosts
127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4
::1 localhost localhost.localdomain localhost6 localhost6.localdomain6
172.16.1.5 lb01
172.16.1.6 lb02
172.16.1.7 web01
172.16.1.8 web02
172.16.1.9 web03
172.16.1.31 nfs01
172.16.1.41 backup
172.16.1.51 db01 db01.etiantian.org
172.16.1.61 m01
[root@backup ~]# rsync --delete /null.txt /opt/hosts
rsync: --delete does not work without --recursive (-r) or --dirs (-d).
rsync error: syntax or usage error (code 1) at main.c(1567) [client=3.1.2]
[root@backup ~]# rsync -r --delete /null.txt /opt/hosts
[root@backup ~]# cat /opt/hosts

c.查看屬性
[root@backup ~]# rsync /etc/hosts
-rw-r--r--            332 2019/04/12 11:24:41 hosts

2)遠程shell模式
借助類似ssh隧道傳輸數(shù)據(jù)疙描。適合不同的機器之間復制
異地拷貝,想打關于scp讶隐,區(qū)別是scp是遠程全量拷貝

pull 拉:從遠端拉取到本地起胰。
root@nfs01 /opt]# rsync -avz  root@172.16.1.41:/opt/ltd.txt ./
root@172.16.1.41's password: 
receiving incremental file list
ltd.txt

sent 43 bytes  received 86 bytes  51.60 bytes/sec
total size is 0  speedup is 0.00
[root@nfs01 /opt]# ls
ltd.txt
push 推:從本地推到遠端。
[root@nfs01 ~]# rsync -avz /etc/hosts root@172.16.1.41:/opt  #加密傳輸整份。
The authenticity of host '172.16.1.41 (172.16.1.41)' can't be established.
ECDSA key fingerprint is SHA256:mZ5zbiY0APRD4omvLVkJB+TY9vn1ylX28Z88G2Ma+1M.
ECDSA key fingerprint is MD5:fe:ac:4e:f1:98:ee:8a:43:af:43:90:59:09:5b:3a:3e.
Are you sure you want to continue connecting (yes/no)? y
Please type 'yes' or 'no': y
Please type 'yes' or 'no': yes
Warning: Permanently added '172.16.1.41' (ECDSA) to the list of known hosts.
root@172.16.1.41's password: 
sending incremental file list
hosts

sent 85 bytes  received 41 bytes  8.69 bytes/sec
total size is 332  speedup is 2.63
檢查:
[root@backup ~]# cd /opt
[root@backup /opt]# ls
hosts

拉的命令:
1)rsync -avz root@172.16.1.41:/opt/hosts /opt
2)rsync -avz -e "ssh -p 22" root@172.16.1.41:/opt/hosts /opt

推拉:
a待错。參照物籽孙,執(zhí)行命令的機器
b root@172.16.1.41

重點:
null和null/區(qū)別。null是目錄和目錄下的內(nèi)容
null/只是目錄下的內(nèi)容火俄,不含本身

3)rsync 守護進程模式
首先要搭建服務端(要有守護進程)犯建,然后才能在客戶端實現(xiàn)推拉數(shù)據(jù)
重要模式,重點講瓜客。
配置服務器端守護進程适瓦,實現(xiàn)數(shù)據(jù)傳輸
1、服務器端守護進程 2谱仪、 客戶端執(zhí)行命令

rsync服務模式:*****開啟后臺進程玻熙,接受別人訪問。

7疯攒、rsync命令參數(shù):
-v, --verbose 顯示輸出過程
-z, --compress 壓縮
-a, --archive 多參數(shù)集合(-rtopgDl)
-r, --recursive 遞歸
-t, --times 保持修改時間屬性
-o, --owner 保持屬主不變
-p, --perms 保持權限不變
-g, --group 保持用戶組不變
-l, --links 保持拷貝軟連接
-q, --quiet 安靜的拷貝
--bwlimit=KBPS 限制I/O帶寬嗦随,KBytes per second。
--delete 刪除
--exclude 排除
--exclude-from 從文件中排除
企業(yè)常用參數(shù)組合:-avz 或者 -vzrtopg

8敬尺、rsync守護進程模式應用實踐
1) 查看esync版本信息:
[root@backup ~]# rsync --version
rsync version 3.1.2 protocol version 31
2) 配置配置文件
[root@backup ~]# cat /etc/rsyncd.conf -n
1 #rsync_config_______________start
2 #created by oldboy
3 #site: http://www.oldboyedu.com
4 uid = rsync <====管理備份目錄的用戶
5 gid = rsync <====管理備份目錄的用戶組
6 use chroot = no <====安全功能枚尼,數(shù)據(jù)是否鎖定到備份目錄
7 max connections = 200 <====并發(fā)鏈接 最大同時客戶端訪問數(shù)為200
8 timeout = 600 <====超時時間 (鏈接長時間不動,要盡早結束)
9 pid file = /var/run/rsyncd.pid <====進程號所在文件
10 lock file = /var/run/rsync.lock <====鎖文件
11 log file = /var/log/rsyncd.log <====日志文件砂吞,查看報錯等
12 ignore errors <====忽略錯誤
13 read only = false <====可寫的意思
14 list = false <====不允許列表(服務端無法查看客戶端文件)
15 hosts allow = 172.16.1.0/24 <====哪些主機可以訪問 下面二選一
16 hosts deny = 0.0.0.0/32 <====那些主機不允許訪問 上面二選一
17 auth users = rsync_backup <====遠程虛擬鏈接用戶
18 secrets file = /etc/rsync.password <====存放密碼文件:格式:用戶名:密碼 權限必須600
19 [backup] <====[模塊名] 遠程訪問使用模塊名訪問
20 comment = welcome to oldboyedu backup! <====說明注釋
21 path = /backup/ <====服務器端用于備份的目錄署恍,用戶和用戶 rsync.rsync

 創(chuàng)建用戶和備份目錄
 [root@backup ~]# useradd rsync
[root@backup ~]# id rsync
uid=1001(rsync) gid=1001(rsync) 組=1001(rsync)
 [root@backup ~]# mkdir -p /backup
[root@backup ~]# chown -R rsync.rsync /backup

 要學會了解知識點的源頭。
 man rsync  查看命令的參數(shù)
 man sryncd蜻直。conf 查配置參數(shù)

3)啟動和檢查
rsync --damon
systemctl start rsyncd 啟動rsync
systemctl status rsyncd 查看狀態(tài)
systemctl enable rsyncd 現(xiàn)在啟動
ps -ef|grep sync|grep -v grep #檢查進程
root 7521 1 0 11:39 ? 00:00:00 /usr/bin/rsync --daemon --no-detach

如何查看某端口對應什么服務盯质?答案如下
netstat -lntup|grep 873 #檢查端口
tcp        0      0 0.0.0.0:873             0.0.0.0:*               LISTEN      7521/rsync          
tcp6       0      0 :::873                  :::*                    LISTEN      7521/rsync  

lsof -i :873 #檢查端口
COMMAND  PID USER   FD   TYPE DEVICE SIZE/OFF NODE NAME
rsync   7521 root    3u  IPv4  41439      0t0  TCP *:rsync (LISTEN)
rsync   7521 root    5u  IPv6  41440      0t0  TCP *:rsync (LISTEN)

4)配置密碼文件:服務端
認證用戶密碼:
方法一:
[root@backup ~]# echo "rsync_backup:oldboy" > /etc/rsync.password
[root@backup ~]# cat /etc/rsync.password
rsync_backup:oldboy
[root@backup ~]# ls -l /etc/rsync.password
-rw-r--r-- 1 root root 20 4月 15 11:54 /etc/rsync.password
[root@backup /etc]# ll /etc/rsync.password
-rw------- 1 root root 20 4月 19 21:33 /etc/rsync.password

(2)以下操作都是在客戶端服務器
方法1:認證密碼文件
[root@nfs01 ~]# echo "oldboy" > /etc/rsync.password
[root@nfs01 ~]# chmod 600 /etc/rsync.password
[root@nfs01 ~]# cat /etc/rsync.password
oldboy
[root@nfs01 ~]# ls -l /etc/rsync.password
-rw------- 1 root root 7 4月 15 11:55 /etc/rsync.password

方法二:
[root@nfs01 ~]# echo ' export RSYNC_PASSWORD=oldboy' >>/etc/bashrc 
[root@nfs01 ~]# tail -1 /etc/bashrc 
 export RSYNC_PASSWORD=oldboy
[root@nfs01 ~]# . /etc/bashrc 
[root@nfs01 ~]# echo $RSYNC_PASSWORD
oldboy

(3)守護進程模式,客戶端rsync的命令語法:

配置服務器端守護進程概而,實現(xiàn)數(shù)據(jù)傳輸:

1呼巷、服務器端守護進程。2赎瑰、客戶端執(zhí)行命令朵逝。
拉門、推門 思考:

pull,拉:從遠端拉取到本地乡范。
語法1(常用):
rsync [OPTION...] [USER@]HOST::SRC... [DEST]
rsync命令 參數(shù)選項 [虛擬用戶]@[主機地址]::[模塊名] 本地路徑
rsync -avz rsync_backup@172.16.1.41::backup/1234.txt /etc --password-file=/etc/rsync.password

語法2:
rsync [OPTION...] rsync://[USER@]HOST::SRC... [DEST]
rsync命令 參數(shù)選項 rsync://[虛擬用戶]@[主機地址]/[模塊名] 本地路徑

push,推:從本地推到遠端。

語法1(常用):
rsync [OPTION...] [DEST] [USER@]HOST::SRC...
rsync命令 參數(shù)選項 本地路徑 [虛擬用戶]@[主機地址]::[模塊名]
rsync -avz /etc/hosts rsync_backup@172.16.1.41::backup --password-file=/etc/rsync.password

語法2:
rsync [OPTION...] [DEST] rsync://[USER@]HOST::SRC...
rsync命令 參數(shù)選項 本地路徑 rsync://[虛擬用戶]@[主機地址]/[模塊名]

(4)測試成果
錯誤1:
[root@nfs01 ~]# rsync -avz /etc/hosts rsync_backup@172.16.1.41::backup --password-file=/etc/rsync.password
@ERROR: invalid uid rsync
rsync error: error starting client-server protocol (code 5) at main.c(1648) [sender=3.1.2]
缺少用戶屬性
解答:
[root@backup ~]# useradd rsync
[root@backup ~]# id rsync
uid=1001(rsync) gid=1001(rsync) 組=1001(rsync)
[root@backup ~]# mkdir -p /backup
[root@backup ~]# chown -R rsync.rsync /backup/
[root@backup ~]# ls -ld /backup/
drwxr-xr-x 2 rsync rsync 6 4月 15 12:12 /backup/
錯誤2:
[root@nfs01 ~]# rsync -avz /etc/hosts rsync_backup@172.16.1.41::backup --password-file=/etc/rsync.password
sending incremental file list
hosts
rsync: chgrp ".hosts.YDuTjO" (in backup) failed: Operation not permitted (1)

sent 223 bytes  received 124 bytes  694.00 bytes/sec
total size is 332  speedup is 0.96
rsync error: 3some files/attrs were not transferred (see previous errors) 
(code 23) at main.c(1178) [sender=3.1.2]

解答:增加如下參數(shù)到/etc/rsyncd.conf
fake super = yes #不用root用戶也可以存儲文件的完整屬性啤咽。
This allows the full attributes of a file to be stored without having to have the daemon actually running as root.
[root@backup ~]# grep fake /etc/rsyncd.conf
fake super = yes
錯誤三:
rsync -avz /etc/hosts rsync_backup@172.16.1.41::backup --password-file=/etc/rsync.password
@ERROR: auth failed on module backup
rsync error: error starting client-server protocol (code 5) at main.c(1648) [sender=3.1.2]
解答:ll /etc/rsync.password <===文件權限沒有設置為600
-rw-r--r-- 1 root root 20 4月 15 11:54 /etc/rsync.password
改:chmod 600 /etc/rsync.password

錯誤四:如果還是不行晋辆,查看自己的selinux是否還在運行中,是的話關閉掉即可

在測試:成功
[root@nfs01 ~]# rsync -avz /etc/hosts rsync_backup@172.16.1.41::backup --password-file=/etc/rsync.password
sending incremental file list
hosts

sent 89 bytes  received 49 bytes  276.00 bytes/sec
total size is 332  speedup is 2.41

rsync -avz /etc rsync_backup@172.16.1.41::backup --password-file=/etc/rsync.password
?著作權歸作者所有,轉載或內(nèi)容合作請聯(lián)系作者
  • 序言:七十年代末宇整,一起剝皮案震驚了整個濱河市瓶佳,隨后出現(xiàn)的幾起案子,更是在濱河造成了極大的恐慌鳞青,老刑警劉巖霸饲,帶你破解...
    沈念sama閱讀 222,104評論 6 515
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件为朋,死亡現(xiàn)場離奇詭異,居然都是意外死亡厚脉,警方通過查閱死者的電腦和手機习寸,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 94,816評論 3 399
  • 文/潘曉璐 我一進店門,熙熙樓的掌柜王于貴愁眉苦臉地迎上來傻工,“玉大人霞溪,你說我怎么就攤上這事≈欣Γ” “怎么了鸯匹?”我有些...
    開封第一講書人閱讀 168,697評論 0 360
  • 文/不壞的土叔 我叫張陵,是天一觀的道長泄伪。 經(jīng)常有香客問我殴蓬,道長,這世上最難降的妖魔是什么蟋滴? 我笑而不...
    開封第一講書人閱讀 59,836評論 1 298
  • 正文 為了忘掉前任染厅,我火速辦了婚禮,結果婚禮上脓杉,老公的妹妹穿的比我還像新娘糟秘。我一直安慰自己,他們只是感情好球散,可當我...
    茶點故事閱讀 68,851評論 6 397
  • 文/花漫 我一把揭開白布尿赚。 她就那樣靜靜地躺著,像睡著了一般蕉堰。 火紅的嫁衣襯著肌膚如雪凌净。 梳的紋絲不亂的頭發(fā)上,一...
    開封第一講書人閱讀 52,441評論 1 310
  • 那天屋讶,我揣著相機與錄音冰寻,去河邊找鬼。 笑死皿渗,一個胖子當著我的面吹牛斩芭,可吹牛的內(nèi)容都是我干的。 我是一名探鬼主播乐疆,決...
    沈念sama閱讀 40,992評論 3 421
  • 文/蒼蘭香墨 我猛地睜開眼划乖,長吁一口氣:“原來是場噩夢啊……” “哼!你這毒婦竟也來了挤土?” 一聲冷哼從身側響起琴庵,我...
    開封第一講書人閱讀 39,899評論 0 276
  • 序言:老撾萬榮一對情侶失蹤,失蹤者是張志新(化名)和其女友劉穎,沒想到半個月后迷殿,有當?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體儿礼,經(jīng)...
    沈念sama閱讀 46,457評論 1 318
  • 正文 獨居荒郊野嶺守林人離奇死亡,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點故事閱讀 38,529評論 3 341
  • 正文 我和宋清朗相戀三年庆寺,在試婚紗的時候發(fā)現(xiàn)自己被綠了蚊夫。 大學時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片。...
    茶點故事閱讀 40,664評論 1 352
  • 序言:一個原本活蹦亂跳的男人離奇死亡止邮,死狀恐怖这橙,靈堂內(nèi)的尸體忽然破棺而出,到底是詐尸還是另有隱情导披,我是刑警寧澤屈扎,帶...
    沈念sama閱讀 36,346評論 5 350
  • 正文 年R本政府宣布,位于F島的核電站撩匕,受9級特大地震影響鹰晨,放射性物質發(fā)生泄漏。R本人自食惡果不足惜止毕,卻給世界環(huán)境...
    茶點故事閱讀 42,025評論 3 334
  • 文/蒙蒙 一模蜡、第九天 我趴在偏房一處隱蔽的房頂上張望。 院中可真熱鬧扁凛,春花似錦忍疾、人聲如沸。這莊子的主人今日做“春日...
    開封第一講書人閱讀 32,511評論 0 24
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽。三九已至字币,卻和暖如春则披,著一層夾襖步出監(jiān)牢的瞬間,已是汗流浹背洗出。 一陣腳步聲響...
    開封第一講書人閱讀 33,611評論 1 272
  • 我被黑心中介騙來泰國打工士复, 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留,地道東北人翩活。 一個月前我還...
    沈念sama閱讀 49,081評論 3 377
  • 正文 我出身青樓阱洪,卻偏偏與公主長得像,于是被迫代替她去往敵國和親菠镇。 傳聞我的和親對象是個殘疾皇子澄峰,可洞房花燭夜當晚...
    茶點故事閱讀 45,675評論 2 359

推薦閱讀更多精彩內(nèi)容