1、什么是rsync玄括?
rsync,Rsync英文全稱為Remote synchronization 縮寫rsync
是開源肉瓦、高速的遭京、可實現(xiàn)本地以及遠程胃惜,全量以及增量的數(shù)據(jù)復制(拷貝)工具。
2哪雕、全量和增量區(qū)別
全量復制:
[root@nfs01 ~]# cp -a /etc/ /opt/
[root@nfs01 ~]# \cp -a /etc/ /opt
[root@nfs01 ~]# touch /etc/oldboy.txt
[root@nfs01 ~]# \cp -a /etc/ /opt/
增量復制:
只復制oldboy.txt
3船殉、rsync的做作用
工作中需要定時/實時數(shù)據(jù)備份。本地服務器目錄斯嚎、不同機器利虫、
不同機房之間的數(shù)據(jù)備份,都可以用rsync完成
4堡僻、rsync 功能特性
? 支持拷貝普通文件與特殊文件糠惫,如鏈接文件,設備文件等苦始。
? 支持排除指定文件或目錄同步的功能寞钥,相當于打包命令tar的排除功能。
? 可以做到保持原文件或目錄的權限陌选、時間理郑、軟硬鏈接、屬主咨油、組等所有屬性均不改變您炉。
? 可實現(xiàn)增量復制,既只復制發(fā)生變化的數(shù)據(jù)役电,因此數(shù)據(jù)傳輸效率很高赚爵。
? 可以使用rcp,rsh,ssh等方式來配合進行隧道加密傳輸文件(rsync本身不對數(shù)據(jù)加密)。
? 可以通過socket(進程方式)傳輸文件和數(shù)據(jù)(服務端和客戶端)*法瑟。
? 支持匿名或認證(無需系統(tǒng)用戶)進程模式傳輸冀膝,安全的進行數(shù)據(jù)備份及鏡像
5、rsync增量復制原理
使用 quick check算法霎挟,只對增量的部分復制窝剖,根據(jù)大小屬性的變化進行復制。
6酥夭、rsync三種工作模式
1)本地(local)
rsync就是一個命令
rsync [OPTION...] SRC... [DEST]
rsync命令 參數(shù)選項 [源目錄或文件] 目的目錄或文件
命令操作:
a赐纱、把數(shù)據(jù)從一個地方復制到另一個地方(僅在一再機器增量) 相當于cp
b、通過加參數(shù)實現(xiàn)刪除的功能相當于rm
c熬北、查看屬性信息的功能(類似ls)
檢驗a:
[root@backup ~]# rsync /etc/hosts /opt
[root@backup ~]# ls
1.sh anaconda-ks.cfg 培訓要求.txt
[root@backup ~]# ls /opt
hosts
[root@backup ~]# \cp /etc/hosts /opt
[root@backup ~]# ls /opt
hosts
[root@backup ~]# ll /etc/hosts /opt/hosts
-rw-r--r--. 1 root root 332 4月 14 15:04 /etc/hosts
-rw-r--r-- 1 root root 332 4月 15 10:08 /opt/hosts
檢測b
root@backup ~]# touch /null.txt
[root@backup ~]# cat /opt/hosts
127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4
::1 localhost localhost.localdomain localhost6 localhost6.localdomain6
172.16.1.5 lb01
172.16.1.6 lb02
172.16.1.7 web01
172.16.1.8 web02
172.16.1.9 web03
172.16.1.31 nfs01
172.16.1.41 backup
172.16.1.51 db01 db01.etiantian.org
172.16.1.61 m01
[root@backup ~]# rsync --delete /null.txt /opt/hosts
rsync: --delete does not work without --recursive (-r) or --dirs (-d).
rsync error: syntax or usage error (code 1) at main.c(1567) [client=3.1.2]
[root@backup ~]# rsync -r --delete /null.txt /opt/hosts
[root@backup ~]# cat /opt/hosts
c.查看屬性
[root@backup ~]# rsync /etc/hosts
-rw-r--r-- 332 2019/04/12 11:24:41 hosts
2)遠程shell模式
借助類似ssh隧道傳輸數(shù)據(jù)疙描。適合不同的機器之間復制
異地拷貝,想打關于scp讶隐,區(qū)別是scp是遠程全量拷貝
pull 拉:從遠端拉取到本地起胰。
root@nfs01 /opt]# rsync -avz root@172.16.1.41:/opt/ltd.txt ./
root@172.16.1.41's password:
receiving incremental file list
ltd.txt
sent 43 bytes received 86 bytes 51.60 bytes/sec
total size is 0 speedup is 0.00
[root@nfs01 /opt]# ls
ltd.txt
push 推:從本地推到遠端。
[root@nfs01 ~]# rsync -avz /etc/hosts root@172.16.1.41:/opt #加密傳輸整份。
The authenticity of host '172.16.1.41 (172.16.1.41)' can't be established.
ECDSA key fingerprint is SHA256:mZ5zbiY0APRD4omvLVkJB+TY9vn1ylX28Z88G2Ma+1M.
ECDSA key fingerprint is MD5:fe:ac:4e:f1:98:ee:8a:43:af:43:90:59:09:5b:3a:3e.
Are you sure you want to continue connecting (yes/no)? y
Please type 'yes' or 'no': y
Please type 'yes' or 'no': yes
Warning: Permanently added '172.16.1.41' (ECDSA) to the list of known hosts.
root@172.16.1.41's password:
sending incremental file list
hosts
sent 85 bytes received 41 bytes 8.69 bytes/sec
total size is 332 speedup is 2.63
檢查:
[root@backup ~]# cd /opt
[root@backup /opt]# ls
hosts
拉的命令:
1)rsync -avz root@172.16.1.41:/opt/hosts /opt
2)rsync -avz -e "ssh -p 22" root@172.16.1.41:/opt/hosts /opt
推拉:
a待错。參照物籽孙,執(zhí)行命令的機器
b root@172.16.1.41
重點:
null和null/區(qū)別。null是目錄和目錄下的內(nèi)容
null/只是目錄下的內(nèi)容火俄,不含本身
3)rsync 守護進程模式
首先要搭建服務端(要有守護進程)犯建,然后才能在客戶端實現(xiàn)推拉數(shù)據(jù)
重要模式,重點講瓜客。
配置服務器端守護進程适瓦,實現(xiàn)數(shù)據(jù)傳輸
1、服務器端守護進程 2谱仪、 客戶端執(zhí)行命令
rsync服務模式:*****開啟后臺進程玻熙,接受別人訪問。
7疯攒、rsync命令參數(shù):
-v, --verbose 顯示輸出過程
-z, --compress 壓縮
-a, --archive 多參數(shù)集合(-rtopgDl)
-r, --recursive 遞歸
-t, --times 保持修改時間屬性
-o, --owner 保持屬主不變
-p, --perms 保持權限不變
-g, --group 保持用戶組不變
-l, --links 保持拷貝軟連接
-q, --quiet 安靜的拷貝
--bwlimit=KBPS 限制I/O帶寬嗦随,KBytes per second。
--delete 刪除
--exclude 排除
--exclude-from 從文件中排除
企業(yè)常用參數(shù)組合:-avz 或者 -vzrtopg
8敬尺、rsync守護進程模式應用實踐
1) 查看esync版本信息:
[root@backup ~]# rsync --version
rsync version 3.1.2 protocol version 31
2) 配置配置文件
[root@backup ~]# cat /etc/rsyncd.conf -n
1 #rsync_config_______________start
2 #created by oldboy
3 #site: http://www.oldboyedu.com
4 uid = rsync <====管理備份目錄的用戶
5 gid = rsync <====管理備份目錄的用戶組
6 use chroot = no <====安全功能枚尼,數(shù)據(jù)是否鎖定到備份目錄
7 max connections = 200 <====并發(fā)鏈接 最大同時客戶端訪問數(shù)為200
8 timeout = 600 <====超時時間 (鏈接長時間不動,要盡早結束)
9 pid file = /var/run/rsyncd.pid <====進程號所在文件
10 lock file = /var/run/rsync.lock <====鎖文件
11 log file = /var/log/rsyncd.log <====日志文件砂吞,查看報錯等
12 ignore errors <====忽略錯誤
13 read only = false <====可寫的意思
14 list = false <====不允許列表(服務端無法查看客戶端文件)
15 hosts allow = 172.16.1.0/24 <====哪些主機可以訪問 下面二選一
16 hosts deny = 0.0.0.0/32 <====那些主機不允許訪問 上面二選一
17 auth users = rsync_backup <====遠程虛擬鏈接用戶
18 secrets file = /etc/rsync.password <====存放密碼文件:格式:用戶名:密碼 權限必須600
19 [backup] <====[模塊名] 遠程訪問使用模塊名訪問
20 comment = welcome to oldboyedu backup! <====說明注釋
21 path = /backup/ <====服務器端用于備份的目錄署恍,用戶和用戶 rsync.rsync
創(chuàng)建用戶和備份目錄
[root@backup ~]# useradd rsync
[root@backup ~]# id rsync
uid=1001(rsync) gid=1001(rsync) 組=1001(rsync)
[root@backup ~]# mkdir -p /backup
[root@backup ~]# chown -R rsync.rsync /backup
要學會了解知識點的源頭。
man rsync 查看命令的參數(shù)
man sryncd蜻直。conf 查配置參數(shù)
3)啟動和檢查
rsync --damon
systemctl start rsyncd 啟動rsync
systemctl status rsyncd 查看狀態(tài)
systemctl enable rsyncd 現(xiàn)在啟動
ps -ef|grep sync|grep -v grep #檢查進程
root 7521 1 0 11:39 ? 00:00:00 /usr/bin/rsync --daemon --no-detach
如何查看某端口對應什么服務盯质?答案如下
netstat -lntup|grep 873 #檢查端口
tcp 0 0 0.0.0.0:873 0.0.0.0:* LISTEN 7521/rsync
tcp6 0 0 :::873 :::* LISTEN 7521/rsync
lsof -i :873 #檢查端口
COMMAND PID USER FD TYPE DEVICE SIZE/OFF NODE NAME
rsync 7521 root 3u IPv4 41439 0t0 TCP *:rsync (LISTEN)
rsync 7521 root 5u IPv6 41440 0t0 TCP *:rsync (LISTEN)
4)配置密碼文件:服務端
認證用戶密碼:
方法一:
[root@backup ~]# echo "rsync_backup:oldboy" > /etc/rsync.password
[root@backup ~]# cat /etc/rsync.password
rsync_backup:oldboy
[root@backup ~]# ls -l /etc/rsync.password
-rw-r--r-- 1 root root 20 4月 15 11:54 /etc/rsync.password
[root@backup /etc]# ll /etc/rsync.password
-rw------- 1 root root 20 4月 19 21:33 /etc/rsync.password
(2)以下操作都是在客戶端服務器
方法1:認證密碼文件
[root@nfs01 ~]# echo "oldboy" > /etc/rsync.password
[root@nfs01 ~]# chmod 600 /etc/rsync.password
[root@nfs01 ~]# cat /etc/rsync.password
oldboy
[root@nfs01 ~]# ls -l /etc/rsync.password
-rw------- 1 root root 7 4月 15 11:55 /etc/rsync.password
方法二:
[root@nfs01 ~]# echo ' export RSYNC_PASSWORD=oldboy' >>/etc/bashrc
[root@nfs01 ~]# tail -1 /etc/bashrc
export RSYNC_PASSWORD=oldboy
[root@nfs01 ~]# . /etc/bashrc
[root@nfs01 ~]# echo $RSYNC_PASSWORD
oldboy
(3)守護進程模式,客戶端rsync的命令語法:
配置服務器端守護進程概而,實現(xiàn)數(shù)據(jù)傳輸:
1呼巷、服務器端守護進程。2赎瑰、客戶端執(zhí)行命令朵逝。
拉門、推門 思考:
pull,拉:從遠端拉取到本地乡范。
語法1(常用):
rsync [OPTION...] [USER@]HOST::SRC... [DEST]
rsync命令 參數(shù)選項 [虛擬用戶]@[主機地址]::[模塊名] 本地路徑
rsync -avz rsync_backup@172.16.1.41::backup/1234.txt /etc --password-file=/etc/rsync.password
語法2:
rsync [OPTION...] rsync://[USER@]HOST::SRC... [DEST]
rsync命令 參數(shù)選項 rsync://[虛擬用戶]@[主機地址]/[模塊名] 本地路徑
push,推:從本地推到遠端。
語法1(常用):
rsync [OPTION...] [DEST] [USER@]HOST::SRC...
rsync命令 參數(shù)選項 本地路徑 [虛擬用戶]@[主機地址]::[模塊名]
rsync -avz /etc/hosts rsync_backup@172.16.1.41::backup --password-file=/etc/rsync.password
語法2:
rsync [OPTION...] [DEST] rsync://[USER@]HOST::SRC...
rsync命令 參數(shù)選項 本地路徑 rsync://[虛擬用戶]@[主機地址]/[模塊名]
(4)測試成果
錯誤1:
[root@nfs01 ~]# rsync -avz /etc/hosts rsync_backup@172.16.1.41::backup --password-file=/etc/rsync.password
@ERROR: invalid uid rsync
rsync error: error starting client-server protocol (code 5) at main.c(1648) [sender=3.1.2]
缺少用戶屬性
解答:
[root@backup ~]# useradd rsync
[root@backup ~]# id rsync
uid=1001(rsync) gid=1001(rsync) 組=1001(rsync)
[root@backup ~]# mkdir -p /backup
[root@backup ~]# chown -R rsync.rsync /backup/
[root@backup ~]# ls -ld /backup/
drwxr-xr-x 2 rsync rsync 6 4月 15 12:12 /backup/
錯誤2:
[root@nfs01 ~]# rsync -avz /etc/hosts rsync_backup@172.16.1.41::backup --password-file=/etc/rsync.password
sending incremental file list
hosts
rsync: chgrp ".hosts.YDuTjO" (in backup) failed: Operation not permitted (1)
sent 223 bytes received 124 bytes 694.00 bytes/sec
total size is 332 speedup is 0.96
rsync error: 3some files/attrs were not transferred (see previous errors)
(code 23) at main.c(1178) [sender=3.1.2]
解答:增加如下參數(shù)到/etc/rsyncd.conf
fake super = yes #不用root用戶也可以存儲文件的完整屬性啤咽。
This allows the full attributes of a file to be stored without having to have the daemon actually running as root.
[root@backup ~]# grep fake /etc/rsyncd.conf
fake super = yes
錯誤三:
rsync -avz /etc/hosts rsync_backup@172.16.1.41::backup --password-file=/etc/rsync.password
@ERROR: auth failed on module backup
rsync error: error starting client-server protocol (code 5) at main.c(1648) [sender=3.1.2]
解答:ll /etc/rsync.password <===文件權限沒有設置為600
-rw-r--r-- 1 root root 20 4月 15 11:54 /etc/rsync.password
改:chmod 600 /etc/rsync.password
錯誤四:如果還是不行晋辆,查看自己的selinux是否還在運行中,是的話關閉掉即可
在測試:成功
[root@nfs01 ~]# rsync -avz /etc/hosts rsync_backup@172.16.1.41::backup --password-file=/etc/rsync.password
sending incremental file list
hosts
sent 89 bytes received 49 bytes 276.00 bytes/sec
total size is 332 speedup is 2.41
rsync -avz /etc rsync_backup@172.16.1.41::backup --password-file=/etc/rsync.password