文件同步rsync

rsync介紹

我們經(jīng)常需要在不同目錄或者服務器之間做文件同步和更新,LINUX提供了很多內(nèi)置命令可以使用比如SCP等等磨澡,但是今天我們介紹一個更加強大的工具rsync。rsync命令是一個遠程同步工具宿饱,可以通過LAN\WAN快速同步多臺主機間的文件毯辅,它使用的就是rsync算法達到本地和遠程兩個主機之間文件同步屋摇,該算法是增量算法简烤,即只同步兩個文件的不同部分版保,而不是每次同步整個文件果覆,所以速度是相當快

一. 同步源

1. 基于SSH的同步源

setfacl
rsync -avz 用戶名@服務器地址:/服務器目錄/*  /本地目錄/

2. 基于RSYNC的同步源

/etc/rsyncd.conf
/etc/rsyncd_users.db    權限為600

上行同步時颅痊,read only = no  且 nobody需要有寫入權限

/etc/rsyncd.conf文件:

address = 192.168.0.198
port 873
pid file = /var/run/rsyncd.pid
log file = /var/log/rsync.log

[share]
        comment = soft
        path = /server/rsync
        read only = no
        dont compress = *.gz *.bz *.bz2 *.zip
        auth users = wang
        secrets file = /etc/rsyncd_users.db

對rsyncd.conf文件選項個別解釋(上面有的沒有寫):

uid 指定當前模塊傳輸文件時的守護進程應該具有的用戶ID,默認是"nobody"
gid 指定當前模塊傳輸文件時守護進程應該具有的用戶組ID局待,默認是"nobody"
max_connections 指定模塊的最大并發(fā)連接數(shù)量八千,以保護服務器超過限制的連接請求,將被暫時限制燎猛。默認是0恋捆,也就是沒有限制。

/etc/rsyncd_users.db文件格式為: wang:123456
啟動rsync守護進程:/usr/bin/rsync --daemon

權限: 服務權限 --> 用戶權限重绷,即只有服務權限還不行沸停,必須還要有用戶權限

rsync命令的用法:
基本格式: rsync [選項] 原始位置 目標位置

rsync的命令格式可以為:
  1. rsync [OPTION]... SRC [SRC]... DEST
  2. rsync [OPTION]... SRC [SRC]... [USER@]HOST:DEST
  3. rsync [OPTION]... [USER@]HOST:SRC DEST
  4. rsync [OPTION]... [USER@]HOST::SRC [DEST]
  5. rsync [OPTION]... SRC [SRC]... [USER@]HOST::DEST
  6. rsync [OPTION]... rsync://[USER@]HOST[:PORT]/SRC [DEST]
  rsync有六種不同的工作模式:
  1. 拷貝本地文件;當SRC和DES路徑信息都不包含有單個冒號":"分隔符時就啟動這種工作模式昭卓。
  2.使用一個遠程shell程序(如rsh愤钾、ssh)來實現(xiàn)將本地機器的內(nèi)容拷貝到遠程機器瘟滨。當DST路徑地址包含單個冒號":"分隔符時啟動該模式。
  3.使用一個遠程shell程序(如rsh能颁、ssh)來實現(xiàn)將遠程機器的內(nèi)容拷貝到本地機器杂瘸。當SRC地址路徑包含單個冒號":"分隔符時啟動該模式。
  4. 從遠程rsync服務器中拷貝文件到本地機伙菊。當SRC路徑信息包含"::"分隔符時啟動該模式败玉。
  5. 從本地機器拷貝文件到遠程rsync服務器中。當DST路徑信息包含"::"分隔符時啟該模式镜硕。
  6. 列遠程機的文件列表运翼。這類似于rsync傳輸,不過只要在命令中省略掉本地機信種工作模式兴枯。

常用選項:
-a :歸檔模式血淌,遞歸并保留對象屬性,等同于 -rlptgoD
-v : 顯示同步過程的詳細(verbose)信息
-z : 在傳輸文件時進行壓縮(compress)
-H : 保留硬連接文件
-A : 保留ACL屬性信息
--delete : 刪除目標位置有而原始位置沒有的文件
--timeout : 指定超時時間
--progress : 顯示備份過程
--port :指定rsync服務端口
--password-file :指定客戶端的密碼文件

-a ::
-r : 遞歸模式财剖,包含文件目錄及子目錄中所有文件
-l : 對于符號鏈接文件仍然復制為符號鏈接文件
-p : 保留文件的權限標記
-t : 保留文件的時間標記
-g : 保留文件的屬組標記(僅超級用戶使用)
-o : 保留文件的屬主標記(僅超級用戶使用)
-D : 保留設備文件及其他特殊文件

二. 實時同步

免密碼驗證
1. 基于SSH的同步源
  通過秘鑰對實現(xiàn)
2. 基于RSYNC同步源
  通過系統(tǒng)變量實現(xiàn)悠夯,export RSYNC_PASSWORD=123456

實時同步 inotify+rsync

1. 安裝inotify-tools輔助工具
  inotifywait :用于持續(xù)監(jiān)控,實時輸出結(jié)果
  inotifywatch :用于短期監(jiān)控躺坟,任務完成后再出結(jié)果

inotifywait -mrq -e create,delete /server/rsync
m:持續(xù)監(jiān)控 r:遞歸監(jiān)控 即:監(jiān)控目錄及其子目錄的內(nèi)容
q:簡化輸出

2.首先實現(xiàn)免密碼驗證疗疟,在執(zhí)行下面的腳本文件

#!/bin/bash
a="/usr/local/bin/inotifywait -mrq -e create,delete /tmp/test1"
b="/usr/bin/rsync -avz /tmp/test1/* user1@192.168.0.162:/tmp/test2/"
$a | while read directory event file   
do
        $b
done

三. 雙向同步inotify+unison

windows使用rsync:

參考文章:https://www.cnblogs.com/janas/p/3321087.html

最后編輯于
?著作權歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
  • 序言:七十年代末,一起剝皮案震驚了整個濱河市瞳氓,隨后出現(xiàn)的幾起案子,更是在濱河造成了極大的恐慌栓袖,老刑警劉巖匣摘,帶你破解...
    沈念sama閱讀 211,348評論 6 491
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件,死亡現(xiàn)場離奇詭異裹刮,居然都是意外死亡音榜,警方通過查閱死者的電腦和手機,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 90,122評論 2 385
  • 文/潘曉璐 我一進店門捧弃,熙熙樓的掌柜王于貴愁眉苦臉地迎上來赠叼,“玉大人,你說我怎么就攤上這事违霞∽彀欤” “怎么了?”我有些...
    開封第一講書人閱讀 156,936評論 0 347
  • 文/不壞的土叔 我叫張陵买鸽,是天一觀的道長涧郊。 經(jīng)常有香客問我,道長眼五,這世上最難降的妖魔是什么妆艘? 我笑而不...
    開封第一講書人閱讀 56,427評論 1 283
  • 正文 為了忘掉前任彤灶,我火速辦了婚禮,結(jié)果婚禮上批旺,老公的妹妹穿的比我還像新娘幌陕。我一直安慰自己,他們只是感情好汽煮,可當我...
    茶點故事閱讀 65,467評論 6 385
  • 文/花漫 我一把揭開白布搏熄。 她就那樣靜靜地躺著,像睡著了一般逗物。 火紅的嫁衣襯著肌膚如雪搬卒。 梳的紋絲不亂的頭發(fā)上,一...
    開封第一講書人閱讀 49,785評論 1 290
  • 那天翎卓,我揣著相機與錄音契邀,去河邊找鬼。 笑死失暴,一個胖子當著我的面吹牛坯门,可吹牛的內(nèi)容都是我干的。 我是一名探鬼主播逗扒,決...
    沈念sama閱讀 38,931評論 3 406
  • 文/蒼蘭香墨 我猛地睜開眼古戴,長吁一口氣:“原來是場噩夢啊……” “哼!你這毒婦竟也來了矩肩?” 一聲冷哼從身側(cè)響起现恼,我...
    開封第一講書人閱讀 37,696評論 0 266
  • 序言:老撾萬榮一對情侶失蹤,失蹤者是張志新(化名)和其女友劉穎黍檩,沒想到半個月后叉袍,有當?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體,經(jīng)...
    沈念sama閱讀 44,141評論 1 303
  • 正文 獨居荒郊野嶺守林人離奇死亡刽酱,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點故事閱讀 36,483評論 2 327
  • 正文 我和宋清朗相戀三年喳逛,在試婚紗的時候發(fā)現(xiàn)自己被綠了。 大學時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片棵里。...
    茶點故事閱讀 38,625評論 1 340
  • 序言:一個原本活蹦亂跳的男人離奇死亡润文,死狀恐怖,靈堂內(nèi)的尸體忽然破棺而出殿怜,到底是詐尸還是另有隱情典蝌,我是刑警寧澤,帶...
    沈念sama閱讀 34,291評論 4 329
  • 正文 年R本政府宣布头谜,位于F島的核電站赠法,受9級特大地震影響,放射性物質(zhì)發(fā)生泄漏。R本人自食惡果不足惜砖织,卻給世界環(huán)境...
    茶點故事閱讀 39,892評論 3 312
  • 文/蒙蒙 一款侵、第九天 我趴在偏房一處隱蔽的房頂上張望。 院中可真熱鬧侧纯,春花似錦新锈、人聲如沸。這莊子的主人今日做“春日...
    開封第一講書人閱讀 30,741評論 0 21
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽。三九已至娜氏,卻和暖如春拳缠,著一層夾襖步出監(jiān)牢的瞬間,已是汗流浹背贸弥。 一陣腳步聲響...
    開封第一講書人閱讀 31,977評論 1 265
  • 我被黑心中介騙來泰國打工窟坐, 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留,地道東北人绵疲。 一個月前我還...
    沈念sama閱讀 46,324評論 2 360
  • 正文 我出身青樓哲鸳,卻偏偏與公主長得像,于是被迫代替她去往敵國和親盔憨。 傳聞我的和親對象是個殘疾皇子徙菠,可洞房花燭夜當晚...
    茶點故事閱讀 43,492評論 2 348

推薦閱讀更多精彩內(nèi)容

  • 4層負載均衡和7層負載均衡的區(qū)別。A郁岩、rsync的安裝婿奔;軟件包安裝# yum install rsync 注...
    米開朗基樂閱讀 3,650評論 0 1
  • 測試環(huán)境: rsync-server:192.168.1.132 rsync-client:192.168.1.2...
    lailai900201閱讀 2,356評論 0 10
  • rsync 遠程同步rsync(remote sync) 備份 rsync 優(yōu)點: 支持增量備份選擇性保持:符號鏈...
    若與閱讀 1,777評論 0 5
  • Spring Cloud為開發(fā)人員提供了快速構(gòu)建分布式系統(tǒng)中一些常見模式的工具(例如配置管理,服務發(fā)現(xiàn)问慎,斷路器萍摊,智...
    卡卡羅2017閱讀 134,629評論 18 139
  • Rsync遠程文件同步工具 它在同步文件的同時,可以保持原來文件的權限蝴乔、時間、軟硬鏈接等附加信息驮樊。 rsync...
    小杰哥丶閱讀 464評論 0 4