Rsync自動(dòng)同步壓縮日志文件至備份服務(wù)器

業(yè)務(wù)場景:

公司的業(yè)務(wù)日志量很大搏存,需要經(jīng)常壓縮日志并上傳至歸檔服務(wù)器。所以寫了腳本自動(dòng)上傳業(yè)務(wù)日志矢洲。由于ftp容易中斷璧眠,所以使用rsync可進(jìn)行斷點(diǎn)續(xù)傳。

rsync安裝配置

1.在日志歸檔服務(wù)器上安裝server端
    可以直接yum安裝读虏,但是如果是想定制使用责静,建議編譯安裝,到時(shí)候服務(wù)器磁盤滿了盖桥,
    需要換服務(wù)器的時(shí)候直接把編譯好的目錄打包帶走直接就能用了灾螃,免去二次安裝的麻煩。
    命令如下:
    wget https://download.samba.org/pub/rsync/src/rsync-3.1.2.tar.gz
    tar -zxvf rsync-3.1.2.tar.gz
    cd rsync-3.1.2
    mkdir -p /opt/rsync
    ./configure --prefix=/opt/rsync
    make && make
    至此安裝完畢揩徊,rsync就安裝到你的/opt/rsync目錄下了腰鬼。
2.配置rsync
    rsync的配置文件是要自己配置的,以及以一些提示文件等都要手動(dòng)創(chuàng)建塑荒。這里為了方便統(tǒng)一熄赡,我在rsync程序目錄下以conf文件夾作為配置目錄。
    mkdir -p /opt/rsync/conf  \
    mkdir -p /opt/rsync/log \
    cd /opt/rsync/conf \
    touch rsync.conf \
    touch rsyncd.motd \
    touch rsync.pass
    文件創(chuàng)建完了齿税,開始編輯rsync.conf文件
    vim /opt/rsync/conf/rsync.conf  
rsync.conf文件例子
    pid file = /opt/rsync/conf/rsync.pid   ###定義pid文件
    lock file=/opt/rsync/conf/rsync.lock   
    port = 8730          ###自定義端口彼硫,默認(rèn)為873,建議修改其他成端口
    uid = ftp               ###定義文件上傳后的屬主
    gid = ftp               ###定義文件上傳后的屬組
    use chroot = no
    max connections = 10    ###定義最大連接數(shù)
    motd file = /opt/rsync/conf/rsyncd.motd    ##定義傳輸后提示文字凌箕,可以自己隨意編輯此文件中的文字拧篮。
    log file = /opt/rsync/log/rsync.log   ###定義日志目錄,方便排錯(cuò)

    [Test]    ###定義模塊名稱
    path = /data/backup/Test    ##定義此模塊目錄
    list = yes
    auth users = dimple        ##定義上傳用戶
    read only = no                ##定義文件夾不是只讀
    write only = no               ##定義文件夾不是只寫
    ignore errors
    secrets file = /opt/rsync/conf/rsync.pass    ##定義密碼認(rèn)證文件牵舱,后面詳細(xì)說
例子中注釋方便大家理解串绩,復(fù)制上去后可以刪除。如果你需要更強(qiáng)大的功能可以去查看官方文檔仆葡。rsync模塊真的很好用赏参,可以根據(jù)不同的業(yè)務(wù)線自己定制需求志笼。
    編輯rsyncd.motd文件
    此文件只是用于顯示客戶端鏈接rsync服務(wù)端成功后的提示信息,可以隨意設(shè)置把篓,此處就不舉例子了纫溃。
    編輯rsyncd.pass
    vim /opt/rsync/conf/rsync.pass
    這個(gè)文件是密鑰文件,服務(wù)端需要在模塊里定義不同的密鑰文件韧掩,也可以全局定義紊浩。
    格式為:  user:pass
    例子:haha:123456
    注意:客戶端如果需要用密鑰文件免輸入密碼傳輸文件,則只需要在文件中寫入密碼即可疗锐,無需用名
    例如:客戶端文件為/opt/rsync.pass,則文件內(nèi)容為123456即可坊谁。
啟動(dòng)rsync
    啟動(dòng)rsync命令,建議加上-daemon守護(hù)模式啟動(dòng)滑臊,然后指定配置文件
    /opt/rsync/bin/rsync --daemon --config  /opt/rsync/conf/rsync.conf 

2.客戶端上傳文件測試

    客戶端上傳文件口芍,建議寫腳本上傳,然后定義秘鑰文件雇卷,可以免密碼輸入操作鬓椭,放在定時(shí)任務(wù)中最好,可以定時(shí)備份日志关划。
    rsync上傳總共有6種模式小染,大家有興趣可以看看
    這里我用的指定模塊上傳的方式,加了一些特定的參數(shù)贮折,制定了端口和秘鑰文件裤翩。
    rsync -rlpvDR --port=8730 --bwlimit=30000 --password-file=/opt/rsync.pass test.txt haha@rsync_ip::Test
    目前已經(jīng)在生產(chǎn)服務(wù)器上用腳本調(diào)用rsync大規(guī)模歸檔備份日志,rsync支持?jǐn)帱c(diǎn)續(xù)傳调榄,如果中斷的話再傳一次就可以了踊赠。
    而且還有校驗(yàn)MD5的功能用起來很方便。
最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
  • 序言:七十年代末振峻,一起剝皮案震驚了整個(gè)濱河市臼疫,隨后出現(xiàn)的幾起案子,更是在濱河造成了極大的恐慌扣孟,老刑警劉巖烫堤,帶你破解...
    沈念sama閱讀 221,820評(píng)論 6 515
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件,死亡現(xiàn)場離奇詭異凤价,居然都是意外死亡鸽斟,警方通過查閱死者的電腦和手機(jī),發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 94,648評(píng)論 3 399
  • 文/潘曉璐 我一進(jìn)店門利诺,熙熙樓的掌柜王于貴愁眉苦臉地迎上來富蓄,“玉大人,你說我怎么就攤上這事慢逾×⒈叮” “怎么了灭红?”我有些...
    開封第一講書人閱讀 168,324評(píng)論 0 360
  • 文/不壞的土叔 我叫張陵,是天一觀的道長口注。 經(jīng)常有香客問我变擒,道長,這世上最難降的妖魔是什么寝志? 我笑而不...
    開封第一講書人閱讀 59,714評(píng)論 1 297
  • 正文 為了忘掉前任娇斑,我火速辦了婚禮,結(jié)果婚禮上材部,老公的妹妹穿的比我還像新娘毫缆。我一直安慰自己,他們只是感情好乐导,可當(dāng)我...
    茶點(diǎn)故事閱讀 68,724評(píng)論 6 397
  • 文/花漫 我一把揭開白布苦丁。 她就那樣靜靜地躺著,像睡著了一般物臂。 火紅的嫁衣襯著肌膚如雪芬骄。 梳的紋絲不亂的頭發(fā)上,一...
    開封第一講書人閱讀 52,328評(píng)論 1 310
  • 那天鹦聪,我揣著相機(jī)與錄音,去河邊找鬼蒂秘。 笑死泽本,一個(gè)胖子當(dāng)著我的面吹牛,可吹牛的內(nèi)容都是我干的姻僧。 我是一名探鬼主播规丽,決...
    沈念sama閱讀 40,897評(píng)論 3 421
  • 文/蒼蘭香墨 我猛地睜開眼,長吁一口氣:“原來是場噩夢啊……” “哼撇贺!你這毒婦竟也來了赌莺?” 一聲冷哼從身側(cè)響起,我...
    開封第一講書人閱讀 39,804評(píng)論 0 276
  • 序言:老撾萬榮一對(duì)情侶失蹤松嘶,失蹤者是張志新(化名)和其女友劉穎艘狭,沒想到半個(gè)月后,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體翠订,經(jīng)...
    沈念sama閱讀 46,345評(píng)論 1 318
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡巢音,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 38,431評(píng)論 3 340
  • 正文 我和宋清朗相戀三年,在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了尽超。 大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片官撼。...
    茶點(diǎn)故事閱讀 40,561評(píng)論 1 352
  • 序言:一個(gè)原本活蹦亂跳的男人離奇死亡,死狀恐怖似谁,靈堂內(nèi)的尸體忽然破棺而出傲绣,到底是詐尸還是另有隱情掠哥,我是刑警寧澤,帶...
    沈念sama閱讀 36,238評(píng)論 5 350
  • 正文 年R本政府宣布秃诵,位于F島的核電站续搀,受9級(jí)特大地震影響,放射性物質(zhì)發(fā)生泄漏顷链。R本人自食惡果不足惜目代,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 41,928評(píng)論 3 334
  • 文/蒙蒙 一、第九天 我趴在偏房一處隱蔽的房頂上張望嗤练。 院中可真熱鬧榛了,春花似錦、人聲如沸煞抬。這莊子的主人今日做“春日...
    開封第一講書人閱讀 32,417評(píng)論 0 24
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽革答。三九已至战坤,卻和暖如春,著一層夾襖步出監(jiān)牢的瞬間残拐,已是汗流浹背途茫。 一陣腳步聲響...
    開封第一講書人閱讀 33,528評(píng)論 1 272
  • 我被黑心中介騙來泰國打工, 沒想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留溪食,地道東北人囊卜。 一個(gè)月前我還...
    沈念sama閱讀 48,983評(píng)論 3 376
  • 正文 我出身青樓,卻偏偏與公主長得像错沃,于是被迫代替她去往敵國和親栅组。 傳聞我的和親對(duì)象是個(gè)殘疾皇子,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 45,573評(píng)論 2 359

推薦閱讀更多精彩內(nèi)容