前言
提到數(shù)據(jù)同步就必然會談到rsync，一般簡單的服務(wù)器數(shù)據(jù)傳輸會使用ftp/sftp等方式奶浦，但是這樣的方式效率不高兄墅，不支持差異化增量同步也不支持實時傳輸。針對數(shù)據(jù)實時同步需求大多數(shù)人會選擇rsync+inotify-tools的解決方案澳叉，但是這樣的方案也存在一些缺陷（文章中會具體指出）隙咸，sersync是國人基于前兩者開發(fā)的工具，不僅保留了優(yōu)點同時還強化了實時監(jiān)控成洗，文件過濾五督，簡化配置等功能，幫助用戶提高運行效率泌枪，節(jié)省時間和網(wǎng)絡(luò)資源概荷。
可靠高效的數(shù)據(jù)實時同步方式
更新歷史
2015年08月13日 - 初稿
閱讀原文 - http://wsgzao.github.io/post/sersync/
擴(kuò)展閱讀
基于rsync+sersync的服務(wù)器文件同步實戰(zhàn) - http://www.markdream.com/technologies/server/syncfile-by-rsync.shtml
通過 rsync sersync 實現(xiàn)高效的數(shù)據(jù)實時同步架構(gòu) - https://www.cnhzz.com/rsync_sersync/
rsync - https://rsync.samba.org/
inotify-tools - https://github.com/rvoicilas/inotify-tools
sersync - http://code.google.com/p/sersync/
原理
Synchronize files and folders between servers -using inotiy and rsync with c++ 服務(wù)器實時同步文件，服務(wù)器鏡像解決方案
sersync主要用于服務(wù)器同步碌燕，web鏡像等功能误证。基于boost1.43.0,inotify api,rsync command.開發(fā)修壕。目前使用的比較多的同步解決方案是inotify-tools+rsync 愈捅，另外一個是google開源項目Openduckbill（依賴于inotify- tools），這兩個都是基于腳本語言編寫的慈鸠。相比較上面兩個項目蓝谨，本項目優(yōu)點是：
- sersync是使用c++編寫，而且對linux系統(tǒng)文件系統(tǒng)產(chǎn)生的臨時文件和重復(fù)的文件操作進(jìn)行過濾（詳細(xì)見附錄青团，這個過濾腳本程序沒有實現(xiàn)）譬巫，所以在結(jié)合rsync同步的時候，節(jié)省了運行時耗和網(wǎng)絡(luò)資源督笆。因此更快芦昔。
- 相比較上面兩個項目，sersync配置起來很簡單娃肿，其中bin目錄下已經(jīng)有基本上靜態(tài)編譯的2進(jìn)制文件咕缎，配合bin目錄下的xml配置文件直接使用即可珠十。
- 另外本項目相比較其他腳本開源項目，使用多線程進(jìn)行同步凭豪，尤其在同步較大文件時焙蹭，能夠保證多個服務(wù)器實時保持同步狀態(tài)。
- 本項目有出錯處理機(jī)制嫂伞，通過失敗隊列對出錯的文件重新同步孔厉，如果仍舊失敗，則按設(shè)定時長對同步失敗的文件重新同步末早。
- 本項目自帶crontab功能烟馅，只需在xml配置文件中開啟，即可按您的要求然磷，隔一段時間整體同步一次郑趁。無需再額外配置crontab功能。
- 本項目socket與http插件擴(kuò)展姿搜，滿足您二次開發(fā)的需要寡润。
針對上圖的設(shè)計架構(gòu)，這里做幾點說明舅柜，來幫助大家閱讀和理解該圖
1 ) 線程組線程是等待線程隊列的守護(hù)線程梭纹，當(dāng)事件隊列中有事件產(chǎn)生的時候，線程組守護(hù)線程就會逐個喚醒同步線程致份。當(dāng)隊列中 Inotify 事件較多的時候变抽，同步線程就會被全部喚醒一起工作。這樣設(shè)計的目的是為了能夠同時處理多個 Inotify 事件氮块，從而提升服務(wù)器的并發(fā)同步能力绍载。同步線程的最佳數(shù)量=核數(shù) x 2 + 2。
2 ) 那么之所以稱之為線程組線程滔蝉，是因為每個線程在工作的時候击儡，會根據(jù)服務(wù)器上新寫入文件的數(shù)量去建立子線程，子線程可以保證所有的文件與各個服務(wù)器同時同步蝠引。當(dāng)要同步的文件較大的時候阳谍，這樣的設(shè)計可以保證每個遠(yuǎn)程服務(wù)器都可以同時獲得需要同步的文件。
3 ) 服務(wù)線程的作用有三個：
- 處理同步失敗的文件螃概，將這些文件再次同步矫夯，對于再次同步失敗的文件會生成 rsync_fail_log.sh 腳本，記錄失敗的事件吊洼。
- 每隔10個小時執(zhí)行 rsync_fail_log.sh 腳本一次训貌，同時清空腳本。
- crontab功能融蹂，可以每隔一定時間旺订，將所有路徑整體同步一次。
4 ) 過濾隊列的建立是為了過濾短時間內(nèi)產(chǎn)生的重復(fù)的inotify信息超燃，例如在刪除文件夾的時候区拳，inotify就會同時產(chǎn)生刪除文件夾里的文件與刪除文件夾的事件，通過過濾隊列意乓，當(dāng)刪除文件夾事件產(chǎn)生的時候樱调，會將之前加入隊列的刪除文件的事件全部過濾掉，這樣只產(chǎn)生一條刪除文件夾的事件届良，從而減輕了同步的負(fù)擔(dān)笆凌。同時對于修改文件的操作的時候，會產(chǎn)生臨時文件的重復(fù)操作士葫。
角色
注意主從配置的區(qū)別乞而，記得調(diào)整SELinux和防火墻
iptables配置實踐 - http://wsgzao.github.io/post/iptables/
LTMP手動編譯安裝以及全自動化部署實踐 - http://wsgzao.github.io/post/ltmp/
- 服務(wù)器A（主服務(wù)器）
- 服務(wù)器B（從服務(wù)器/備份服務(wù)器）
- rsync默認(rèn)TCP端口為873
服務(wù)器B
#在服務(wù)器B上安裝rsync
cd /app/local
wget http://rsync.samba.org/ftp/rsync/src/rsync-3.1.1.tar.gz
tar zxf rsync-3.1.1.tar.gz
cd rsync-3.1.1
./configure
make && make install
#設(shè)置rsync的配置文件
vi /etc/rsyncd.conf
#服務(wù)器B上的rsyncd.conf文件內(nèi)容
uid=root
gid=root
#最大連接數(shù)
max connections=36000
#默認(rèn)為true，修改為no慢显，增加對目錄文件軟連接的備份
use chroot=no
#定義日志存放位置
log file=/var/log/rsyncd.log
#忽略無關(guān)錯誤
ignore errors = yes
#設(shè)置rsync服務(wù)端文件為讀寫權(quán)限
read only = no
#認(rèn)證的用戶名與系統(tǒng)帳戶無關(guān)在認(rèn)證文件做配置爪模，如果沒有這行則表明是匿名
auth users = rsync
#密碼認(rèn)證文件，格式(虛擬用戶名:密碼）
secrets file = /etc/rsync.pass
#這里是認(rèn)證的模塊名荚藻，在client端需要指定屋灌，可以設(shè)置多個模塊和路徑
[rsync]
#自定義注釋
comment = rsync
#同步到B服務(wù)器的文件存放的路徑
path=/app/data/site/
[img]
comment = img
path=/app/data/site/img
#創(chuàng)建rsync認(rèn)證文件 可以設(shè)置多個，每行一個用戶名:密碼应狱，注意中間以“:”分割
echo "rsync:rsync" > /etc/rsync.pass
#設(shè)置文件所有者讀取共郭、寫入權(quán)限
chmod 600 /etc/rsyncd.conf
chmod 600 /etc/rsync.pass
#啟動服務(wù)器B上的rsync服務(wù)
#rsync --daemon -v
rsync --daemon
#監(jiān)聽端口873
netstat -an | grep 873
lsof -i tcp:873
COMMAND PID USER FD TYPE DEVICE SIZE/OFF NODE NAME
rsync 31445 root 4u IPv4 443872 0t0 TCP *:rsync (LISTEN)
rsync 31445 root 5u IPv6 443873 0t0 TCP *:rsync (LISTEN)
#設(shè)置rsync為服務(wù)啟動項（可選）
echo "/usr/local/bin/rsync --daemon" >> /etc/rc.local
#要 Kill rsync 進(jìn)程，不要用 kill -HUP {PID} 的方式重啟進(jìn)程疾呻，以下3種方式任選
#ps -ef|grep rsync|grep -v grep|awk '{print $2}'|xargs kill -9
#cat /var/run/rsyncd.pid | xargs kill -9
pkill rsync
#再次啟動
/usr/local/bin/rsync --daemon
服務(wù)器A
#安裝rsync
cd /app/local
wget http://rsync.samba.org/ftp/rsync/src/rsync-3.1.1.tar.gz
tar zxf rsync-3.1.1.tar.gz
cd rsync-3.1.1
./configure
make && make install
#安裝inotify-tools
cd /app/local
wget http://github.com/downloads/rvoicilas/inotify-tools/inotify-tools-3.14.tar.gz
tar zxf inotify-tools-3.14.tar.gz
cd inotify-tools-3.14
./configure --prefix=/app/local/inotify
make && make install
#安裝sersync
cd /app/local
wget https://sersync.googlecode.com/files/sersync2.5.4_64bit_binary_stable_final.tar.gz
tar zxf sersync2.5.4_64bit_binary_stable_final.tar.gz
mv /app/local/GNU-Linux-x86/ /app/local/sersync
cd /app/local/sersync
#配置下密碼文件除嘹，因為這個密碼是要訪問服務(wù)器B需要的密碼和上面服務(wù)器B的密碼必須一致
echo "rsync" > /app/local/sersync/user.pass
#修改權(quán)限
chmod 600 /app/local/sersync/user.pass
#修改confxml.conf
vi /app/local/sersync/confxml.xml
<?xml version="1.0" encoding="ISO-8859-1"?>
<head version="2.5">
<host hostip="localhost" port="8008"></host>
<debug start="true"/>
<fileSystem xfs="false"/>
<filter start="false">
<exclude expression="(.*)\.php"></exclude>
<exclude expression="^data/*"></exclude>
</filter>
<inotify>
<delete start="true"/>
<createFolder start="true"/>
<createFile start="false"/>
<closeWrite start="true"/>
<moveFrom start="true"/>
<moveTo start="true"/>
<attrib start="false"/>
<modify start="false"/>
</inotify>
<sersync>
<localpath watch="/home/"> <!-- 這里填寫服務(wù)器A要同步的文件夾路徑-->
<remote ip="8.8.8.8" name="rsync"/> <!-- 這里填寫服務(wù)器B的IP地址和模塊名-->
<!--<remote ip="192.168.28.39" name="tongbu"/>-->
<!--<remote ip="192.168.28.40" name="tongbu"/>-->
</localpath>
<rsync>
<commonParams params="-artuz"/>
<auth start="true" users="rsync" passwordfile="/app/local/sersync/user.pass"/> <!-- rsync+密碼文件 這里填寫服務(wù)器B的認(rèn)證信息-->
<userDefinedPort start="false" port="874"/><!-- port=874 -->
<timeout start="false" time="100"/><!-- timeout=100 -->
<ssh start="false"/>
</rsync>
<failLog path="/tmp/rsync_fail_log.sh" timeToExecute="60"/><!--default every 60mins execute once--><!-- 修改失敗日志記錄（可選）-->
<crontab start="false" schedule="600"><!--600mins-->
<crontabfilter start="false">
<exclude expression="*.php"></exclude>
<exclude expression="info/*"></exclude>
</crontabfilter>
</crontab>
<plugin start="false" name="command"/>
</sersync>
<!-- 下面這些有關(guān)于插件你可以忽略了 -->
<plugin name="command">
<param prefix="/bin/sh" suffix="" ignoreError="true"/> <!--prefix /opt/tongbu/mmm.sh suffix-->
<filter start="false">
<include expression="(.*)\.php"/>
<include expression="(.*)\.sh"/>
</filter>
</plugin>
<plugin name="socket">
<localpath watch="/home/demo">
<deshost ip="210.36.158.xxx" port="8009"/>
</localpath>
</plugin>
<plugin name="refreshCDN">
<localpath watch="/data0/htdocs/cdn.markdream.com/site/">
<cdninfo domainname="cdn.chinacache.com" port="80" username="xxxx" passwd="xxxx"/>
<sendurl base="http://cdn.markdream.com/cms"/>
<regexurl regex="false" match="cdn.markdream.com/site([/a-zA-Z0-9]*).cdn.markdream.com/images"/>
</localpath>
</plugin>
</head>
#運行sersync
nohup /app/local/sersync/sersync2 -r -d -o /app/local/sersync/confxml.xml >/app/local/sersync/rsync.log 2>&1 &
nohup /app/local/sersync/sersync2 -r -d -o /app/local/sersync/img.xml >/app/local/sersync/img.log 2>&1 &
-d:啟用守護(hù)進(jìn)程模式
-r:在監(jiān)控前，將監(jiān)控目錄與遠(yuǎn)程主機(jī)用rsync命令推送一遍
-n: 指定開啟守護(hù)線程的數(shù)量罐韩，默認(rèn)為10個
-o:指定配置文件憾赁，默認(rèn)使用confxml.xml文件
