什么是實時同步
為什么要實時同步
實時同步的原理
實時同步的場景
實時同步工具選擇
實時同步案例演示
一巷送、什么是實時同步
實時同步就是監(jiān)控一個目錄的變化蛇券，當該目錄出發(fā)事件(創(chuàng)建/刪除/修改)就執(zhí)行動作，這個動作可以是rsync同步衡创，也可以是其他涩咖。并將其同步至遠程服務端苞也。
二、為什們要實時同步
- ① 能解決nfs單點故障問題
- ② 能狗讓本地快速切換至云端
三棒厘、實時同步原理
借助一個通知接口纵穿，inotify，inotify監(jiān)控本地主機的時間(創(chuàng)建/刪除/修改)奢人，則通知執(zhí)行動作谓媒，這個動作可以是rsync同步
實時同步實現(xiàn)及工作原理
① 實時監(jiān)控同步數(shù)據(jù)目錄信息變化；
② 監(jiān)控目錄發(fā)生變化進行數(shù)據(jù)推送何乎。
實時同步監(jiān)控服務器部署過程句惯，(inotify服務)；實時同步備份服務器部署過程(rsync服務)
① 創(chuàng)建要存儲數(shù)據(jù)的目錄
② 利用實時同步的軟件監(jiān)控我們進行備份的數(shù)據(jù)目錄
③ 利用rsync服務進行數(shù)據(jù)推送傳輸備份(一般是監(jiān)控存儲服務器上的目錄支救，想rsync備份服務器進行同步)
四抢野、實時同步的場景
-
能解決nfs單點故障問題
解決nfs單點故障 - 能夠讓本地快速切換至云端
五、實時同步工具選擇
- 1）inotify+rsync實現(xiàn) 寫腳本來實現(xiàn)監(jiān)控 放在后臺screen
① 腳本
② 同步 - 2）sersync實時同步
- 3）lsyncd
https://github.com/wsgzao/sersync
六各墨、實時同步案例演示
- 1）規(guī)劃
① web httpd/php
② nfs nfs-server inotify rsync sersync
③ backup rsync-server nfs-server -
2）實現(xiàn)web上傳視頻指孤，自動存儲至NFS
NFS服務端 10.0.0.31 172.16.1.31
① 安裝nfs
[root@nfs~]# yum install nfs-utils -y
② 配置
[root@nfs~]# cat /etc/exports
/data 172.16.1.0/24(rw,sync,all_squash,anonuid=666,anongid=666)
③ 根據(jù)配置創(chuàng)建初始環(huán)境
[root@nfs~]# groupadd -g 666 www
[root@nfs~]# useradd -u666 -g666 www
[root@nfs~]# mkdir /data
[root@nfs~]# chown -R www.www /data/
④ 重新啟動nfs服務
[root@nfs~]# systemctl start nfs-server（初次啟動時使用start，重新啟動時使用restart）
[root@nfs~]# systemctl enable nfs-server
WEB服務端操作 10.0.0.7 172.1.16.7
① 安裝httpd/php
[root@web~]# yum install httpd php -y
② 配置httpd和php
③ 啟動httpd
[root@web~]# systemctl start httpd
④ 模擬測試
⑤ web進行掛載贬堵，上傳代碼
[root@web~]# showmount -e 172.16.1.31 ------->查看需要掛載的列表
[root@web~]# mount -t nfs 172.16.1.31:/data /var/www/html/
[root@web~]# cd /var/www/html/
[root@web/var/www/html]# rz kaoshi.zip
[root@web/var/www/html]# unzip kaoshi.zip
PS：如出現(xiàn)錯誤要查看日志
[root@web/var/www/html]# tail -f /var/log/httpd/error_log
當NFS的目錄發(fā)生變化恃轩，則觸發(fā)同步(實時同步)
① 怎么監(jiān)控/data inotify
② 同步給誰rsync ----->backup服務器 [backup模塊] [data模塊]
rsync備份端操作 10.0.0.41 172.16.1.41
① 安裝rsync服務
[root@backup~]# yum install rsync -y
② 配置rsync
[root@backup~]# cat /etc/rsyncd.conf
uid = rsync
gid = rsync
port = 873
fake super = yes
use chroot = no
max connections = 200
timeout = 600
ignore errors
read only = false
list = false
auth users = rsync_backup
secrets file = /etc/rsync.passwd
log file = /var/log/rsyncd.log
#####################################
[backup]
comment = welcome to oldboyedu backup!
path = /backup
[data]
path = /data
③ 根據(jù)rsync配置初始化環(huán)境
[root@backup~]# groupadd rsync
[root@backup~]# useradd -M -s /sbin/nologin -g rsync rsync
[root@backup~]# echo "rsync_backup:123456" > /etc/rsync.passwd
[root@backup~]# chmod 600 /etc/rsync.passwd
[root@backup~]# mkdir /backup /data -p
[root@backup~]# chown -R rsync.rsync /backup/ /data/
④ 啟動rsyncd
[root@backup~]# systemctl start rsyncd
[root@backup~]# systemctl enable rsyncd
nfs服務配置 10.0.0.31 172.16.1.31
① 安裝rsync inotify
[root@nfs~]# yum install rsync inotify-tools -y
② 安裝sersync
[root@nfs ~]# wget https://github.com/wsgzao/sersync/raw/master/sersync2.5.4_64bit_binary_stable_final.tar.gz
[root@nfs~]# tar xf sersync2.5.4_64bit_binary_stable_final.tar.gz -C /usr/local/
[root@nfs~]# mv /usr/local/GNU-Linux-x86/ /usr/local/sersync
[root@nfs~]# file /usr/local/sersync/confxml.xml
[root@nfs~]# echo "123456" > /etc/rsync.pass
[root@nfs~]# chmod 600 /etc/rsync.pass
③ 啟動sersync
[root@nfs/usr/local/sersync]# /usr/local/sersync/sersync2 -dro /usr/local/sersync/confxml.xmld
⑤ 檢查
[root@nfs01 sersync]# vim confxml.xml
5 <fileSystem xfs="true"/> <!-- 文件系統(tǒng) -->
6 <filter start="false"> <!-- 排除不想同步的文件-->
7 <exclude expression="(.*)\.svn"></exclude>
8 <exclude expression="(.*)\.gz"></exclude>
9 <exclude expression="^info/*"></exclude>
10 <exclude expression="^static/*"></exclude>
11 </filter>
12 <inotify> <!-- 監(jiān)控的事件類型 -->
13 <delete start="true"/>
14 <createFolder start="true"/>
15 <createFile start="true"/>
16 <closeWrite start="true"/>
17 <moveFrom start="true"/>
18 <moveTo start="true"/>
19 <attrib start="false"/>
20 <modify start="false"/>
21 </inotify>
23 <sersync>
24 <localpath watch="/data"> <!-- 監(jiān)控的目錄 -->
25 <remote ip="172.16.1.41" name="data"/> <!-- backup的IP以及模塊 -->
28 </localpath>
29 <rsync> <!-- rsync的選項 -->
30 <commonParams params="-az"/>
31 <auth start="true" users="rsync_backup" passwordfile="/etc/rsync.pass"/>
32 <userDefinedPort start="false" port="874"/><!-- port=874 -->
33 <timeout start="true" time="100"/><!-- timeout=100 -->
34 <ssh start="false"/>
35 </rsync>
<!-- 每60分鐘執(zhí)行一次同步-->
36 <failLog path="/tmp/rsync_fail_log.sh" timeToExecute="60"/><!--def
ault every 60mins execute once-->
模擬NFS故障, web可以快速的切換到backup的NFS服務上?
