簡(jiǎn)介
前面的一篇博客介紹了基于KeepAlived雙主模型的高可用LVS的實(shí)現(xiàn)咪惠，詳見(http://www.reibang.com/p/0e8efc8fda3c)扎筒，但是目前Nginx在企業(yè)使用的比較多舍扰，因?yàn)镹ginx是基于七層的調(diào)度具垫，工作在網(wǎng)路第7層趟卸，所以可以對(duì)HTTP應(yīng)用實(shí)施分流策略，比如域名峦筒、結(jié)構(gòu)等究西。相比之下，LVS并不具備這樣的功能物喷，所以Nginx可使用的場(chǎng)合遠(yuǎn)多于LVS卤材。
基于這樣的考量，下面將介紹一下基于KeepAlived雙主模型的高可用Nginx的實(shí)現(xiàn)峦失。
實(shí)驗(yàn)實(shí)現(xiàn)基于KeepAlived雙主模型的高可用Nginx
需求分析
網(wǎng)絡(luò)拓?fù)淙缦聢D所示
| FQDN | IP |
|---|---|
| images.king.com | VIP1 172.18.1.100 |
| app.king.com | VIP2 172.18.1.200 |
當(dāng)客戶端訪問images.king.com的時(shí)候扇丛，是通過VIP1訪問，最終后端提供服務(wù)的是WEBSRV1和WEBSRV2宠进；當(dāng)客戶端訪問app.king.com的時(shí)候晕拆，是通過VIP2訪問藐翎，后端提供服務(wù)的是WEBSRV3和WEBSRV4材蹬。當(dāng)用戶訪問其中一個(gè)站點(diǎn)的時(shí)候，單個(gè)Nginx服務(wù)器可以提供負(fù)載均衡吝镣，將前端的請(qǐng)求調(diào)度到后端的兩臺(tái)WEBSRV上堤器，但是一臺(tái)Nginx無法避免單點(diǎn)失敗的問題，所以考慮用兩臺(tái)Nginx服務(wù)器配合KeepAlived來實(shí)現(xiàn)高可用性末贾。同時(shí)闸溃，企業(yè)提供兩個(gè)站點(diǎn)的服務(wù)，如果每個(gè)站點(diǎn)都采用兩臺(tái)Nginx來實(shí)現(xiàn)高可用性，那么需要四臺(tái)Nginx服務(wù)器辉川，成本比較高表蝙，而且正常情況下，有兩臺(tái)Nginx服務(wù)器處于空閑中乓旗「撸可以考慮采用KeepAlived + Nginx 雙主模型的方式來實(shí)現(xiàn)這種需求。
雙主模型屿愚。即針對(duì)VIP1汇跨，Nginx1是MASTER，Nginx2是BACKUP妆距，此時(shí)穷遂，VIP1漂在Nginx1上面，Nginx1負(fù)責(zé)調(diào)度后端的WEBSRV1和WEBSRV2娱据。針對(duì)VIP2蚪黑，Nginx2是MASTER，Nginx1是BACKUP中剩，此時(shí)祠锣，VIP2漂在Nginx2上面，Nginx2負(fù)責(zé)調(diào)度后端的WEBSRV3和WEBSRV4咽安。當(dāng)Nginx1或者Nginx2服務(wù)器的nginx服務(wù)伴网，或者keepalived服務(wù)出現(xiàn)故障，亦或是一臺(tái)nginx服務(wù)器的網(wǎng)絡(luò)出現(xiàn)故障的時(shí)候妆棒，那么此時(shí)出故障的Nginx服務(wù)器上面的VIP將漂移到另一臺(tái)Nginx服務(wù)器上面澡腾，并且原來負(fù)責(zé)的兩臺(tái)后端WEBSRV將由正常的Nginx服務(wù)器接管。以上是大致的實(shí)現(xiàn)過程糕珊。
實(shí)驗(yàn)環(huán)境準(zhǔn)備
搭建上圖所示的實(shí)驗(yàn)環(huán)境动分，為了突出實(shí)驗(yàn)的重點(diǎn)，上面的路由器省略红选，確保CLIENT和NGINX1以及NGINX2在同一個(gè)物理網(wǎng)絡(luò)即可澜公。CLIENT上面配置了一塊網(wǎng)卡，IP地址是172.18.1.6喇肋。NGINX1和NGINX2上面有兩塊網(wǎng)卡坟乾，分別配置了VIP和DIP，VIP用于面向CLIENT蝶防，而DIP則用來連接后端的四臺(tái)WEBSRV甚侣。
確保所有虛擬機(jī)（centos7.3）上面的防火墻和selinux處于關(guān)閉狀態(tài)。
各節(jié)點(diǎn)時(shí)間必須同步
找一臺(tái)機(jī)器A與國(guó)內(nèi)一臺(tái)常用的NTP服務(wù)器同步時(shí)間间学，企業(yè)里面其他的機(jī)器與A機(jī)器同步時(shí)間殷费。
各節(jié)點(diǎn)之間通過主機(jī)名互相通信印荔，建議使用/etc/hosts文件實(shí)現(xiàn)
各節(jié)點(diǎn)之間的root用戶可以基于密鑰認(rèn)證的ssh服務(wù)完成互相通信
實(shí)驗(yàn)過程
一、配置客戶端CLIENT
vim /etc/hosts
# 添加下面兩行
172.18.1.100 images.king.com
172.18.1.200 app.king.com
二详羡、在WEBSRV1和WEBSRV2上面
WEBSRV2的配置和WEBSRV1的配置大致相同仍律，下面以WEBSRV1為例介紹一下。
# 如果沒有安裝httpd就安裝
yum install httpd
# 啟動(dòng)服務(wù)
systemctl start httpd
# 準(zhǔn)備頁面实柠，如果是WEBSRV2染苛，就把WEBSRV1 改為WEBSRV2
# 這里是為了便于測(cè)試才區(qū)分的
echo "WEBSRV1 images" > /var/www/html/index.html
三、在WEBSRV3和WEBSRV4上面
WEBSRV4的配置和WEBSRV3的配置大致相同主到，下面以WEBSRV3為例介紹一下茶行。
# 如果沒有安裝httpd就安裝
yum install httpd
# 啟動(dòng)服務(wù)
systemctl start httpd
# 準(zhǔn)備頁面，如果是WEBSRV4登钥，就把WEBSRV3 改為WEBSRV4
# 這里是為了便于測(cè)試才區(qū)分一下的
echo "WEBSRV3 app" > /var/www/html/index.html
四畔师、配置NGINX1服務(wù)器
# 安裝KeepAlived
yum install keepalived
# 配置keepalived
cat /etc/keepalived/keepalived.conf
! Configuration File for keepalived
global_defs {
notification_email {
root@localhost
}
notification_email_from node1@localhost
smtp_server 127.0.0.1
smtp_connect_timeout 30
router_id node1
vrrp_mcast_group4 224.111.111.111
}
vrrp_script chk_down {
script "[[ -f /etc/keepalived/down ]] && exit 1 || exit 0"
interval 1
weight -20
}
vrrp_script chk_nginx {
script "killall -0 nginx &> /dev/null && exit 0 || exit 1"
interval 1
weight -20
fall 2
rise 2
}
vrrp_instance VI_1 {
state MASTER
interface ens37
virtual_router_id 88
priority 100
advert_int 1
authentication {
auth_type PASS
auth_pass 411fa9f6
}
virtual_ipaddress {
172.18.1.100/16
}
track_script {
chk_down
chk_nginx
}
}
vrrp_instance VI_2 {
state BACKUP
interface ens37
virtual_router_id 66
priority 90
advert_int 1
authentication {
auth_type PASS
auth_pass 123fa9f6
}
virtual_ipaddress {
172.18.1.200/16
}
}
# 安裝nginx
yum install nginx
# 配置nginx
vim /etc/nginx/nginx.conf
# http{}里面添加
upstream webgroup1{
server 192.168.1.14:80 weight=1;
server 192.168.1.15:80 weight=2;
server 127.0.0.1:80 backup;
}
upstream webgroup2{
server 192.168.1.16:80 weight=1;
server 192.168.1.66:80 weight=2;
server 127.0.0.1:80 backup;
}
# server{} 修改如下
server {
listen 80;
listen [::]:80;
server_name _;
root /app/website;
index index.jsp index.html;
}
# 新建/etc/nginx/conf.d/real_server.conf，添加server
vim /etc/nginx/conf.d/real_server.conf
server {
listen 172.18.1.100:80;
server_name images.king.com;
root /app/images;
location / {
proxy_pass http://webgroup1;
}
}
server {
listen 172.18.1.200:80;
server_name app.king.com;
root /app/app;
location / {
proxy_pass http://webgroup2;
}
}
# 準(zhǔn)備目錄以及sorry server
mkdir /app/website
echo "sorry server" > /app/website/index.html
mkdir /app/app
mkdir /app/images
# 啟動(dòng)nginx和keepalived
nginx
systemctl start keepalived
五牧牢、配置NGINX2服務(wù)器
# 安裝KeepAlived
yum install keepalived
# 配置keepalived
cat /etc/keepalived/keepalived.conf
! Configuration File for keepalived
global_defs {
notification_email {
root@localhost
}
notification_email_from node2@localhost
smtp_server 127.0.0.1
smtp_connect_timeout 30
router_id node2
vrrp_mcast_group4 224.111.111.111
}
vrrp_script chk_down {
script "[[ -f /etc/keepalived/down ]] && exit 1 || exit 0"
interval 1
weight -20
}
vrrp_script chk_nginx {
script "killall -0 nginx &> /dev/null && exit 0 || exit 1"
interval 1
weight -20
fall 2
rise 2
}
vrrp_instance VI_1 {
state BACKUP
interface ens37
virtual_router_id 88
priority 90
advert_int 1
authentication {
auth_type PASS
auth_pass 411fa9f6
}
virtual_ipaddress {
172.18.1.100/16
}
}
vrrp_instance VI_2 {
state MASTER
interface ens37
virtual_router_id 66
priority 100
advert_int 1
authentication {
auth_type PASS
auth_pass 123fa9f6
}
virtual_ipaddress {
172.18.1.200/16
}
track_script {
chk_down
chk_nginx
}
}
# 安裝nginx
yum install nginx
# 配置nginx
vim /etc/nginx/nginx.conf
# http{}里面添加
upstream webgroup1{
server 192.168.1.16:80 weight=1;
server 192.168.1.66:80 weight=2;
server 127.0.0.1:80 backup;
}
upstream webgroup2{
server 192.168.1.14:80 weight=1;
server 192.168.1.15:80 weight=2;
server 127.0.0.1:80 backup;
}
# server{} 修改如下
server {
listen 80;
listen [::]:80;
server_name _;
root /app/website;
index index.jsp index.html;
}
# 新建/etc/nginx/conf.d/real_server.conf看锉，添加server
vim /etc/nginx/conf.d/real_server.conf
server {
listen 172.18.1.200:80;
server_name app.king.com;
root /app/app;
location / {
proxy_pass http://webgroup1;
}
}
server {
listen 172.18.1.100:80;
server_name images.king.com;
root /app/images;
location / {
proxy_pass http://webgroup2;
}
}
# 準(zhǔn)備目錄以及sorry server
mkdir /app/website
echo "sorry server" > /app/website/index.html
mkdir /app/app
mkdir /app/images
# 啟動(dòng)nginx和keepalived
nginx
systemctl start keepalived
六、在CLIENT上進(jìn)行測(cè)試
測(cè)試一：
for i in {1..15};do curl images.king.com; done
for i in {1..15};do curl app.king.com; done
按照調(diào)度算法正常進(jìn)行服務(wù)調(diào)度塔鳍。
測(cè)試二：
for i in {1..50};do sleep 0.5; curl images.king.com;done
for i in {1..50};do sleep 0.5; curl app.king.com;done
斷開NGINX1或者NGINX2的網(wǎng)絡(luò)伯铣，兩個(gè)站點(diǎn)依然正常訪問。
停掉其中一臺(tái)NGINX的keepalived服務(wù)轮纫，兩個(gè)站點(diǎn)正常訪問腔寡。
此時(shí)，VIP1和VIP2集中在一臺(tái)正常工作的NGINX服務(wù)器上面掌唾。
測(cè)試三：
for i in {1..50};do sleep 0.5; curl images.king.com;done
停掉WEBSRV1或者WEBSRV2放前，images.king.com站點(diǎn)依然可以正常訪問。
for i in {1..50};do sleep 0.5; curl app.king.com;done
停掉WEBSRV3或者WEBSRV4糯彬，app.king.com站點(diǎn)依然可以正常訪問凭语。
測(cè)試四：
for i in {1..50};do sleep 0.5; curl images.king.com;done
停掉NGINX1服務(wù)器上面的nginx服務(wù)，發(fā)現(xiàn)images.king.com依然可以訪問撩扒。
for i in {1..50};do sleep 0.5; curl app.king.com;done
停掉NGINX2服務(wù)器上面的nginx服務(wù)似扔，發(fā)現(xiàn)app.king.com依然可以訪問。
測(cè)試五：
for i in {1..50};do sleep 0.5; curl images.king.com;done
把WEBSRV1和WEBSRV2的httpd服務(wù)都停掉搓谆，發(fā)現(xiàn)顯示的是sorry,server炒辉，前端調(diào)度器NGINX充當(dāng)了WEBSRV。
for i in {1..50};do sleep 0.5; curl app.king.com;done
把WEBSRV3和WEBSRV4的httpd服務(wù)都停掉挽拔，發(fā)現(xiàn)顯示的是sorry,server辆脸，前端調(diào)度器NGINX充當(dāng)了WEBSRV但校。
