背景
- Openshift在集群部署時(shí)需要額外提供一個(gè)負(fù)載均衡器痕鳍，該負(fù)載均衡器對(duì)master api及router haproxy中的80與443服務(wù)進(jìn)行負(fù)載硫豆，實(shí)現(xiàn)高可用。
- 如果在IaaS上部署Openshift集群的話笼呆，我們很自然地會(huì)使用IaaS的LB服務(wù)熊响，直接對(duì)LB作TCP端口負(fù)載就解決問(wèn)題了，既實(shí)現(xiàn)了需要的負(fù)載均衡诗赌，而且還有健康檢查汗茄，負(fù)載高可用，非常方便铭若。
- 但是我們的Openshift集群并不是部署在IaaS上洪碳，而是額外部署。IaaS上的LB無(wú)法直接將集群中的服務(wù)器作為監(jiān)聽(tīng)器的后端進(jìn)行負(fù)載叼屠，這時(shí)我們就需要在Openshift集群下額外獨(dú)立部署負(fù)載均衡器瞳腌。考慮到保證負(fù)載均衡器的高可用性镜雨，及監(jiān)控等嫂侍，這會(huì)是一個(gè)比較復(fù)雜的過(guò)程。
- 那么我們是否可以結(jié)合IaaS上的LB現(xiàn)有的機(jī)制荚坞，制定一套既方便部署挑宠，又高可用的方案呢？答案是肯定的西剥。
- 該篇就是介紹如何結(jié)合IaaS的LB與代理應(yīng)用Nginx實(shí)現(xiàn)Openshift高可用的外部負(fù)載均衡
原理
- 負(fù)載均衡器應(yīng)用痹栖，首先大家想到的最多的兩款應(yīng)用是：Nginx與Haproxy，我們選用了Nginx瞭空。
-
將IaaS的LB與Nginx結(jié)合的思路也很簡(jiǎn)單揪阿。在IaaS上部署兩臺(tái)主機(jī)，上面部署好代理應(yīng)用咆畏，將代理的后端設(shè)置為Openshift的服務(wù)器南捂，同時(shí)將這兩臺(tái)服務(wù)器作為IaaS上的LB的監(jiān)聽(tīng)器的后臺(tái)。
IaaS LB與Nginx結(jié)合提供外部負(fù)載
部署操作
IaaS上資源準(zhǔn)備
- 創(chuàng)建VPC
IaaS - 創(chuàng)建私網(wǎng)
IaaS - 在私網(wǎng)下創(chuàng)建兩臺(tái)主機(jī)（instance1, instance2）
IaaS - 創(chuàng)建一個(gè)LB
Iaas
搭建應(yīng)用與配置
- LB上創(chuàng)建三個(gè)監(jiān)聽(tīng)器（8443/TCP, 443/TCP, 80/TCP)
IaaS - LB的三個(gè)監(jiān)聽(tīng)器的后端都配置為兩臺(tái)Instance
IaaS - 在instance上安裝nginx
Instance
[root@i-8 root]# yum install nginx
- 配置nginx
Instance
openshift route服務(wù)器IP: 99.3.1.11旧找、99.3.1.12
openshift master服務(wù)器IP: 99.3.1.1溺健、99.3.1.2、99.3.1.3
[root@i-8 conf.d]# cat /etc/nginx/nginx.conf
...
events {
worker_connections 1024;
}
stream{
include /etc/nginx/conf.d/tcp.conf;
}
http {
...
[root@i-8 conf.d]# cat /etc/nginx/conf.d/tcp.conf
upstream nginx80{
server 99.3.1.11:80;
server 99.3.1.12:80;
}
server {
listen 80;
proxy_pass nginx80;
}
upstream nginx443{
server 99.3.1.11:443;
server 99.3.1.12:443;
}
server {
listen 443;
proxy_pass nginx443;
}
upstream nginx8443{
server 99.3.1.1:8443;
server 99.3.1.2:8443;
server 99.3.1.3:8443;
}
server {
listen 8443;
proxy_pass nginx8443;
}
- 啟動(dòng)nginx
[root@i-8 root]# systemctl start nginx
[root@i-8 root]# systemctl enable nginx
至此一個(gè)可監(jiān)控钮蛛、高可用且具有彈性伸縮功能的外部負(fù)載均衡器就完成了鞭缭。
演示方法
與之前訪問(wèn)openshift的服務(wù)一樣剖膳，只是將域名解析的IP指向IaaS的LB就可以了。
所有服務(wù)都能正常訪問(wèn)岭辣。同時(shí)對(duì)于不同的項(xiàng)目吱晒，可以通過(guò)創(chuàng)建不同的LB，來(lái)實(shí)現(xiàn)了負(fù)載均衡的擴(kuò)容沦童，Nginx應(yīng)用也可以通過(guò)創(chuàng)建更多的Instance進(jìn)行擴(kuò)容仑濒。
補(bǔ)充說(shuō)明
感謝有朋友提出了以下問(wèn)題：
"nginx不好用，除非nginx plus偷遗，否則一個(gè)master api不可用墩瞳，還是會(huì)訪問(wèn)到那個(gè)節(jié)點(diǎn)。haproxy配置也很簡(jiǎn)單氏豌，可以有健康檢查喉酌，如果熟悉的話，最好使用haproxy來(lái)作為代理應(yīng)用箩溃〔t吃！?br>
朋友提出的問(wèn)題確實(shí)是一個(gè)很嚴(yán)重的問(wèn)題，我對(duì)haproxy確實(shí)不太熟悉~~涣旨。
但是朋友說(shuō)的這個(gè)問(wèn)題其實(shí)不必太擔(dān)心歪架，因?yàn)閚ginx默認(rèn)的輪詢方式的請(qǐng)求按時(shí)間順序逐一分配到不同的后端服務(wù)器，如果后端某臺(tái)服務(wù)器宕機(jī)霹陡，故障系統(tǒng)被自動(dòng)剔除和蚪，使用戶訪問(wèn)不受影響。所以nginx自己會(huì)對(duì)openshift的服務(wù)作了檢查烹棉，來(lái)避免朋友提出的問(wèn)題攒霹。
我也單獨(dú)對(duì)nginx的這個(gè)健康檢查作了驗(yàn)證，確實(shí)是有效的浆洗。
再次感謝提出問(wèn)題的朋友催束，后序我也找時(shí)間使用haproxy作下測(cè)試。
Haproxy的配置
global
......
maxconn 20000
nbthread 2
......
frontend f_8443 *:8443
use_backend b_8443
mode tcp
backend b_8443
mode tcp
balance roundrobin
server master1 99.3.1.1:8443
server master2 99.3.1.2:8443
server master3 99.3.1.3:8443
frontend f_443 *:443
use_backend b_443
mode tcp
backend b_443
mode tcp
balance roundrobin
server infra1 99.3.1.11:443
server infra2 99.3.1.12:443
frontend f_80 *:80
use_backend b_80
mode tcp
backend b_80
balance roundrobin
server infra1 99.3.1.11:80
server infra2 99.3.1.12:80
