前言
K8S Ingress通過(guò)管理集群中的外部服務(wù)用的Service乎完，把流量從Nginx轉(zhuǎn)到對(duì)應(yīng)部署的容器中画切，提供7層負(fù)載均衡能力。
在我們公司存在混合部署的情況囱怕，有業(yè)務(wù)同時(shí)在容器和物理機(jī)、云主機(jī)上部署服務(wù)實(shí)例毫别，但是也需要通過(guò)K8S Ingress把外部流量轉(zhuǎn)入進(jìn)行娃弓，由于Ingress不支持流量轉(zhuǎn)到物理機(jī)上的實(shí)例，所以我們需要做一些擴(kuò)展來(lái)支持這種場(chǎng)景岛宦。
在Ingress Nginx主流程一文中台丛，已經(jīng)介紹了Ingress Nginx的驅(qū)動(dòng)流程，系統(tǒng)的主要驅(qū)動(dòng)邏輯是監(jiān)控API Server中相關(guān)資源的變化，并通過(guò)事件回調(diào)去驅(qū)動(dòng)系統(tǒng)的運(yùn)行挽霉。
我們可以通過(guò)適當(dāng)改造Ingress Nginx Controller來(lái)讓他支持物理機(jī)實(shí)例防嗡。
實(shí)現(xiàn)思路
ingress-nginx-controller的實(shí)現(xiàn)是通過(guò)k8s中的資源發(fā)現(xiàn)，把Server或Pod的變化侠坎，實(shí)時(shí)更新配置到Nginx中蚁趁，基于Nginx的反向代理服務(wù)，基于vhost子域名以及URL路由到后端的Pod中实胸。
在K8S添加物理服務(wù)資源
K8S原生的資源無(wú)法發(fā)現(xiàn)物理部署的服務(wù)他嫡，所以我們需要利用K8S的資源擴(kuò)展機(jī)制，給K8S添加一種新的資源：PhysicalDeployment資源庐完，下面是一個(gè)對(duì)應(yīng)的物理資源例子：
apiVersion: test.api.io/v1beta1
kind: PhysicalEndpoint
metadata:
name: phyendpoint-example
namespace: test
spec:
endpoints:
- 10.0.0.1:10001
- 10.0.0.2:10001
http_detect: /conf/
interval: 10
statu:
phyendpoint-example有兩個(gè)實(shí)例钢属，分別是10.0.0.1:10001和10.0.0.2:1001，由于ingress中的nginx使用的lua功能來(lái)實(shí)現(xiàn)upstream门躯，沒(méi)有使用nginx原生的upstream淆党，所以它暫時(shí)不具備被動(dòng)探測(cè)服務(wù)不可用的功能，也就是說(shuō)讶凉，當(dāng)一個(gè)endpoint故障或者不能工作時(shí)染乌，ingress無(wú)法做到想nginx原生upstream那樣，先隔離該實(shí)例缀遍，10秒后重試這種被動(dòng)探測(cè)能力慕匠。
ingress主要依賴(lài)于k8s原生的pod的主動(dòng)探測(cè)能力來(lái)發(fā)現(xiàn)不可用服務(wù)，當(dāng)主動(dòng)探測(cè)一個(gè)endpoint不可用時(shí)域醇，ingress能夠及時(shí)（當(dāng)然也不夠?qū)崟r(shí)）發(fā)現(xiàn)問(wèn)題台谊，并隔離該pod。
所以譬挚，這里還需要針對(duì)PhysicalEndpoint實(shí)現(xiàn)自己的控制器锅铅，在控制器中定期對(duì)PhysicalEndpoint管理的Endpoint進(jìn)行探測(cè)，并及時(shí)更新它的狀態(tài)减宣。
擴(kuò)展ingress-nginx-controller
ingress主要基于service來(lái)發(fā)現(xiàn)Endpoints盐须，這里需要增加對(duì)PhysicalEndpoint的事件偵聽(tīng)服務(wù)，并與Service服務(wù)一起訂閱合并Endpoints后漆腌，通過(guò)nginx的API更新到對(duì)應(yīng)的upstream服務(wù)列表中贼邓。
為了合并容器與物理部署，需要對(duì)Service也做稍許擴(kuò)展闷尿，增加annotation塑径，讓我們?cè)诜?wù)發(fā)現(xiàn)時(shí)除了發(fā)現(xiàn)該service的容器Endpoint之外，還去發(fā)現(xiàn)對(duì)應(yīng)的annotation中的PhysicalEndpoint中的Endpoint填具。
如下圖是一個(gè)例子：
apiVersion: v1
kind: Service
metadata:
name: test-service
namespace: test
annotations:
test.api.io/physical.deployment.endpoints: phyendpoint-example
labels:
deploy-type: test
project-name: golang-test-project
spec:
ports:
- port: 10001
targetPort: 10001
protocol: TCP
selector:
project-name: abc
總結(jié)
通過(guò)簡(jiǎn)單的擴(kuò)展统舀，就可以讓Ingress同時(shí)把流量向容器和物理機(jī)部署的服務(wù)進(jìn)行轉(zhuǎn)發(fā)，不僅能夠解決部分業(yè)務(wù)確實(shí)存在物理機(jī)部署的需求，同時(shí)對(duì)于我們公司的現(xiàn)狀的容器化推廣有很大幫助誉简，排除了不少阻力碉就。
