? ? ? ?最近項目遇到一個問題春贸，直播系統(tǒng)采用k8s集群部署，用到了nginx作緩存遗遵。
使用默認k8s部署時萍恕，服務(wù)的pod的ip地址是變化的，這就會導(dǎo)致清理緩存的時车要，無法獲取正確的ip地址雄坪，從而導(dǎo)致nginx緩存無法清理。
這種情況下有2種方案解決：
- k8s pod 使用固定ip
- 遍歷k8s nginx pod的ip進行清理
由于方案1 存在一個問題，當nginx服務(wù)器增加時维哈，同時也需要修改清理緩存的服務(wù)器绳姨，因此采用方案2來解決這個問題。
具體步驟如下：
- 添加依賴
下圖是k8s和java client依賴的對應(yīng)關(guān)系表
image.png
由于當前環(huán)境k8s版本時1.16阔挠，因此maven依賴如下
<dependency>
<groupId>io.kubernetes</groupId>
<artifactId>client-java</artifactId>
<version>8.0.2</version>
</dependency>
- 具體實現(xiàn)邏輯
package com.jd.mt.trade.platform.service.impl;
import com.alibaba.fastjson.JSON;
import com.jd.mt.trade.platform.service.K8sPodService;
import io.kubernetes.client.openapi.ApiClient;
import io.kubernetes.client.openapi.Configuration;
import io.kubernetes.client.openapi.apis.CoreV1Api;
import io.kubernetes.client.openapi.models.V1Pod;
import io.kubernetes.client.openapi.models.V1PodList;
import io.kubernetes.client.util.ClientBuilder;
import io.kubernetes.client.util.KubeConfig;
import lombok.extern.slf4j.Slf4j;
import org.springframework.beans.factory.annotation.Value;
import org.springframework.stereotype.Service;
import org.springframework.util.ResourceUtils;
import java.io.File;
import java.io.FileReader;
import java.util.List;
import java.util.Objects;
import java.util.stream.Collectors;
/**
* @Author: huangyichun
* @Date: 2021/3/31
*/
@Slf4j
@Service
public class K8sPodServiceImpl implements K8sPodService {
@Value("${k8s.config.label}")
private String nginxPodLabel;
@Override
public List<String> queryNginxIps() {
try {
//讀取k8s證書的config配置文件
File file = ResourceUtils.getFile("/export/Packages/csa-palteform/latest/config/k8sConfigFile");
//創(chuàng)建客戶端飘庄， 如果服務(wù)是部署在k8s中，并且有權(quán)限购撼」蛳鳎可以使用ClientBuilder.defaultClient()創(chuàng)建客戶端
ApiClient client = ClientBuilder.kubeconfig(KubeConfig.loadKubeConfig(new FileReader(file))).build();
Configuration.setDefaultApiClient(client);
CoreV1Api api = new CoreV1Api();
//根據(jù)標簽查詢對應(yīng)的pod
V1PodList list = api.listPodForAllNamespaces(null, null, null, nginxPodLabel, null, null, null, null, null);
List<V1Pod> items = list.getItems();
List<String> collect = items.stream().map(pod -> Objects.requireNonNull(pod.getStatus()).getPodIP()).collect(Collectors.toList());
log.info("nginx ips ={}", JSON.toJSONString(collect));
return collect;
} catch (Exception e) {
log.error("nginx ip get error:", e);
}
return null;
}
}
- 單元測試
package com.jd.mt.trade.platform.service;
import com.jd.mt.trade.platform.BaseTest;
import org.junit.Test;
import org.springframework.beans.factory.annotation.Autowired;
import java.util.List;
/**
* @Author: huangyichun
* @Date: 2021/3/31
*/
public class K8sPodServiceTest extends BaseTest {
@Autowired
private K8sPodService k8sPodService;
@Test
public void queryNginxIps() {
List<String> list = k8sPodService.queryNginxIps();
System.out.println(list);
}
}
輸出：
[10.0.0.82]
