原文鏈接：kubemark 搭建測試集群

kubemark 搭建測試集群和性能測試

Kubemark是K8s官方提供的一個對K8s集群進行性能測試的工具。它可以模擬出一個K8s cluster（Kubemark cluster）瞒渠，不受資源限制，從而能夠測試的集群規(guī)模比真實集群大的多链方。這個cluster中master是真實的機器嘱蛋，所有的nodes是Hollow nodes淋肾。Hollow nodes執(zhí)行的還是真實的K8s程序叫潦，只是不會調(diào)用Docker蝇完，因此測試會走一套K8s API調(diào)用的完整流程，但是不會真正創(chuàng)建pod诅挑。

Kubermark是在模擬的Kubemark cluster上跑E2E測試四敞，從而獲得集群的性能指標泛源。Kubermark cluster的測試數(shù)據(jù)拔妥，雖然與真實集群的稍微有點誤差，不過可以代表真實集群的數(shù)據(jù)达箍。因此没龙，可以借用Kubermark，直接在真實集群上跑E2E測試缎玫，從而對我們真實集群進行性能測試硬纤。

kubemark 架構(gòu)

kubemark cluster 包括兩部分： 一個真實的master集群和一系列 “hollow” node， "hollow node" 只是模擬了kubelet的行為赃磨，并不是真正的node筝家，不會啟動任何的pod和掛載卷。
一般搭建kubemark 測試集群需要一個真實的集群（external cluster）和一個 kubemark master邻辉。hollowNode 以pod的形式運行在 external cluster 中溪王，并連接 kubemark master 將自己注冊為kubemark master 的 node腮鞍。

kubemark master 結(jié)構(gòu)圖：

kubemark

搭建 kubemark 流程

搭建詳細流程參考k8s 官方文檔

由于官方搭建的 kubemark 集群依賴比較多且不是特別符合我們的場景，所以以下針對金上云的集群環(huán)境搭建測試集群莹菱。

1. 先使用金山云平臺搭建兩個真實的集群移国。集群規(guī)格是 3 master(2c4g), 2 node(32c64g)，一個作為 kubemark 集群道伟， 另一個用來部署 hollow-node pod迹缀，稱為 support 集群。

2. 配置本地 kubectl 連接到support集群蜜徽。

3. 在support集群創(chuàng)建如下資源

   # 創(chuàng)建 kubemark namespace
   kubectl create ns kubemark
   
   # 創(chuàng)建 node-configmap
   kubectl create configmap node-configmap -n kubemark --from-literal=content.type="test-cluster" 
   

   獲取 kubemark 集群的kubeconfig祝懂，創(chuàng)建secret

    # 創(chuàng)建 secret kubeconfig
    kubectl create secret generic kubeconfig --type=Opaque --namespace=kubemark --from-file=kubelet.kubeconfig={kubeconfig_file_path} --from-file=kubeproxy.kubeconfig={{kubeconfig_file_path}}
   

   創(chuàng)建 hollow pod, 該pod運行 kubelet 和 kubeproxy 服務(wù)，且配置連接到 kubemark 集群拘鞋。

   kubectl apply -f hollow-node.yaml -n kubemark
   

   hollow-node.yaml 示例內(nèi)容：

   apiVersion: v1
   kind: ReplicationController
   metadata:
     name: hollow-node
     labels:
       name: hollow-node
   spec:
     replicas: 3
     selector:
       name: hollow-node
     template:
       metadata:
         labels:
           name: hollow-node
       spec:
         initContainers:
         - name: init-inotify-limit
           image: busybox
           command: ['sysctl', '-w', 'fs.inotify.max_user_instances=200']
           securityContext:
             privileged: true
         volumes:
         - name: kubeconfig-volume
           secret:
             secretName: kubeconfig
         containers:
         - name: hollow-kubelet
           image: hsxue/kubemark:v1.10.5
           ports:
           - containerPort: 4194
           - containerPort: 10250
           - containerPort: 10255
           env:
           - name: CONTENT_TYPE
             valueFrom:
               configMapKeyRef:
                 name: node-configmap
                 key: content.type
           - name: NODE_NAME
             valueFrom:
               fieldRef:
                 fieldPath: metadata.name
           command:
           - /bin/sh
           - -c
           - /kubemark --morph=kubelet --name=$(NODE_NAME) --kubeconfig=/kubeconfig/kubelet.kubeconfig $(CONTENT_TYPE) --alsologtostderr --v=2 
           volumeMounts:
           - name: kubeconfig-volume
             mountPath: /kubeconfig
             readOnly: true
           securityContext:
             privileged: true
         - name: hollow-proxy
           image: hsxue/kubemark:v1.10.5
           env:
           - name: CONTENT_TYPE
             valueFrom:
               configMapKeyRef:
                 name: node-configmap
                 key: content.type
           - name: NODE_NAME
             valueFrom:
               fieldRef:
                 fieldPath: metadata.name
           command:
           - /bin/sh
           - -c
           - /kubemark --morph=proxy --name=$(NODE_NAME) --use-real-proxier=false --kubeconfig=/kubeconfig/kubeproxy.kubeconfig $(CONTENT_TYPE) --alsologtostderr --v=2
           volumeMounts:
           - name: kubeconfig-volume
             mountPath: /kubeconfig
             readOnly: true
   

4. 當(dāng)hollow pod ready 后嫂易，進入 kubemark 集群可以看到有對應(yīng)的node注冊成功。