基于kubemark的性能測試集群搭建指南

目標版本: kubernetes 1.17.5

集群系統(tǒng): centos 7

注: 不同版本的kubernetes性能測試有差異井仰，該指南不保證在其他版本有效

    前言: kubemark是一個節(jié)點模擬工具挫酿，目的是用于測試大規(guī)模集群下kubernetes接口時延和調(diào)度的性能猜敢。

我們需要搭建A,B兩個集群乐纸，B是我們需要測試的集群，A是跑kubemark負載的集群鲁沥，
kubemark容器在A中以deployment的形式部署瘫筐，每個副本都會以節(jié)點的形式注冊到B中，
部署完成后在A中有多少個kubemark的副本喂链，B集群就有多少個node節(jié)點

現(xiàn)假設已有兩個可用集群A返十，B

  1. 編譯并打包kubemark鏡像

  2. 下載kurbernetes源碼，版本需要和B集群一致

  3. 編譯kubemark二進制文件

./hack/build-go.sh cmd/kubemark/

cp $GOPATH/src/k8s.io/kubernetes/_output/bin/kubemark $GOPATH/src/k8s.io/kubernetes/cluster/images/kubemark/

  1. 構(gòu)建kubemark鏡像

cd $GOPATH/src/k8s.io/kubernetes/cluster/images/kubemark/

make build

  1. 創(chuàng)建namespace椭微、configmap洞坑、secret、rbac

kubectl create ns kubemark

kubectl create cm node-configmap --from-literal=content.type="" --from-file=kernel.monitor="kernel-monitor.json" -n kubemark (./test/kubemark/resources/kernel-monitor.json)

kubectl create secret generic kubeconfig --type=Opaque --from-file=kubelet.kubeconfig=kubemark.kubeconfig --from-file=kubeproxy.kubeconfig=kubemark.kubeconfig --from-file=npd.kubeconfig=kubemark.kubeconfig --from-file=heapster.kubeconfig=kubemark.kubeconfig --from-file=cluster_autoscaler.kubeconfig=kubemark.kubeconfig --from-file=dns.kubeconfig=kubemark.kubeconfig(kubermark.kubeconfig是B集群的kubeconfig /root/.kube/config)

kubectl apply -f addons/ -n kubemark(./test/kubemark/resources/manifests/addons)

  1. 創(chuàng)建kubemark負載

kubectl apply -f hollow-node_template.yaml -n kubemark

參考配置:

apiVersion: v1

kind: ReplicationController

metadata:

name: hollow-node

labels:

name: hollow-node

spec:

replicas: 200

selector:

name: hollow-node

template:

metadata:

labels:

name: hollow-node

spec:

initContainers:

- name: init-inotify-limit

image: busybox

command: ['sysctl', '-w', 'fs.inotify.max_user_instances=1000']

securityContext:

privileged: true

volumes:

- name: kubeconfig-volume

secret:

secretName: kubeconfig

- name: kernelmonitorconfig-volume

configMap:

name: node-configmap

- name: logs-volume

hostPath:

path: /var/log

- name: no-serviceaccount-access-to-real-master

emptyDir: {}

containers:

- name: hollow-kubelet

image: test.cargo.io/release/kubemark:latest

ports:

- containerPort: 4194

- containerPort: 10250

- containerPort: 10255

env:

- name: CONTENT_TYPE

valueFrom:

configMapKeyRef:

name: node-configmap

key: content.type

- name: NODE_NAME

valueFrom:

fieldRef:

fieldPath: metadata.name

command:

- /bin/sh

- -c

- /kubemark --morph=kubelet --name=$(NODE_NAME) --kubeconfig=/kubeconfig/kubelet.kubeconfig $(CONTENT_TYPE) --alsologtostderr 1>>/var/log/kubelet-$(NODE_NAME).log 2>&1

volumeMounts:

- name: kubeconfig-volume

mountPath: /kubeconfig

readOnly: true

- name: logs-volume

mountPath: /var/log

resources:

requests:

cpu: 20m

memory: 50M

securityContext:

privileged: true

- name: hollow-proxy

image: test.cargo.io/release/kubemark:latest

env:

- name: CONTENT_TYPE

valueFrom:

configMapKeyRef:

name: node-configmap

key: content.type

- name: NODE_NAME

valueFrom:

fieldRef:

fieldPath: metadata.name

command:

- /bin/sh

- -c

- /kubemark --morph=proxy --name=$(NODE_NAME) --kubeconfig=/kubeconfig/kubeproxy.kubeconfig $(CONTENT_TYPE) --alsologtostderr 1>>/var/log/kubeproxy-$(NODE_NAME).log 2>&1

volumeMounts:

- name: kubeconfig-volume

mountPath: /kubeconfig

readOnly: true

- name: logs-volume

mountPath: /var/log

resources:

requests:

cpu: 20m

memory: 50M

- name: hollow-node-problem-detector

image: test.cargo.io/release/node-problem-detector:v0.8.0

env:

- name: NODE_NAME

valueFrom:

fieldRef:

fieldPath: metadata.name

command:

- /bin/sh

- -c

- /node-problem-detector --system-log-monitors=/config/kernel.monitor --apiserver-override="https://192.168.0.16:6443?inClusterConfig=false&auth=/kubeconfig/npd.kubeconfig" --alsologtostderr 1>>/var/log/npd-$(NODE_NAME).log 2>&1

volumeMounts:

- name: kubeconfig-volume

mountPath: /kubeconfig

readOnly: true

- name: kernelmonitorconfig-volume

mountPath: /config

readOnly: true

- name: no-serviceaccount-access-to-real-master

mountPath: /var/run/secrets/kubernetes.io/serviceaccount

readOnly: true

- name: logs-volume

mountPath: /var/log

resources:

requests:

cpu: 20m

memory: 50M

securityContext:

privileged: true

  1. 運行e2e性能用例

這里有一個大坑蝇率，網(wǎng)上的搜到的文章大多數(shù)都是編譯e2e的二進制文件直接運行

make WHAT="test/e2e/e2e.test"

./e2e.test --kube-master=192.168.0.16 --host=https://192.168.0.16:6443 --ginkgo.focus="\[Performance\]" --provider=local --kubeconfig=kubemark.kubeconfig --num-nodes=10 --v=3 --ginkgo.failFast --e2e-output-dir=. --report-dir=.

但其實e2e的性能用例已經(jīng)被移出主庫了 https://github.com/kubernetes/kubernetes/pull/83322迟杂，所以在2019.10.1之后出的版本用上面的命令是無法運行性能測試的

  1. 利用perf-tests庫進行性能測試(切換到B集群的master節(jié)點運行)

  2. 下載對應kubernetes版本的perf-tests源碼 https://github.com/kubernetes/perf-tests

  3. 運行測試命令(節(jié)點數(shù)需要>=100，否則需要改動job.yaml里面的參數(shù))

./run-e2e.sh --testconfig=job.yaml --kubeconfig=config.yaml --provider=local --masterip=192.168.0.16,192.168.0.23,192.168.0.40 --mastername=kube-master-1,kube-master-2,kube-master-3 --master-internal-ip=192.168.0.16,192.168.0.23,192.168.0.40 --enable-prometheus-server --tear-down-prometheus-server=false

問題調(diào)試：

  • 如果targets的端口需要修改本慕，直接編輯service并修改相應的endpoints

  • 收集etcd-metrics的時候會報錯: etcdmetrics: failed to collect etcd database size排拷，是由于腳本直接通過2379無法拉取數(shù)據(jù)，需要修改源碼:

    perf-tests/clusterloader2/pkg/measurement/common/etcd_metrics.go "curl http://localhost:2379/metrics" -> "curl -L https://localhost:2379/metrics --key /etc/kubernetes/etcd/etcd.key --cert /etc/kubernetes/etcd/etcd.crt --insecure""

  • prometheus的target列表中有幾個接口可能沒法直接收集數(shù)據(jù)锅尘，會報401的權(quán)限問題监氢，解決辦法如下

    編輯對應的servicemonitor,在endpoints字段里加上bearerTokenFile: /var/run/secrets/kubernetes.io/serviceaccount/token

spec:

endpoints:

- bearerTokenFile: /var/run/secrets/kubernetes.io/serviceaccount/token

interval: 5s

port: apiserver

scheme: https

tlsConfig:

insecureSkipVerify: true

  kubelet加上--authentication-token-webhook=true,--authorization-mode=Webhook并重啟
  把system:kubelet-api-admin的ClusterRole綁定到prometheus-k8s的ServiceAccount上面

apiVersion: rbac.authorization.k8s.io/v1

kind: ClusterRoleBinding

metadata:

name: prometheus-k8s-1

roleRef:

apiGroup: rbac.authorization.k8s.io

kind: ClusterRole

name: system:kubelet-api-admin

subjects:

- kind: ServiceAccount

name: prometheus-k8s

namespace: monitoring

最后編輯于 ：
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
  • 人面猴
    序言：七十年代末，一起剝皮案震驚了整個濱河市鉴象，隨后出現(xiàn)的幾起案子忙菠，更是在濱河造成了極大的恐慌，老刑警劉巖纺弊，帶你破解...
    沈念sama閱讀 219,039評論 6贊 508
  • 死咒
    序言：濱河連續(xù)發(fā)生了三起死亡事件牛欢，死亡現(xiàn)場離奇詭異，居然都是意外死亡淆游，警方通過查閱死者的電腦和手機傍睹，發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 93,426評論 3贊 395
  • 救了他兩次的神仙讓他今天三更去死
    文/潘曉璐 我一進店門隔盛，熙熙樓的掌柜王于貴愁眉苦臉地迎上來，“玉大人拾稳，你說我怎么就攤上這事吮炕。” “怎么了访得？”我有些...
    開封第一講書人閱讀 165,417評論 0贊 356
  • 道士緝兇錄：失蹤的賣姜人
    文/不壞的土叔 我叫張陵龙亲，是天一觀的道長。 經(jīng)常有香客問我悍抑，道長鳄炉，這世上最難降的妖魔是什么？ 我笑而不...
    開封第一講書人閱讀 58,868評論 1贊 295
  • ?港島之戀（遺憾婚禮）
    正文 為了忘掉前任搜骡，我火速辦了婚禮妖啥，結(jié)果婚禮上骡楼，老公的妹妹穿的比我還像新娘。我一直安慰自己狮辽，他們只是感情好苍糠，可當我...
    茶點故事閱讀 67,892評論 6贊 392
  • 惡毒庶女頂嫁案：這布局不是一般人想出來的
    文/花漫 我一把揭開白布挣输。 她就那樣靜靜地躺著侮叮，像睡著了一般较解。 火紅的嫁衣襯著肌膚如雪。 梳的紋絲不亂的頭發(fā)上寸痢，一...
    開封第一講書人閱讀 51,692評論 1贊 305
  • 城市分裂傳說
    那天劫恒，我揣著相機與錄音，去河邊找鬼轿腺。 笑死，一個胖子當著我的面吹牛丛楚，可吹牛的內(nèi)容都是我干的族壳。 我是一名探鬼主播，決...
    沈念sama閱讀 40,416評論 3贊 419
  • 雙鴛鴦連環(huán)套：你想象不到人心有多黑
    文/蒼蘭香墨 我猛地睜開眼趣些，長吁一口氣：“原來是場噩夢啊……” “哼仿荆！你這毒婦竟也來了？” 一聲冷哼從身側(cè)響起坏平，我...
    開封第一講書人閱讀 39,326評論 0贊 276
  • 萬榮殺人案實錄
    序言：老撾萬榮一對情侶失蹤拢操，失蹤者是張志新（化名）和其女友劉穎，沒想到半個月后舶替，有當?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體令境，經(jīng)...
    沈念sama閱讀 45,782評論 1贊 316
  • ?護林員之死
    正文 獨居荒郊野嶺守林人離奇死亡，尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點故事閱讀 37,957評論 3贊 337
  • ?白月光啟示錄
    正文 我和宋清朗相戀三年顾瞪，在試婚紗的時候發(fā)現(xiàn)自己被綠了舔庶。 大學時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片抛蚁。...
    茶點故事閱讀 40,102評論 1贊 350
  • 活死人
    序言：一個原本活蹦亂跳的男人離奇死亡，死狀恐怖惕橙，靈堂內(nèi)的尸體忽然破棺而出瞧甩，到底是詐尸還是另有隱情，我是刑警寧澤弥鹦，帶...
    沈念sama閱讀 35,790評論 5贊 346
  • ?日本核電站爆炸內(nèi)幕
    正文 年R本政府宣布肚逸，位于F島的核電站，受9級特大地震影響彬坏，放射性物質(zhì)發(fā)生泄漏朦促。R本人自食惡果不足惜，卻給世界環(huán)境...
    茶點故事閱讀 41,442評論 3贊 331
  • 男人毒藥：我在死后第九天來索命
    文/蒙蒙 一苍鲜、第九天 我趴在偏房一處隱蔽的房頂上張望思灰。 院中可真熱鬧，春花似錦混滔、人聲如沸洒疚。這莊子的主人今日做“春日...
    開封第一講書人閱讀 31,996評論 0贊 22
  • 一樁弒父案坯屿，背后竟有這般陰謀
    文/蒼蘭香墨 我抬頭看了看天上的太陽油湖。三九已至，卻和暖如春领跛，著一層夾襖步出監(jiān)牢的瞬間乏德，已是汗流浹背。 一陣腳步聲響...
    開封第一講書人閱讀 33,113評論 1贊 272
  • 情欲美人皮
    我被黑心中介騙來泰國打工吠昭， 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留喊括，地道東北人。 一個月前我還...
    沈念sama閱讀 48,332評論 3贊 373
  • 代替公主和親
    正文 我出身青樓矢棚，卻偏偏與公主長得像郑什，于是被迫代替她去往敵國和親。 傳聞我的和親對象是個殘疾皇子蒲肋，可洞房花燭夜當晚...
    茶點故事閱讀 45,044評論 2贊 355