K8S 1.27 新特性 Pod 無(wú)需重啟調(diào)整CPU內(nèi)存資源

如果您已經(jīng)部署了指定 CPU 或 Memory 資源的 Kubernetes pod，可能已經(jīng)注意到更改資源值涉及重新啟動(dòng) pod鲫寄。直到現(xiàn)在跌造，這一直是運(yùn)行工作負(fù)載的破壞性操作启昧。

在 Kubernetes v1.27 中展融，添加了一個(gè)新的 alpha 功能蜗搔，允許用戶在不重啟容器的情況下調(diào)整分配給 Pod 的 CPU 或 memory 資源的大小供鸠。為了實(shí)現(xiàn)這一點(diǎn)畦贸，pod container 中的 resources 字段現(xiàn)在允許對(duì) cpu 和 memory 資源進(jìn)行更改±阄妫可以通過(guò) patch 修改正在運(yùn)行的 pod spec 來(lái)實(shí)現(xiàn)薄坏。

這也意味著 pod.spec 中 resources 字段不能再作為 pod 實(shí)際資源的指標(biāo)。監(jiān)控工具和其他此類(lèi)應(yīng)用程序現(xiàn)在必須查看 pod status 中的新字段寨闹。Kubernetes 通過(guò) CRI（容器運(yùn)行時(shí)接口）API 調(diào)用運(yùn)行時(shí)（例如負(fù)責(zé)運(yùn)行容器的 containerd）來(lái)查詢實(shí)際的 request CPU 和 memory 和 limit胶坠。來(lái)自容器運(yùn)行時(shí)的響應(yīng)反映在 pod 的 status 中。

此外繁堡，還添加了一個(gè) restartPolicy 字段涵但，它使用戶可以控制：在調(diào)整資源大小時(shí)如何處理容器。

v1.27 有什么新內(nèi)容帖蔓？

除了在 Pod 的 spec 中添加調(diào)整大小策略外矮瘟，還在 Pod 的 status 中添加了一個(gè)名為 allocatedResources 的新字段。containerStatuses該字段反映了分配給 Pod 容器的節(jié)點(diǎn)資源塑娇。

此外澈侠，一個(gè)名為resources的新字段已添加到容器的 status 中。該字段反映容器運(yùn)行時(shí)報(bào)告的在運(yùn)行容器上配置的實(shí)際資源 request 和 limit埋酬。

最后哨啃，一個(gè)名為resize的新字段已添加到 pod 的 status，以顯示上次請(qǐng)求調(diào)整大小的狀態(tài)写妥。

• Proposed值是對(duì)請(qǐng)求的調(diào)整大小的確認(rèn)拳球，并指示該請(qǐng)求已被驗(yàn)證和記錄。
• InProgress值表示節(jié)點(diǎn)已接受調(diào)整大小請(qǐng)求珍特，并且正在將調(diào)整大小請(qǐng)求應(yīng)用于 pod 的容器祝峻。
• Deferred值為表示此時(shí)無(wú)法授予請(qǐng)求的調(diào)整大小，節(jié)點(diǎn)將不斷重試扎筒。當(dāng)其他 pod 離開(kāi)并釋放節(jié)點(diǎn)資源時(shí)莱找，可以授予調(diào)整大小。
• Infeasible的值是一個(gè)信號(hào)嗜桌，表明該節(jié)點(diǎn)無(wú)法適應(yīng)請(qǐng)求的調(diào)整大小奥溺。如果請(qǐng)求的調(diào)整大小超過(guò)節(jié)點(diǎn)可以為 pod 分配的最大資源，就會(huì)發(fā)生這種情況骨宠。

何時(shí)使用此功能

以下是此功能可能有用的幾個(gè)示例：

• Pod 在節(jié)點(diǎn)上運(yùn)行浮定，但資源過(guò)多或過(guò)少相满。
• Pod 沒(méi)有被調(diào)度是因?yàn)榧褐袥](méi)有足夠的 CPU 或內(nèi)存，而集群中運(yùn)行的 Pod 被過(guò)度配置而未得到充分利用桦卒。
• 當(dāng)可以縮小或移動(dòng)將節(jié)點(diǎn)中優(yōu)先級(jí)較低的 pod 時(shí)立美，驅(qū)逐那些需要更多資源以將它們調(diào)度到更大節(jié)點(diǎn)上的有狀態(tài) pod，是一項(xiàng)昂貴或破壞性的操作闸盔。

如何使用此功能

為了在 v1.27 中使用此功能悯辙，必須啟用 InPlacePodVerticalScaling 功能門(mén)∮常可以啟動(dòng)一個(gè)啟用了此功能的本地集群躲撰，如下所示：

root@vbuild:~/go/src/k8s.io/kubernetes# FEATURE_GATES=InPlacePodVerticalScaling=true ./hack/local-up-cluster.sh
go version go1.20.2 linux/arm64
+++ [0320 13:52:02] Building go targets for linux/arm64
    k8s.io/kubernetes/cmd/kubectl (static)
    k8s.io/kubernetes/cmd/kube-apiserver (static)
    k8s.io/kubernetes/cmd/kube-controller-manager (static)
    k8s.io/kubernetes/cmd/cloud-controller-manager (non-static)
    k8s.io/kubernetes/cmd/kubelet (non-static)
...
...
Logs:
  /tmp/etcd.log
  /tmp/kube-apiserver.log
  /tmp/kube-controller-manager.log

  /tmp/kube-proxy.log
  /tmp/kube-scheduler.log
  /tmp/kubelet.log

To start using your cluster, you can open up another terminal/tab and run:

  export KUBECONFIG=/var/run/kubernetes/admin.kubeconfig
  cluster/kubectl.sh

Alternatively, you can write to the default kubeconfig:

  export KUBERNETES_PROVIDER=local

  cluster/kubectl.sh config set-cluster local --server=https://localhost:6443 --certificate-authority=/var/run/kubernetes/server-ca.crt
  cluster/kubectl.sh config set-credentials myself --client-key=/var/run/kubernetes/client-admin.key --client-certificate=/var/run/kubernetes/client-admin.crt
  cluster/kubectl.sh config set-context local --cluster=local --user=myself
  cluster/kubectl.sh config use-context local
  cluster/kubectl.sh

一旦本地集群?jiǎn)?dòng)并運(yùn)行，Kubernetes 用戶就可以使用資源調(diào)度 pod击费，并通過(guò) kubectl 調(diào)整 pod 的大小拢蛋。以下視頻演示說(shuō)明了如何使用此功能。

示例用例

基于云的開(kāi)發(fā)環(huán)境

在這種情況下蔫巩，開(kāi)發(fā)人員或開(kāi)發(fā)團(tuán)隊(duì)在本地編寫(xiě)代碼谆棱，但在 Kubernetes pod 中使用反映生產(chǎn)使用的一致配置構(gòu)建和測(cè)試代碼。當(dāng)開(kāi)發(fā)人員編寫(xiě)代碼時(shí)圆仔，此類(lèi) pod 需要的資源最少垃瞧，但當(dāng)他們構(gòu)建代碼或運(yùn)行一系列測(cè)試時(shí)，則需要更多的 CPU 和內(nèi)存坪郭。這個(gè)用例可以利用就地 pod 調(diào)整大小功能（在 eBPF 的幫助下）快速調(diào)整 pod 的資源大小并避免內(nèi)核 OOM（內(nèi)存不足）killer 終止進(jìn)程个从。

在 KubeCon North America 2022 會(huì)議演講 中說(shuō)明了這個(gè)用例。

Java 進(jìn)程初始化 CPU 要求

某些 Java 應(yīng)用程序在初始化期間可能需要比正常進(jìn)程操作期間所需的 CPU 多得多的 CPU歪沃。如果此類(lèi)應(yīng)用程序指定適合正常操作的 CPU 請(qǐng)求和限制嗦锐，則它們可能會(huì)遇到非常長(zhǎng)的啟動(dòng)時(shí)間。這樣的 pod 可以在創(chuàng)建 pod 時(shí)請(qǐng)求更高的 CPU 值沪曙，并且可以在應(yīng)用程序完成初始化后調(diào)整大小以滿足正常運(yùn)行需要即可奕污。

已知的問(wèn)題

在 v1.27 中 此功能處于 alpha 階段。以下是用戶可能會(huì)遇到的一些已知問(wèn)題：

• containerd v1.6.9 以下的版本沒(méi)有此功能的完整端到端操作所需的 CRI 支持液走。嘗試調(diào)整 pod 的大小似乎會(huì)停留在InProgress狀態(tài)碳默，并且 pod 狀態(tài)中的 resources 字段永遠(yuǎn)不會(huì)更新，即使新資源可能已經(jīng)在正在運(yùn)行的容器上生效育灸。
• Pod resize 可能會(huì)遇到與其他 pod 更新的競(jìng)爭(zhēng)條件腻窒，從而導(dǎo)致延遲執(zhí)行 pod resize。
• 在 Pod 的狀態(tài)中反映調(diào)整大小的容器資源可能需要一段時(shí)間磅崭。
• 此功能不支持靜態(tài) CPU 管理策略。

本文由mdnice多平臺(tái)發(fā)布