k8s-client-go源碼剖析(一)

簡介：云原生社區(qū)活動(dòng)---Kubernetes源碼剖析第一期

有幸參與云原生社區(qū)舉辦的Kubernetes源碼剖析活動(dòng)卖氨，活動(dòng)主要以書籍《Kubernetes源碼剖析》為主要思路進(jìn)行展開镊掖，提出在看書過程中遇到的問題镊绪，和社區(qū)成員一起討論惰蜜，最后會(huì)將結(jié)果總結(jié)到云原生社區(qū)的知識(shí)星球或Github蝴蜓。

第一期活動(dòng)主要以書本第五章<Client-go編程式交互>為主題進(jìn)行學(xué)習(xí)，計(jì)劃共三周半单默。

計(jì)劃如下：

client-go客戶端學(xué)習(xí)
Infoermer機(jī)制學(xué)習(xí)
WorkQueue學(xué)習(xí)
整體結(jié)構(gòu)回顧碘举、邏輯回顧、優(yōu)秀代碼回顧

學(xué)習(xí)總得有個(gè)重要的優(yōu)先級(jí)搁廓，我個(gè)人的優(yōu)先級(jí)是這樣的引颈，僅供參考：

Informer機(jī)制原理
WorkerQueue原理
幾種Client-go客戶端的使用、優(yōu)劣

學(xué)習(xí)環(huán)境相關(guān)：

Kubernetes 1.14版本
對(duì)應(yīng)版本的client-go

本文主題

本文是第一周境蜕，課題有兩個(gè)：

Client-go源碼結(jié)構(gòu)
幾種Client客戶端對(duì)象學(xué)習(xí)

Client-go源碼目錄結(jié)構(gòu)

[root@normal11 k8s-client-go]# tree . -L 1
.
├── CHANGELOG.md
├── code-of-conduct.md
├── CONTRIBUTING.md
├── discovery
├── dynamic
├── examples
├── Godeps
├── go.mod
├── go.sum
├── informers
├── INSTALL.md
├── kubernetes
├── kubernetes_test
├── LICENSE
├── listers
├── metadata
├── OWNERS
├── pkg
├── plugin
├── README.md
├── rest
├── restmapper
├── scale
├── SECURITY_CONTACTS
├── testing
├── third_party
├── tools
├── transport
└── util

client-go代碼庫已經(jīng)集成到了Kubernetes源碼中蝙场，所以書本中展示的內(nèi)容是在Kubernetes源碼中源碼結(jié)構(gòu)，而這里展示的是Client-go代碼庫中原始的內(nèi)容粱年，所以多了一些源碼之外的內(nèi)容李丰，例如README、example逼泣、go.mod等。下面講一下各個(gè)目錄的作用舟舒，內(nèi)容引自書本：

image

幾種Client-go客戶端

下圖是一個(gè)簡單的總結(jié),其中ClientSet拉庶、DynamicClient、DiscoveryClient都是基于RESTClient封裝的秃励。

image

RESTClient

最基礎(chǔ)的客戶端氏仗，對(duì)HTTP Request進(jìn)行了封裝，實(shí)現(xiàn)了RESTFul風(fēng)格的API。

案例代碼：

package main

import (
    "fmt"

    corev1 "k8s.io/api/core/v1"
    metav1 "k8s.io/apimachinery/pkg/apis/meta/v1"
    "k8s.io/client-go/kubernetes/scheme"
    "k8s.io/client-go/rest"
    "k8s.io/client-go/tools/clientcmd"
)

func main() {
    config, err := clientcmd.BuildConfigFromFlags("", "/root/.kube/config")
    if err != nil {
        panic(err.Error())
    }

    config.APIPath = "api"
    config.GroupVersion = &corev1.SchemeGroupVersion
    config.NegotiatedSerializer = scheme.Codecs

    restClient, err := rest.RESTClientFor(config)
    if err != nil {
        panic(err.Error())
    }

    result := &corev1.NodeList{}
    err = restClient.Get().Namespace("").Resource("nodes").VersionedParams(&metav1.ListOptions{Limit: 100}, scheme.ParameterCodec).Do().Into(result)
    if err != nil {
        panic(err)
    }

    for _, d := range result.Items {
        fmt.Printf("Node Name %v \n", d.Name)
    }
}

預(yù)期運(yùn)行結(jié)果將會(huì)打印K8S集群中的node

ClientSet

對(duì)RESTClient進(jìn)行了對(duì)象分類方式的封裝皆尔，可以實(shí)例化特定資源的客戶端呐舔，

以Resource和Version的方式暴露。例如實(shí)例化一個(gè)只操作appsv1版本的Deploy客戶端,

ClientSet可以認(rèn)為是一系列資源的集合客戶端慷蠕。缺點(diǎn)是不能直接訪問CRD珊拼。

通過client-gen代碼生成器生成帶有CRD資源的ClientSet后可以訪問CRD資源。(未測(cè)試)

案例代碼：


package main

import (
    apiv1 "k8s.io/api/core/v1"
    metav1 "k8s.io/apimachinery/pkg/apis/meta/v1"
    "k8s.io/client-go/kubernetes"
    "k8s.io/client-go/tools/clientcmd"
)

func main() {
    config, err := clientcmd.BuildConfigFromFlags("", "/root/.kube/config")
    if err != nil {
        panic(err)
    }
    clientset, err := kubernetes.NewForConfig(config)
    if err != nil {
        panic(err)
    }

    podClient := clientset.CoreV1().Pods(apiv1.NamespaceDefault)

    list, err := podClient.List(metav1.ListOptions{Limit: 500})
    if err != nil {
        panic(err)
    }
    for _, d := range list.Items {
        if d.Name == "" {
        }
        // fmt.Printf("NAME:%v \t NAME:%v \t STATUS: %+v\n ", d.Namespace, d.Name, d.Status)
    }

    //請(qǐng)求namespace為default下的deploy
    deploymentClient := clientset.AppsV1().Deployments(apiv1.NamespaceDefault)
    deployList, err2 := deploymentClient.List(metav1.ListOptions{Limit: 500})
    if err2 != nil {
        panic(err2)
    }
    for _, d := range deployList.Items {
        if d.Name == "" {

        }
        // fmt.Printf("NAME:%v \t NAME:%v \t STATUS: %+v\n ", d.Namespace, d.Name, d.Status)
    }

    // 請(qǐng)求ds資源 todo  有興趣可以嘗試下
    // clientset.AppsV1().DaemonSets()

}

代碼中分別打印了獲取到K8S集群中的500個(gè)Pod和500個(gè)deploy流炕，目前打印語句是注釋了澎现，如果要看效果需要先刪掉注釋。

案例代碼中還留了一個(gè)小內(nèi)容每辟，請(qǐng)求獲取daemonset資源剑辫，感興趣的可以試一試。

DynamicClient

這是一種動(dòng)態(tài)客戶端渠欺，對(duì)K8S任意資源進(jìn)行操作妹蔽，包括CRD。

請(qǐng)求返回的結(jié)果是map[string]interface{}

代碼案例：


package main

import (
    "fmt"

    apiv1 "k8s.io/api/core/v1"
    corev1 "k8s.io/api/core/v1"
    metav1 "k8s.io/apimachinery/pkg/apis/meta/v1"
    "k8s.io/apimachinery/pkg/runtime"
    "k8s.io/apimachinery/pkg/runtime/schema"
    "k8s.io/client-go/dynamic"
    "k8s.io/client-go/tools/clientcmd"
)

func main() {
    config, err := clientcmd.BuildConfigFromFlags("", "/root/.kube/config")
    if err != nil {
        panic(err)
    }

    dymaicClient, err := dynamic.NewForConfig(config)
    checkErr(err)
    //map[string]interface{}

         //TODO 獲取CRD資源 這里是獲取了TIDB的CRD資源
    // gvr := schema.GroupVersionResource{Version: "v1alpha1", Resource: "tidbclusters", Group: "pingcap.com"}
    // unstructObj, err := dymaicClient.Resource(gvr).Namespace("tidb-cluster").List(metav1.ListOptions{Limit: 500})
    // checkErr(err)
    // fmt.Println(unstructObj)

    gvr := schema.GroupVersionResource{Version: "v1", Resource: "pods"}
    unstructObj, err := dymaicClient.Resource(gvr).Namespace(apiv1.NamespaceDefault).List(metav1.ListOptions{Limit: 500})
    checkErr(err)
    // fmt.Println(unstructObj)
    podList := &corev1.PodList{}
    err = runtime.DefaultUnstructuredConverter.FromUnstructured(unstructObj.UnstructuredContent(), podList)
    checkErr(err)
    for _, d := range podList.Items {
        fmt.Printf("NAME:%v \t NAME:%v \t STATUS: %+v\n ", d.Namespace, d.Name, d.Status)
    }

}

func checkErr(err error) {
    if err != nil {
        panic(err)
    }
}

這個(gè)案例是打印了namespace為default下的500個(gè)pod挠将，同樣的胳岂，在案例中也有一個(gè)todo，獲取CRD資源捐名，感興趣的可以嘗試一下旦万。如果K8S集群中沒有TIDB的資源可以自行換成自己想要的CRD資源。

代碼中已經(jīng)有獲取v1alpha1版本的tidbclusters資源镶蹋。如果你不知道CRD相關(guān)的信息成艘，可以按照下面的步驟來找出對(duì)應(yīng)的信息：

通過kubectl api-resources 獲取到資源的Group和Resource
通過kubectl api-versions 找到對(duì)應(yīng)Group的版本

這樣資源的GVR(Group、Version贺归、Resource)都有了

DiscoveryClient

這是一種發(fā)現(xiàn)客戶端淆两，在前面的客戶端中需要知道資源的Resource和Version才能找到你想要的，

這些信息太多很難全部記住拂酣，這個(gè)客戶端用于獲取資源組秋冰、版本等信息。

前面用到的api-resources和api-versions都是通過discoveryClient客戶端實(shí)現(xiàn)的, 源碼在Kubernetes源碼庫中 pkg/kubectl/cmd/apiresources/apiresources.go pkg/kubectl/cmd/apiresources/apiversions.go


 // RunAPIResources does the work
func (o *APIResourceOptions) RunAPIResources(cmd *cobra.Command, f cmdutil.Factory) error {
    w := printers.GetNewTabWriter(o.Out)
    defer w.Flush()

    //拿到一個(gè)DiscoveryClient客戶端
    discoveryclient, err := f.ToDiscoveryClient()
    if err != nil {
        return err
    }


// RunAPIVersions does the work
func (o *APIVersionsOptions) RunAPIVersions() error {
    // Always request fresh data from the server
    o.discoveryClient.Invalidate()

    //通過discoveryClient獲取group相關(guān)信息
    groupList, err := o.discoveryClient.ServerGroups()
    if err != nil {
        return fmt.Errorf("couldn't get available api versions from server: %v", err)
    }

案例代碼：

獲取集群中的GVR


package main

import (
    "fmt"
    "k8s.io/apimachinery/pkg/runtime/schema"
    "k8s.io/client-go/discovery"
    "k8s.io/client-go/tools/clientcmd"
)

func main()  {
    config, err := clientcmd.BuildConfigFromFlags("","/root/.kube/config")
    if err != nil {
        panic(err.Error())
    }

    discoveryClient, err := discovery.NewDiscoveryClientForConfig(config)
    if err != nil {
        panic(err.Error())
    }

    _, APIResourceList, err := discoveryClient.ServerGroupsAndResources()
    if err != nil {
        panic(err.Error())
    }
    for _, list := range APIResourceList {
        gv, err := schema.ParseGroupVersion(list.GroupVersion)
        if err != nil {
            panic(err.Error())
        }
        for _, resource := range list.APIResources {
            fmt.Printf("name: %v, group: %v, version %v\n", resource.Name, gv.Group, gv.Version)
        }
    }
}

預(yù)期效果：打印集群中的GVR


[root@normal11 discoveryclient]# go run main.go 
name: bindings, group: , version v1
name: componentstatuses, group: , version v1
name: configmaps, group: , version v1
name: endpoints, group: , version v1
...

DiscoveryClient在請(qǐng)求到數(shù)據(jù)之后會(huì)緩存到本地婶熬，默認(rèn)存儲(chǔ)位置是_{/.kube/cache和}/.kube/http-cache,默認(rèn)是每10分鐘會(huì)和API Server同步一次剑勾。

總結(jié)

第一周主要是了解下各種客戶端的使用以及不同，有時(shí)間的可以再進(jìn)行一些拓展試驗(yàn)赵颅，研究對(duì)象可以選擇一些主流的框架或官方示例虽另，例如：

Sample-Controller 中如何使用client-go的
Kubebuilder中如何使用client-go的
Operator-sdk中如何使用client-go的