準(zhǔn)備工作

1. 需要準(zhǔn)備好K8S集群
2. 依賴 Helm v3.x版本
3. 需要準(zhǔn)備好Ingress群凶，參考 helm部署 ingress-nginx
4. 需要準(zhǔn)備好Gitlab殊者，參考 Helm部署GitLab 14.0
5. 需要準(zhǔn)備好鏡像倉庫予跌，參考Helm部署Harbor 2.3.0

背景

傳統(tǒng)的 CICD task節(jié)點(diǎn)一般運(yùn)行在主機(jī)上,可以 Docker 安裝啟動(dòng)亦或是直接二進(jìn)制部署啟動(dòng)呻征，在實(shí)際的運(yùn)維中會(huì)存在一些痛點(diǎn)問題蛾洛，比如在處理大量構(gòu)建task節(jié)點(diǎn)無法快速擴(kuò)容澈段，會(huì)遇到單點(diǎn)故障會(huì)導(dǎo)致該機(jī)器的所有 Runner 都不可用，可以將 GitLab-Runner部署在Kubernetes 集群來動(dòng)態(tài)創(chuàng)建虛擬的 task節(jié)點(diǎn)來運(yùn)行CI 腳本任務(wù)橄登，整個(gè)流程如圖所示：

image

GitLab-Runner在Kubernetes工作過程概述如下：

1. 首先需要在k8s集群部署一個(gè)gitlab-runner pod抓歼，并注冊(cè)到GitLab中
2. 在Git倉庫編寫 .gitlab-ci.yml 提交后會(huì)觸發(fā)GitLab分發(fā)任務(wù)，
3. 分配到任務(wù)的 gitlab-runner 調(diào)用 executor 按照Runner配置定義的默認(rèn)鏡像拢锹，或者CI腳本(.gitlab-ci.yml)定義的鏡像來啟動(dòng)Task pod谣妻，來運(yùn)行構(gòu)建CI腳本定義的任務(wù)
4. 任務(wù)運(yùn)行完畢，或者失敗退出后卒稳，Task pod銷毀

GitLab-Runner的部署

1. 同步海外源鏡像

在國內(nèi)環(huán)境部署應(yīng)用蹋半，經(jīng)常因?yàn)楂@取國外源站容器鏡像超時(shí)，導(dǎo)致部署失敗充坑，可以提前將容器鏡像同步到本地鏡像倉庫中减江，以自有鏡像倉庫 harbor.onwalk.net/pts 為例，login倉庫匪傍，執(zhí)行命令： docker login harbor.onwalk.net/pts 需要同步鏡像列表如下：

docker.io/docker:19.03
docker.io/docker:19.03.12-dind
registry.gitlab.com/gitlab-org/gitlab-runner/gitlab-runner-helper:x86_64-3b6f852e

這里用到了docker in docker 的方式來實(shí)現(xiàn)在容器中構(gòu)建容器鏡像您市，其中

• docker:19.03 是用來運(yùn)行docker命令
• docker:19.03.12-dind 是用來在Task pod中啟動(dòng)dockerd服務(wù)

關(guān)于docker pull tag push 操作可以參考：
1.https://docs.docker.com/engine/reference/commandline/pull/
2.https://docs.docker.com/engine/reference/commandline/tag/
3.https://docs.docker.com/engine/reference/commandline/push/

2. 創(chuàng)建 imagePullSecrets

創(chuàng)建容器集群訪問倉庫地址 harbor.onwalk.net/pts ，拉取鏡像需要的 secret

kubectl create namespace gitlab
kubectl create secret docker-registry registry-secret-name \
        --namespace=db \
        --docker-server=harbor.onwalk.net/pts \
        --docker-username='xxxxxx' \
        --docker-password='xxxxxx'

3. 添加 Helm倉庫

這里選用BitNami提供的chart倉庫

helm repo add gitlab https://charts.gitlab.io/
helm repo update

4. 定義 gitlab-runner 配置役衡，完成部署

登陸Gitlab 打開 menu-> admin -> runners 記錄下右側(cè)的

1. Register the runner with this URL：xxxx
2. And this registration token：xxxx

cat > gitlab-runner-value.yaml << EOF
enabled: true
privileged: true
rbac:
  create: true
  clusterWideAccess: true
imagePullSecrets:
  - name: registry-secret-name
image: harbor.onwalk.net/pts/gitlab-runner:alpine-v14.0.0
gitlabUrl: https://gitlab.onwalk.net
runnerRegistrationToken: vuAg5bjxKYp2bbzk26JU
runners:
  executor: "kubernetes"
  config: |
    [[runners]]
      [runners.kubernetes]
        image = "harbor.onwalk.net/pts/docker:19.03"
        privileged = true
      [[runners.kubernetes.services]]
        name = "harbor.onwalk.net/pts/docker:19.03.12-dind"
        alias = "docker"
  helpers:
    image: "harbor.onwalk.net/pts/gitlab-runner-helper:x86_64-3b6f852e"
EOF
helm upgrade --install ci-runner gitlab/gitlab-runner -f gitlab-runner-value.yaml -n gitlab

gitlab-runner-value.yaml 中關(guān)鍵配置說明如下：

1. Rbac. create: true 權(quán)限需要打開
2. Rbac. clusterWideAccess: true 權(quán)限需要打開
3. runners.executor: "kubernetes" 這需要定義executor 是kubernetes
4. runners.kubernetes 是默認(rèn)的executor，這里使用docker:19.03作為基礎(chǔ)鏡像
5. runners.kubernetes.services 是定義executor中的service 這里使用docker:19.03.12-dind作為基礎(chǔ)鏡像薪棒，服務(wù)別名定義為docker手蝎，使用DocerInDocker方式構(gòu)建鏡像 .gitlab-ci.yml 需要引用

Gitlab-runner 部署完畢后，會(huì)在Gitlab runner管理頁面看到：

image

創(chuàng)建 CI pipeline 配置

1. 在Git倉庫新建一個(gè) .gitlab-ci.yml 提交即可觸發(fā) CI 任務(wù)俐芯，一個(gè)簡(jiǎn)單示例如下：

stages:
  - build-push

build-push-job:
  stage: build-push
  variables:
    DOCKER_HOST: tcp://docker:2375
    DOCKER_TLS_CERTDIR: ""
    DOCKER_DRIVER: overlay2
  script:
    - docker build --network host -t $CI_PROJECT_NAME:$CI_PIPELINE_ID .
    - docker login -u admin -p passwdxxx harbor.onwalk.net/pts
    - docker tag $CI_PROJECT_NAME:$CI_PIPELINE_ID harbor.onwalk.net/pts/$CI_PROJECT_NAME:$CI_PIPELINE_ID
    - docker push harbor.onwalk.net/pts/$CI_PROJECT_NAME:$CI_PIPELINE_ID

部分配置參考說明棵介，在build-push-job中，引用了 gitlab-runner 配置文件中 runners.kubernetes.services 定義的 docker服務(wù)吧史，可以完成 docker 構(gòu)建鏡像邮辽，推送到鏡像倉庫等操作

2. 構(gòu)建成功的任務(wù)如圖所示：

image

image

參考文檔

https://docs.gitlab.com/runner/install/kubernetes.html
https://docs.gitlab.com/runner/executors/kubernetes.html
https://docs.gitlab.com/ee/ci/docker/using_docker_build.html#use-docker-socket-binding