目錄
- 1. kubernetes創(chuàng)建跟證書和秘鑰
- 2. ETCD集群部署及維護(hù)
- 3. kubectl部署以及基本使用
- 4. Master節(jié)點(diǎn)部署及維護(hù)
- 5. Node節(jié)點(diǎn)部署及維護(hù)
01.介紹
kubernetes runtime一般是指容器生命周期的管理荡含， 早起kubelet在創(chuàng)建容器的時(shí)候直接調(diào)用docker daemon， docker daemon調(diào)用自己的libcontainer就可以把容器啟動(dòng)起來潭千， 但是隨著后續(xù)rkt的加入出現(xiàn)了很多兼容性的問題译荞， Container Runtime Interface(CRI)即程序運(yùn)行時(shí)接口就這樣出生了殴蓬， 后續(xù)接入的runtime按照CRI的接口實(shí)現(xiàn)就可以了柏蘑， 啟動(dòng)容器的過程中需要根據(jù)Open Container Initiative(OCI)即開放容器標(biāo)準(zhǔn)中的有關(guān)規(guī)定進(jìn)行啟動(dòng)， 目前比較穩(wěn)定的還是Docker并且Dockershim 核心代碼依然保留在 kubelet 內(nèi)部是最穩(wěn)定和特性支持最好的運(yùn)行時(shí)
目前官方文檔中支持的如下:
OCI
OCI的runtime spec標(biāo)準(zhǔn)中對(duì)于容器的狀態(tài)描述空镜，以及對(duì)于容器的創(chuàng)建浩淘、刪除、查看等操作進(jìn)行了定義吴攒。 目前包括兩個(gè)標(biāo)準(zhǔn)容器運(yùn)行時(shí)標(biāo)準(zhǔn)和容器鏡像標(biāo)準(zhǔn)张抄， 簡單的來說就是創(chuàng)建鏡像的標(biāo)準(zhǔn)和運(yùn)行容器的標(biāo)準(zhǔn)，
-
容器鏡像標(biāo)準(zhǔn)
文件系統(tǒng): 以layer保存的文件系統(tǒng),每個(gè)layer保存了和上層之間變化的部分,layer應(yīng)該保存哪些文件,怎么表示增加洼怔、修改和刪除的文件等
config文件: 保存了文件系統(tǒng)的層級(jí)信息(每個(gè)層級(jí)的hash值,以及歷史信息)以及容器運(yùn)行時(shí)需要的一些信息(比如環(huán)境變量署惯、工作目錄、命令參數(shù)镣隶、mount 列表)
manifest文件: 鏡像的config文件索引,有哪些layer,額外的annotation信息,manifest文件中保存了很多和當(dāng)前平臺(tái)有關(guān)的信息
index文件: 可選的文件,指向不同平臺(tái)的manifest文件,這個(gè)文件能保證一個(gè)鏡像可以跨平臺(tái)使用,每個(gè)平臺(tái)擁有不同的manifest文件,使用index作為索引
-
容器運(yùn)行時(shí)標(biāo)準(zhǔn)
ociVersion: OCI版本
id: 容器的ID,在宿主機(jī)唯一
status: 容器運(yùn)行時(shí)狀態(tài),生命周期
- creating: 使用 create 命令創(chuàng)建容器,這個(gè)過程稱為創(chuàng)建中,創(chuàng)建包括文件系統(tǒng)极谊、namespaces诡右、cgroups、用戶權(quán)限在內(nèi)的各項(xiàng)內(nèi)容
- created: 容器創(chuàng)建出來,但是還沒有運(yùn)行,表示鏡像和配置沒有錯(cuò)誤,容器能夠運(yùn)行在當(dāng)前平臺(tái)
- running: 容器的運(yùn)行狀態(tài),里面的進(jìn)程處于up狀態(tài),正在執(zhí)行用戶設(shè)定的任務(wù)
- stopped: 容器運(yùn)行完成,或者運(yùn)行出錯(cuò)或者stop命令之后轻猖，容器處于暫停狀態(tài),這個(gè)狀態(tài),容器還有很多信息保存在平臺(tái)中,并沒有完全被刪除
pid: 容器進(jìn)程在宿主機(jī)的進(jìn)程ID
bundle: 容器文件目錄,存放容器rootfs及相應(yīng)配置的目錄
annotations: 與容器相關(guān)的注釋
CRI
容器運(yùn)行時(shí)插件（Container Runtime Interface帆吻，簡稱 CRI）容器運(yùn)行時(shí)接口， 其中包括容器運(yùn)行時(shí)和鏡像的管理兩個(gè)grpc接口咙边， Kubelet 作為 CRI 的客戶端猜煮，而容器運(yùn)行時(shí)則需要實(shí)現(xiàn) CRI 的服務(wù)端（即 gRPC server，通常稱為 CRI shim）败许。容器運(yùn)行時(shí)在啟動(dòng) gRPC server 時(shí)需要監(jiān)聽在本地的 Unix Socket王带， 具體請(qǐng)看下圖：
簡單的來說就是容器的編排API調(diào)用CRI， CRI調(diào)用OCI啟動(dòng)容器
02.使用docker作為k8s runtime 時(shí)的啟動(dòng)流程
當(dāng)kubelet要?jiǎng)?chuàng)建一個(gè)容器時(shí)市殷，需要以下幾步：
- Kubelet 通過 CRI 接口（gRPC）調(diào)用 dockershim愕撰，請(qǐng)求創(chuàng)建一個(gè)容器。CRI 即容器運(yùn)行時(shí)接口（Container Runtime Interface）醋寝，這一步中盟戏，Kubelet 可以視作一個(gè)簡單的 CRI Client，而 dockershim 就是接收請(qǐng)求的 Server甥桂。目前 dockershim 的代碼其實(shí)是內(nèi)嵌在 Kubelet 中的柿究，所以接收調(diào)用的湊巧就是 Kubelet 進(jìn)程；
- dockershim 收到請(qǐng)求后黄选，轉(zhuǎn)化成 Docker Daemon 能聽懂的請(qǐng)求蝇摸，發(fā)到 Docker Daemon 上請(qǐng)求創(chuàng)建一個(gè)容器。
- Docker Daemon 請(qǐng)求 containerd 創(chuàng)建一個(gè)容器办陷；
- containerd 收到請(qǐng)求后貌夕，并不會(huì)自己直接去操作容器，而是創(chuàng)建一個(gè)叫做 containerd-shim 的進(jìn)程民镜，讓 containerd-shim 去操作容器啡专。這是因?yàn)槿萜鬟M(jìn)程需要一個(gè)父進(jìn)程來做諸如收集狀態(tài)，維持 stdin 等 fd 打開等工作制圈。而假如這個(gè)父進(jìn)程就是 containerd们童，那每次 containerd 掛掉或升級(jí)，整個(gè)宿主機(jī)上所有的容器都得退出了鲸鹦。而引入了 containerd-shim 就規(guī)避了這個(gè)問題（containerd 和 shim 并不是父子進(jìn)程關(guān)系）慧库；
- containerd-shim 在這一步需要調(diào)用 runC 這個(gè)命令行工具，來啟動(dòng)容器馋嗜；
- runC 啟動(dòng)完容器后本身會(huì)直接退出齐板，containerd-shim 則會(huì)成為容器進(jìn)程的父進(jìn)程，負(fù)責(zé)收集容器進(jìn)程的狀態(tài)，上報(bào)給 containerd甘磨，并在容器中 pid 為 1 的進(jìn)程退出后接管容器中的子進(jìn)程進(jìn)行清理橡羞，確保不會(huì)出現(xiàn)僵尸進(jìn)程。
03.Docker 安裝
卸載舊版本docker
$ yum remove docker \
docker-client \
docker-client-latest \
docker-common \
docker-latest \
docker-latest-logrotate \
docker-logrotate \
docker-selinux \
docker-engine-selinux \
docker-engine
$ rm -rf /var/lib/docker #刪除舊版本數(shù)據(jù)
安裝依賴包
$ yum install -y yum-utils \
device-mapper-persistent-data \
lvm2yum
添加源济舆，使用了阿里云鏡像
$ yum-config-manager \
--add-repo \
http://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo
$ yum makecache fast #配置元數(shù)據(jù)緩存
安裝最新穩(wěn)定版docker
$ yum install -y docker-ce
04.配置docker使用flannel網(wǎng)絡(luò)
修改docker的配置文件/usr/lib/systemd/system/docker.service卿泽，增加如下幾條環(huán)境變量配置：
EnvironmentFile=-/run/docker_opts.env
EnvironmentFile=-/run/flannel/subnet.env
systemd 維護(hù)
$ systemctl daemon-reload
$ systemctl start docker #啟動(dòng)docker引擎
$ systemctl enable docker #設(shè)置開機(jī)啟動(dòng)
番外篇配置加速器
sudo mkdir -p /etc/docker
sudo tee /etc/docker/daemon.json <<-'EOF'
{
"registry-mirrors": ["http://hub-mirror.c.163.com"]
}
EOF
05.Q&A
Q:
沒有配置flannel之前啟動(dòng)了docker， 已經(jīng)默認(rèn)分配了網(wǎng)絡(luò)吗冤， docker0使用bip分配的地址
"Default bridge (docker0) is assigned with an IP address 172.17.0.0/16. Daemon option --bip can be used to set a preferred IP address"
A:
查看/lib/systemd/system/docker.service文件發(fā)現(xiàn)啟動(dòng)命令沒有調(diào)用/run/docker_opts.env中的${DOCKER_OPTS}, 需要將啟動(dòng)命令從ExecStart=/usr/bin/dockerd -H fd:// --containerd=/run/containerd/containerd.sock修改為
/usr/bin/dockerd -H fd:// --containerd=/run/containerd/containerd.sock $DOCKER_OPTS
Q：
修改docker的默認(rèn)網(wǎng)段
A：
編輯/etc/docker/daemon.json添加如下內(nèi)容{ "bip": "172.26.0.1/16" }重啟docker服務(wù)
systemctl restart docker.service
