最近在準備研究生論文開題抬闯,提前搭一下要用到的Kubernetes集群練練手感。半個月前关筒,Kubernetes 1.5正式發(fā)布溶握,最大的亮點是支持了在windows下運行容器,同時也簡化了使用kubeadm安裝集群的步驟蒸播。為了緊跟最時尚的潮流睡榆,我想試試用kubeadm搭一個1.5版本的集群出來。不過由于最近又過圣誕又要跨年袍榆,所以拖拖拉拉搭了一個星期多才搭好胀屿。也碰到了很多坑,尤其是翻墻問題真的神煩 (:зゝ∠) 所以在這里把搭集群的過程寫下來包雀,造福社會K拚浮(ps:各位看官讀完后如果有想打賞我的想法,我只想說:數目無所謂2判础葡兑!)
一、環(huán)境準備
我準備了三臺Ubuntu 16.04虛擬機赞草,各項參數如下:
節(jié)點 | IP地址 | CPU | 內存 |
---|---|---|---|
master | 192.168.0.158 | 4核 | 4GB |
node1 | 192.168.0.159 | 1核 | 2GB |
node2 | 192.168.0.160 | 1核 | 2GB |
Kubernetes官網上提到每臺機器至少要有1GB內存讹堤,不然集群起來之后,留給運行在容器內的應用的內存就很少了厨疙。同時要保證所有機器之前的網絡是互相連通的蜕劝。
這里再說一下,一開始我只給master分配了2個核轰异,但是等我把kubeadm跑起來后,docker在pull一些必需的鏡像時會出現OutOfCPU
的情況暑始,大概是因為kubeadm把第一臺機器做master以及第一個node搭独,所以初始化的服務都跑在這臺機器上?所以后來我把master加到了4核廊镜。
二牙肝、搭建步驟
(1/4)安裝docker、kubelet嗤朴、kubeadm和kubectl
以root用戶ssh到每臺機器上配椭,運行:
curl -s https://packages.cloud.google.com/apt/doc/apt-key.gpg | apt-key add -
cat <<EOF > /etc/apt/sources.list.d/kubernetes.list
deb http://apt.kubernetes.io/ kubernetes-xenial main
EOF
apt-get update
# 先安裝docker
apt-get install -y docker.io
apt-get install -y kubelet kubeadm kubectl kubernetes-cni
(2/4)初始化master
裝好kubelet和kubectl后,在master上以root用戶運行:
kubeadm init --token=yiqian.123456
注意: 官方文檔上kubeadm init
的時候是不帶token的雹姊,但我這樣運行之后股缸,console也沒給我一個默認的token(exo me???)。但其他節(jié)點在加入集群的時候是需要指定master的token的吱雏,所以我在kubeadm初始化的時候手動給master指定了一個token敦姻。
這里還有一個坑就是瘾境,如果初始化失敗了,比如像Issue#33544镰惦,那么你停掉再重新init會出錯迷守,這是因為kubeadm在安裝了相關包之后會生成/etc/kubernetes
、/var/lib/kubelet
等目錄旺入,所以我們先需要手動清理一下再重新初始化:
systemctl stop kubelet;
docker rm -f $(docker ps -q); mount | grep "/var/lib/kubelet/*" | awk '{print $3}' | xargs umount 1>/dev/null 2>/dev/null;
rm -rf /var/lib/kubelet /etc/kubernetes /var/lib/etcd /etc/cni;
systemctl start kubelet;
kubeadm init --token=<token>
最后兑凿,init成功的運行輸出如下:
root@xyq-k8s-master:/home/administrator# kubeadm init --token=yiqian.123456
[kubeadm] WARNING: kubeadm is in alpha, please do not use it for production clusters.
[preflight] Running pre-flight checks
[init] Using Kubernetes version: v1.5.1
[tokens] Validating provided token
[tokens] Accepted provided token
[certificates] Generated Certificate Authority key and certificate.
[certificates] Generated API Server key and certificate
[certificates] Generated Service Account signing keys
[certificates] Created keys and certificates in "/etc/kubernetes/pki"
[kubeconfig] Wrote KubeConfig file to disk: "/etc/kubernetes/kubelet.conf"
[kubeconfig] Wrote KubeConfig file to disk: "/etc/kubernetes/admin.conf"
[apiclient] Created API client, waiting for the control plane to become ready
[apiclient] All control plane components are healthy after 14.534854 seconds
[apiclient] Waiting for at least one node to register and become ready
[apiclient] First node is ready after 0.506558 seconds
[apiclient] Creating a test deployment
[apiclient] Test deployment succeeded
[token-discovery] Created the kube-discovery deployment, waiting for it to become ready
[token-discovery] kube-discovery is ready after 2.005108 seconds
[addons] Created essential addon: kube-proxy
[addons] Created essential addon: kube-dns
Your Kubernetes master has initialized successfully!
You should now deploy a pod network to the cluster.
Run "kubectl apply -f [podnetwork].yaml" with one of the options listed at:
http://kubernetes.io/docs/admin/addons/
You can now join any number of machines by running the following on each node:
kubeadm join --token=yiqian.123456 192.168.0.158
這個時候呢,我們可以通過kubectl
看看集群當前的狀態(tài):
root@xyq-k8s-master:/home/administrator# kubectl get nodes
NAME STATUS AGE
xyq-k8s-master Ready,master 1m
root@xyq-k8s-master:/home/administrator# kubectl get pods --all-namespaces
NAMESPACE NAME READY STATUS RESTARTS AGE
kube-system dummy-2088944543-gjmv4 1/1 Running 0 1m
kube-system etcd-xyq-k8s-master 0/1 Pending 0 2s
kube-system kube-apiserver-xyq-k8s-master 1/1 Running 0 20s
kube-system kube-controller-manager-xyq-k8s-master 1/1 Running 0 22s
kube-system kube-discovery-1769846148-9dpvt 1/1 Running 0 1m
kube-system kube-dns-2924299975-lc4rr 0/4 ContainerCreating 0 1m
kube-system kube-proxy-w5v9m 1/1 Running 0 1m
kube-system kube-scheduler-xyq-k8s-master 0/1 Pending 0 4s
可以看出來茵瘾,除了kube-dns
之外礼华,其他pods都跑起來了。是因為在沒有部署集群網絡時龄捡,dns
是起不來的卓嫂。So我們進入下一步!
(3/4)初始化master
官方一共給出了五種網絡addon聘殖,我選了Weave Net(因為它的安裝步驟最方便誒嘿嘿=晨雳。=),直接運行:
kubectl apply -f https://git.io/weave-kube
等weave跑起來后奸腺,kube-dns自然就跑起來啦餐禁。
root@xyq-k8s-master:/home/administrator# kubectl apply -f https://git.io/weave-kube
daemonset "weave-net" created
root@xyq-k8s-master:/home/administrator# kubectl get pods --all-namespaces
NAMESPACE NAME READY STATUS RESTARTS AGE
kube-system dummy-2088944543-gjmv4 1/1 Running 0 3m
kube-system etcd-xyq-k8s-master 1/1 Running 3 1m
kube-system kube-apiserver-xyq-k8s-master 1/1 Running 0 2m
kube-system kube-controller-manager-xyq-k8s-master 1/1 Running 0 2m
kube-system kube-discovery-1769846148-9dpvt 1/1 Running 0 3m
kube-system kube-dns-2924299975-lc4rr 4/4 Running 0 3m
kube-system kube-proxy-w5v9m 1/1 Running 0 3m
kube-system kube-scheduler-xyq-k8s-master 1/1 Running 0 1m
kube-system weave-net-8j1zg 2/2 Running 0 1m
(4/4)將其他節(jié)點加入集群
分別ssh到node1和node2上去,以root用戶運行:
kubeadm join --token=yiqian.123456 192.168.0.158
再回到我們的master節(jié)點查看nodes突照,就會發(fā)現集群已經搭好了帮非。
root@xyq-k8s-master:/home/administrator# kubectl get nodes
NAME STATUS AGE
xyq-k8s-master Ready,master 10m
xyq-k8s-s1 Ready 5m
xyq-k8s-s2 Ready 5m
關于翻墻
由于我是在遠程服務器上搭建虛擬機然后ssh上去操作,所以不能設置全局代理讹蘑,只能把http proxy加到docker的配置文件/etc/default/docker
中:
export http_proxy=<這個不能告訴你>
export https_proxy=<這個也不能告訴你>
重啟一下機器末盔,這樣docker在pull鏡像的時候以及kubeadm init的時候就會通過這個代理了。
但是在加了這個代理之后座慰,我仍然會碰到有的鏡像pull不下來的情況陨舱,網上查了一下,借鑒了一下漠然的方法版仔,利用Docker Hub把這個鏡像自動構建好游盲,再pull到本地,這樣就不用去谷歌的gcr.io上在線下載鏡像了蛮粮。具體做法如下益缎。
先去kubernetes源碼中找1.5版本中各個組件的版本:
鏡像名稱 | 版本號 |
---|---|
gcr.io/google_containers/kubedns-amd64 | 1.7 |
gcr.io/google_containers/kube-dnsmasq-amd64 | 1.3 |
gcr.io/google_containers/exechealthz-amd64 | 1.1 |
然后創(chuàng)建一個github項目,可以fork我的repo或者原作者的repo然想。
最后在Docker Hub上分別創(chuàng)建以上三個鏡像的自動構建項目莺奔。以kube-dns為例:
創(chuàng)建好之后要手動Trigger一下編譯
等待編譯成功之后就可以在本地直接pull了。
docker pull yiqianx/kubedns-amd64
以上变泄。
有問題歡迎大家評論指正~