事件告警產(chǎn)生的背景
阿里kube-event介紹萎胰、支持的通知程序
k8s1.16.3集群對(duì)接釘釘機(jī)器人實(shí)踐
背景
監(jiān)控是保障系統(tǒng)穩(wěn)定性的重要組成部分碾盟，在Kubernetes開源生態(tài)中，資源類的監(jiān)控工具與組件監(jiān)控百花齊放技竟。
- cAdvisor：kubelet內(nèi)置的cAdvisor冰肴，監(jiān)控容器資源，如容器cpu榔组、內(nèi)存熙尉；
- Kube-state-metrics：kube-state-metrics通過監(jiān)聽 API Server 生成有關(guān)資源對(duì)象的狀態(tài)指標(biāo)，主要關(guān)注元數(shù)據(jù)搓扯，比如 Deployment检痰、Pod、副本狀態(tài)等擅编；
- metrics-server：metrics-server 也是一個(gè)集群范圍內(nèi)的資源數(shù)據(jù)聚合工具攀细，是 Heapster 的替代品箫踩，k8s的HPA組件就會(huì)從metrics-server中獲取數(shù)據(jù)爱态；
還有node-exporter、各個(gè)官方境钟、非官方的exporter锦担，使用 Prometheus 來抓取這些數(shù)據(jù)然后存儲(chǔ)，告警慨削，可視化洞渔。但這些還遠(yuǎn)遠(yuǎn)不夠。
監(jiān)控的實(shí)時(shí)性與準(zhǔn)確性不足
大部分資源監(jiān)控都是基于推或者拉的模式進(jìn)行數(shù)據(jù)離線缚态，因此通常數(shù)據(jù)是每隔一段時(shí)間采集一次磁椒，如果在時(shí)間間隔內(nèi)出現(xiàn)一些毛刺或者異常，而在下一個(gè)采集點(diǎn)到達(dá)時(shí)恢復(fù)玫芦，大部分的采集系統(tǒng)會(huì)吞掉這個(gè)異常浆熔。而針對(duì)毛刺的場(chǎng)景，階段的采集會(huì)自動(dòng)削峰桥帆，從而造成準(zhǔn)確性的降低医增。
監(jiān)控的場(chǎng)景覆蓋范圍不足
部分監(jiān)控場(chǎng)景是無法通過資源表述的，比如Pod的啟動(dòng)停止老虫，是無法簡(jiǎn)單的用資源的利用率來計(jì)量的叶骨，因?yàn)楫?dāng)資源為0的時(shí)候，我們是不能區(qū)分這個(gè)狀態(tài)產(chǎn)生的真實(shí)原因祈匙。
基于上述兩個(gè)問題忽刽，Kubernetes是怎么解決的呢？
事件監(jiān)控
在Kubernetes中，事件分為兩種跪帝，一種是Warning事件宝剖，表示產(chǎn)生這個(gè)事件的狀態(tài)轉(zhuǎn)換是在非預(yù)期的狀態(tài)之間產(chǎn)生的；另外一種是Normal事件歉甚，表示期望到達(dá)的狀態(tài)万细，和目前達(dá)到的狀態(tài)是一致的。我們用一個(gè)Pod的生命周期進(jìn)行舉例纸泄，當(dāng)創(chuàng)建一個(gè)Pod的時(shí)候赖钞，首先Pod會(huì)進(jìn)入Pending的狀態(tài)，等待鏡像的拉取聘裁，當(dāng)鏡像錄取完畢并通過健康檢查的時(shí)候雪营，Pod的狀態(tài)就變?yōu)镽unning。此時(shí)會(huì)生成Normal的事件衡便。而如果在運(yùn)行中献起，由于OOM或者其他原因造成Pod宕掉，進(jìn)入Failed的狀態(tài)镣陕，而這種狀態(tài)是非預(yù)期的谴餐，那么此時(shí)會(huì)在Kubernetes中產(chǎn)生Warning的事件。那么針對(duì)這種場(chǎng)景而言呆抑，如果我們能夠通過監(jiān)控事件的產(chǎn)生就可以非常及時(shí)的查看到一些容易被資源監(jiān)控忽略的問題岂嗓。
一個(gè)標(biāo)準(zhǔn)的Kubernetes事件有如下幾個(gè)重要的屬性，通過這些屬性可以更好地診斷和告警問題鹊碍。
Namespace：產(chǎn)生事件的對(duì)象所在的命名空間厌殉。
Kind：綁定事件的對(duì)象的類型，例如：Node侈咕、Pod公罕、Namespace、Componenet等等耀销。
Timestamp：事件產(chǎn)生的時(shí)間等等楼眷。
Reason：產(chǎn)生這個(gè)事件的原因。
Message: 事件的具體描述树姨。
[root@master work]# kubectl get event --all-namespaces
NAMESPACE LAST SEEN TYPE REASON OBJECT MESSAGE
default 14m Normal Created pod/busybox2 Created container busybox
default 14m Normal Started pod/busybox2 Started container busybox
default 19m Normal Pulling pod/litemall-all-584bfdcd99-q6wd2 Pulling image "litemall-all:2019-12-18-13-13-26"
default 24m Warning Failed pod/litemall-all-584bfdcd99-q6wd2 Error: ErrImagePull
default 14m Normal BackOff pod/litemall-all-584bfdcd99-q6wd2 Back-off pulling image "litemall-all:2019-12-18-13-13-26"
default 4m47s Warning Failed pod/litemall-all-584bfdcd99-q6wd2 Error: ImagePullBackOff
k8s1.9.2版本kubectl查詢到有event NAME一列摩桶，現(xiàn)在高版本這列都消失了，導(dǎo)致在查看event更詳細(xì)信息時(shí)帽揪，很不方便硝清，不知道是不是k8s的bug。
阿里的kube-eventer
針對(duì)Kubernetes的事件監(jiān)控場(chǎng)景转晰，Kuernetes社區(qū)在Heapter中提供了簡(jiǎn)單的事件離線能力芦拿，后來隨著Heapster的廢棄士飒，相關(guān)的能力也一起被歸檔了。為了彌補(bǔ)事件監(jiān)控場(chǎng)景的缺失蔗崎，阿里云容器服務(wù)發(fā)布并開源了kubernetes事件離線工具kube-eventer酵幕。支持離線kubernetes事件到釘釘機(jī)器人、SLS日志服務(wù)缓苛、Kafka開源消息隊(duì)列芳撒、InfluxDB時(shí)序數(shù)據(jù)庫等等。
項(xiàng)目地址
支持下列通知程序
| 程序名稱 | 描述 |
|---|---|
| dingtalk | 釘釘機(jī)器人 |
| sls | 阿里云sls服務(wù) |
| elasticsearch | elasticsearch 服務(wù) |
| honeycomb | honeycomb 服務(wù) |
| influxdb | influxdb 數(shù)據(jù)庫 |
| kafka | kafka 數(shù)據(jù)庫 |
| mysql | mysql 數(shù)據(jù)庫 |
| 微信 |
實(shí)踐演練
接下來實(shí)踐一下kube-events對(duì)接釘釘告警未桥。
1笔刹、首先有一個(gè)群，自己要又管理權(quán)限冬耿，點(diǎn)擊智能群助手
2舌菜、添加機(jī)器人：
3、添加自定義（通過Webhook接入自定義服務(wù)）
4亦镶、填寫機(jī)器人名稱日月、安全設(shè)置等。
安全設(shè)置目前有3種方式：
（1）自定義關(guān)鍵詞缤骨，最多可以設(shè)置10個(gè)關(guān)鍵詞爱咬，消息中至少包含其中1個(gè)關(guān)鍵詞才可以發(fā)送成功。添加了一個(gè)自定義關(guān)鍵詞：cluster1荷憋，則這個(gè)機(jī)器人所發(fā)送的消息台颠，必須包含監(jiān)控報(bào)警這個(gè)詞褐望，才能發(fā)送成功勒庄。
（2）加簽，把timestamp+"\n"+密鑰當(dāng)做簽名字符串瘫里，使用HmacSHA256算法計(jì)算簽名实蔽，然后進(jìn)行Base64 encode，最后再把簽名參數(shù)再進(jìn)行urlEncode谨读，得到最終的簽名（需要使用UTF-8字符集）局装。
（3）IP地址（段），設(shè)定后劳殖，只有來自IP地址范圍內(nèi)的請(qǐng)求才會(huì)被正常處理铐尚。支持兩種設(shè)置方式：IP、IP段哆姻，暫不支持IPv6地址白名單
上面我用到的是自定義關(guān)鍵字的方式宣增。關(guān)鍵字設(shè)置為cluster1，下面在創(chuàng)建yaml文件時(shí)需要修改矛缨。
更多詳細(xì)實(shí)例可以參考釘釘API對(duì)接文檔
5爹脾、復(fù)制webhook url地址帖旨。
6、將以下
yaml文件保存到kube-event.yaml文件中灵妨，修改啟動(dòng)參數(shù)中的--sink為自己剛才復(fù)制的webhook地址解阅，label中寫剛才自定義的關(guān)鍵字cluster1，level指定告警為Warning級(jí)別的事件泌霍。
apiVersion: apps/v1
kind: Deployment
metadata:
labels:
name: kube-eventer
name: kube-eventer
namespace: kube-system
spec:
replicas: 1
selector:
matchLabels:
app: kube-eventer
template:
metadata:
labels:
app: kube-eventer
annotations:
scheduler.alpha.kubernetes.io/critical-pod: ''
spec:
dnsPolicy: ClusterFirstWithHostNet
serviceAccount: kube-eventer
containers:
- image: registry.aliyuncs.com/acs/kube-eventer-amd64:v1.1.0-63e7f98-aliyun
name: kube-eventer
command:
- "/kube-eventer"
- "--source=kubernetes:https://kubernetes.default"
## .e.g,dingtalk sink demo
- --sink=dingtalk:https://oapi.dingtalk.com/robot/send?access_token=81kanbcl18sjambp9cb31o0k1jalh189asnxmafbf70933cb42978abd19d8fff7&label=cluster1&level=Warning
env:
# If TZ is assigned, set the TZ value as the time zone
- name: TZ
value: Asia/Shanghai
volumeMounts:
- name: localtime
mountPath: /etc/localtime
readOnly: true
- name: zoneinfo
mountPath: /usr/share/zoneinfo
readOnly: true
resources:
requests:
cpu: 100m
memory: 100Mi
limits:
cpu: 500m
memory: 250Mi
volumes:
- name: localtime
hostPath:
path: /etc/localtime
- name: zoneinfo
hostPath:
path: /usr/share/zoneinfo
---
apiVersion: rbac.authorization.k8s.io/v1
kind: ClusterRole
metadata:
name: kube-eventer
rules:
- apiGroups:
- ""
resources:
- events
verbs:
- get
- list
- watch
---
apiVersion: rbac.authorization.k8s.io/v1
kind: ClusterRoleBinding
metadata:
annotations:
name: kube-eventer
roleRef:
apiGroup: rbac.authorization.k8s.io
kind: ClusterRole
name: kube-eventer
subjects:
- kind: ServiceAccount
name: kube-eventer
namespace: kube-system
---
apiVersion: v1
kind: ServiceAccount
metadata:
name: kube-eventer
namespace: kube-system
7货抄、kubctl apply -f kube-event.yaml
當(dāng) kubernetes 集群中發(fā)生 Pod因?yàn)?OOM 、拉取不到鏡像朱转、健康檢查不通過等錯(cuò)誤導(dǎo)致重啟碉熄，集群管理員其實(shí)是不知道的，因?yàn)?Kubernetes 有自我修復(fù)機(jī)制肋拔，Pod宕掉锈津，可以重新啟動(dòng)一個(gè)。有了事件告警凉蜂，集群管理員就可以及時(shí)發(fā)現(xiàn)服務(wù)問題琼梆，進(jìn)行修復(fù)。
微信實(shí)踐
阿里云sls實(shí)踐
elasticsearch 實(shí)踐
honeycomb 實(shí)踐
influxdb 實(shí)踐
mysql實(shí)踐
kafka 實(shí)踐
參考
對(duì)接釘釘機(jī)器人說明
Kubernetes事件離線工具kube-eventer正式開源
作者簡(jiǎn)潔
作者：小碗湯窿吩，一位熱愛茎杂、認(rèn)真寫作的小伙，目前維護(hù)原創(chuàng)公眾號(hào)：『我的小碗湯』纫雁，專注于寫go語言煌往、docker、kubernetes轧邪、java等開發(fā)刽脖、運(yùn)維知識(shí)等提升硬實(shí)力的文章，期待你的關(guān)注。轉(zhuǎn)載說明：務(wù)必注明來源（注明：來源于公眾號(hào)：我的小碗湯，作者：小碗湯）
