小白也能輕松上手的Prometheus教程

這篇文章將承接此前關于使用Prometheus配置自定義告警規(guī)則的文章凸主。在本文中鸥拧，我們將demo安裝Prometheus的過程以及配置Alertmanager厕诡，使其能夠在觸發(fā)告警時能發(fā)送郵件累榜，但我們將以更簡單的方式進行這一切——通過Rancher安裝。

image

我們將在這篇文章中看到?jīng)]有使用依賴項的情況下如何完成這一操作灵嫌。在本文中壹罚，我們不需要：

專門配置運行指向Kubernetes集群的kubectl
有關kubectl的知識，因為我們可以使用Rancher UI
Helm binary的安裝/配置

前期準備

一個谷歌云平臺賬號（免費的即可）寿羞，其他云也是一樣的
Rancher v2.4.2（文章發(fā)布時的最新版本）
運行在GKE（版本為1.15.11-gke.3）上的Kubernetes集群（EKS或者AKS也可以）

啟動一個Rancher實例

首先猖凛，啟動一個Rancher實例。你可以根據(jù)Rancher的指引啟動：

https://www.rancher.cn/quick-start/

使用Rancher部署一個GKE集群

使用Rancher來設置并配置一個Kubernetes集群绪穆。你可以訪問下方鏈接獲取文檔：

https://rancher2.docs.rancher.cn/docs/cluster-provisioning/_index

部署Prometheus

我們將利用Rancher的應用商店來安裝Prometheus辨泳。Rancher的應用商店主要集合了許多Helm Chart，以便于用戶能夠重復部署應用程序玖院。

我們的集群起來并且開始運行之后菠红，讓我們在“Apps”的標簽下選擇為其創(chuàng)建的默認項目，然后單擊“Launch”按鈕难菌。

image

現(xiàn)在我們來搜索我們感興趣的chart途乃。我們可以設置很多字段——但是對于本次demo來說我們將保留默認值。你可以在Detailed Description部分找到關于這些值的有用信息扔傅。無需擔心出現(xiàn)問題耍共，盡管去查看它們的用途。在頁面底部猎塞，點擊【Launch】试读。Prometheus Server以及Alertmanager將會被安裝以及配置。

image

當安裝完成時荠耽，頁面如下所示：

image

接下來钩骇，我們需要創(chuàng)建Services以訪問Prometheus Server以及Alertmanager。點開資源下方的工作負載標簽，在負載均衡部分倘屹，我們可以看到目前還沒有配置银亲。點擊導入YAML，選擇prometheus namespace纽匙，一次性復制兩個YAML并點擊導入务蝠。稍后你將了解我們?nèi)绾沃朗褂媚切┨囟ǖ亩丝诤徒M件tag。

apiVersion: v1
kind: Service
metadata:
  name: prometheus-service
spec:
  type: LoadBalancer
  ports:
    - port: 80
      targetPort: 9090
      protocol: TCP
  selector:
    component: server

apiVersion: v1
kind: Service
metadata:
  name: alertmanager-service
spec:
  type: LoadBalancer
  ports:
    - port: 80
      targetPort: 9093
      protocol: TCP
  selector:
    component: alertmanager

image

完成之后烛缔，service將顯示Active馏段。

image

在右側垂直省略號的下拉菜單里你能找到IP并點擊View/Edit YAML。在yaml文件的底部践瓷，你將會看到類似的部分：

status:
  loadBalancer:
    ingress:
      - ip: 34.76.22.14

訪問IP將為我們展示Prometheus Server和Alertmanager的GUI院喜。你會發(fā)現(xiàn)這時沒有什么內(nèi)容可以查看的，因為尚未定義規(guī)則以及配置告警晕翠。

添加規(guī)則

規(guī)則可以讓我們觸發(fā)告警喷舀。這些規(guī)則都是基于Prometheus的表達式語言。無論何時淋肾，只要符合條件硫麻，告警就會被觸發(fā)并發(fā)送給Alertmanager。

現(xiàn)在來看看我們?nèi)绾翁砑右?guī)則巫员。

在資源->工作負載標簽下庶香，我們可以看到Deployment在運行chart時創(chuàng)建了什么。我們來詳細看看prometheus-server和prometheus-alertmanager简识。

我們從第一個開始并理解其配置赶掖，我們?nèi)绾尉庉嬎⒘私夥赵谀膫€端口上運行。點擊垂直省略號菜單按鈕并點擊View/Edit YAML七扰。

首先奢赂，我們看到的是兩個與Deplolyment關聯(lián)的容器：prometheus-server-configmap-reload和prometheus-server。容器prometheus-server的專屬部分有一些相關信息：

image

正如我們所了解的颈走，Prometheus通過prometheus.yml進行配置膳灶。該文件（以及其他在serverFiles中列出的文件）將掛載到server pod。為了添加/編輯規(guī)則立由，我們需要修改這個文件轧钓。實際上，這就是一個Config Map锐膜，可以在Resources Config的標簽頁下找到毕箍。點擊垂直的省略菜單按鈕并Edit。在規(guī)則部分道盏，讓我們添加新的規(guī)則并點擊保存而柑。

groups:
  - name: memory demo alert
    rules:
      - alert: High Pod Memory
        expr: container_memory_usage_bytes{pod_name=~"nginx-.*", image!="", container!="POD"} > 5000000
        for: 1m
        labels:
          severity: critical
        annotations:
          summary: High Memory Usage

  - name: cpu demo alert
    rules:
      - alert: High Pod CPU
        expr: rate (container_cpu_usage_seconds_total{pod_name=~"nginx-.*", image!="", container!="POD"}[5m]) > 0.04
        for: 1m
        labels:
          severity: critical
        annotations:
          summary: High CPU Usage

image

規(guī)則將會由Prometheus Server自動加載文捶，然后我們在Prometheus Server GUI中能看到它們：

image

這是關于以上兩條規(guī)則的解釋：

container_memory_usage_bytes：當前內(nèi)存使用情況（以字節(jié)為單位），包括所有內(nèi)存媒咳，無論任何時候訪問粹排。
container_cpu_usage_seconds_total：累積的CPU時間（以秒為單位）

所有的指標都能夠在以下頁面中找到：

https://github.com/google/cadvisor/blob/master/metrics/prometheus.go

在Prometheus中所有正則表達式都使用RE2 syntax。使用正則表達式涩澡，我們只能為名稱與特定模式匹配的Pod選擇時間序列顽耳。在我們的示例中，我們需要尋找以nginx-開頭的pod筏养，并且排除“POD”斧抱，因為這是容器的父cgroup常拓，而且會顯示pod內(nèi)所有容器的統(tǒng)計信息渐溶。

對于container_cpu_usage_seconds_total來說，我們使用所謂的子查詢（Subquery）弄抬。它會每5分鐘返回我們的指標茎辐。

如果你想了解更多關于查詢以及例子，可以在官方的Prometheus文檔中查看掂恕。

配置告警

只要出現(xiàn)問題拖陆，告警就能立即提醒我們，使得我們能夠立刻知道系統(tǒng)中發(fā)生了錯誤懊亡。而Prometheus通過Alertmanager組件來提供告警依啰。

與Prometheus Server的操作步驟相同：在資源->工作負載標簽頁下，點擊prometheus-alertmanager右側菜單欄按鈕店枣，選擇View/Edit YAML速警，檢查其配置：

image

Alertmanager通過alertmanager.yml進行配置。該文件（及其他列在alertmanagerFiles內(nèi)的文件）將掛載到alertmanager pod上鸯两。接下來我們需要修改與alertmanager相關聯(lián)的configMap以便于設置告警闷旧。在Config標簽頁下，點擊prometheus-alertmanager行的菜單欄钧唐，然后選擇Edit忙灼。使用以下代碼代替基本配置：

global:
  resolve_timeout: 5m
route:
  group_by: [Alertname]
  # Send all notifications to me.
  receiver: demo-alert
  group_wait: 30s
  group_interval: 5m
  repeat_interval: 12h
  routes:
    - match:
        alertname: DemoAlertName
      receiver: "demo-alert"

receivers:
  - name: demo-alert
    email_configs:
      - to: your_email@gmail.com
        from: from_email@gmail.com
        # Your smtp server address
        smarthost: smtp.gmail.com:587
        auth_username: from_email@gmail.com
        auth_identity: from_email@gmail.com
        auth_password: 16letter_generated token # you can use gmail account password, but better create a dedicated token for this
        headers:
          From: from_email@gmail.com
          Subject: "Demo ALERT"

image

新配置將會由Alertmanager重新加載，并且我們能在Status標簽頁下看到GUI钝侠。

測試End-to-End方案

讓我們部署一些組件來進行監(jiān)控该园。對于練習來說部署一個簡單的nginx deployment就足夠了。使用Rancher GUI帅韧，在資源->工作負載標簽頁下點擊導入YAML里初，粘貼以下代碼（本次使用默認的命名空間）并點擊導入：

apiVersion: apps/v1 # for versions before 1.9.0 use apps/v1beta2
kind: Deployment
metadata:
  name: nginx-deployment
spec:
  selector:
    matchLabels:
      app: nginx
  replicas: 3 # tells deployment to run 2 pods matching the template
  template:
    metadata:
      labels:
        app: nginx
    spec:
      containers:
        - name: nginx
          image: nginx:1.7.9
          ports:
            - containerPort: 80

image

在Prometheus UI中，我們?yōu)槭褂么饲盀楦婢渲玫膬蓚€表達式中的1個來查看一些指標：

rate (container_cpu_usage_seconds_total{pod_name=~"nginx-.*", image!="", container!="POD"}[5m])

image

讓我們在其中一個Pod中添加一些負載以查看值的變化弱匪。當值大于0.04時青瀑，我們應該獲得告警璧亮。為此，我們需要選擇其中一個nginx Deployment Pod并點擊Execute Shell斥难。在其中我們將執(zhí)行一個命令：

image

告警有3個階段：

Inactive-條件不滿足
Pending-滿足條件
Firing-告警被觸發(fā)

我們已經(jīng)看到告警處于inactive狀態(tài)枝嘶，所以繼續(xù)在CPU上增加負載讓我們能觀察到剩余兩種狀態(tài)：

image

只要告警觸發(fā)，將會顯示在Alertmanager中：

image

將Alertmanager配置為在我們收到告警時發(fā)送電子郵件哑诊。如果我們查看收件箱群扶，則會看到類似的內(nèi)容：

image

總結

我們都知道監(jiān)控在整個運維過程中多么重要，但是如果沒有告警镀裤，監(jiān)控是不完整的竞阐。告警可以在問題發(fā)生時，然后我們立刻知道系統(tǒng)中出現(xiàn)了問題暑劝。Prometheus囊括了這兩種功能：監(jiān)控解決方案以及其Alertmanager組件的告警功能骆莹。本文中我們看到了使用Rancher部署Prometheus如此容易并且將Prometheus Server與Alertmanager集成。我們還使用Rancher配置了告警規(guī)則并推送了Alertmanager的配置担猛，所以它能在問題發(fā)生時提醒我們幕垦。最后，我們了解了如何根據(jù)Alertmanager的定義/集成收到一封包含觸發(fā)告警詳細信息的電子郵件（也可以通過Slack或PagerDuty發(fā)送）傅联。

小白也能輕松上手的Prometheus教程

前期準備

啟動一個Rancher實例

使用Rancher部署一個GKE集群

部署Prometheus

添加規(guī)則

配置告警

測試End-to-End方案

總 結

總結