從零搭建Prometheus監(jiān)控報(bào)警系統(tǒng)

什么是Prometheus?

Prometheus是由SoundCloud開(kāi)發(fā)的開(kāi)源監(jiān)控報(bào)警系統(tǒng)和時(shí)序列數(shù)據(jù)庫(kù)(TSDB)。Prometheus使用Go語(yǔ)言開(kāi)發(fā)场航,是Google BorgMon監(jiān)控系統(tǒng)的開(kāi)源版本综芥。
2016年由Google發(fā)起Linux基金會(huì)旗下的原生云基金會(huì)(Cloud Native Computing Foundation), 將Prometheus納入其下第二大開(kāi)源項(xiàng)目。
Prometheus目前在開(kāi)源社區(qū)相當(dāng)活躍。
Prometheus和Heapster(Heapster是K8S的一個(gè)子項(xiàng)目古瓤,用于獲取集群的性能數(shù)據(jù)。)相比功能更完善、更全面落君。Prometheus性能也足夠支撐上萬(wàn)臺(tái)規(guī)模的集群穿香。

Prometheus的特點(diǎn)

  • 多維度數(shù)據(jù)模型。
  • 靈活的查詢語(yǔ)言绎速。
  • 不依賴分布式存儲(chǔ)皮获,單個(gè)服務(wù)器節(jié)點(diǎn)是自主的。
  • 通過(guò)基于HTTP的pull方式采集時(shí)序數(shù)據(jù)纹冤。
  • 可以通過(guò)中間網(wǎng)關(guān)進(jìn)行時(shí)序列數(shù)據(jù)推送魔市。
  • 通過(guò)服務(wù)發(fā)現(xiàn)或者靜態(tài)配置來(lái)發(fā)現(xiàn)目標(biāo)服務(wù)對(duì)象。
  • 支持多種多樣的圖表和界面展示赵哲,比如Grafana等待德。

官網(wǎng)地址:https://prometheus.io/

架構(gòu)圖

image
image

基本原理

Prometheus的基本原理是通過(guò)HTTP協(xié)議周期性抓取被監(jiān)控組件的狀態(tài),任意組件只要提供對(duì)應(yīng)的HTTP接口就可以接入監(jiān)控枫夺。不需要任何SDK或者其他的集成過(guò)程将宪。這樣做非常適合做虛擬化環(huán)境監(jiān)控系統(tǒng),比如VM橡庞、Docker较坛、Kubernetes等。輸出被監(jiān)控組件信息的HTTP接口被叫做exporter 扒最。目前互聯(lián)網(wǎng)公司常用的組件大部分都有exporter可以直接使用丑勤,比如Varnish、Haproxy吧趣、Nginx法竞、MySQL、Linux系統(tǒng)信息(包括磁盤(pán)强挫、內(nèi)存岔霸、CPU、網(wǎng)絡(luò)等等)俯渤。

服務(wù)過(guò)程

  • Prometheus Daemon負(fù)責(zé)定時(shí)去目標(biāo)上抓取metrics(指標(biāo))數(shù)據(jù)呆细,每個(gè)抓取目標(biāo)需要暴露一個(gè)http服務(wù)的接口給它定時(shí)抓取。Prometheus支持通過(guò)配置文件八匠、文本文件絮爷、Zookeeper、Consul梨树、DNS SRV Lookup等方式指定抓取目標(biāo)坑夯。Prometheus采用PULL的方式進(jìn)行監(jiān)控,即服務(wù)器可以直接通過(guò)目標(biāo)PULL數(shù)據(jù)或者間接地通過(guò)中間網(wǎng)關(guān)來(lái)Push數(shù)據(jù)劝萤。
  • Prometheus在本地存儲(chǔ)抓取的所有數(shù)據(jù)渊涝,并通過(guò)一定規(guī)則進(jìn)行清理和整理數(shù)據(jù)慎璧,并把得到的結(jié)果存儲(chǔ)到新的時(shí)間序列中床嫌。
  • Prometheus通過(guò)PromQL和其他API可視化地展示收集的數(shù)據(jù)跨释。Prometheus支持很多方式的圖表可視化,例如Grafana厌处、自帶的Promdash以及自身提供的模版引擎等等鳖谈。Prometheus還提供HTTP API的查詢方式,自定義所需要的輸出阔涉。
  • PushGateway支持Client主動(dòng)推送metrics到PushGateway缆娃,而Prometheus只是定時(shí)去Gateway上抓取數(shù)據(jù)。
  • Alertmanager是獨(dú)立于Prometheus的一個(gè)組件瑰排,可以支持Prometheus的查詢語(yǔ)句贯要,提供十分靈活的報(bào)警方式。

三大套件

  • Server 主要負(fù)責(zé)數(shù)據(jù)采集和存儲(chǔ)椭住,提供PromQL查詢語(yǔ)言的支持崇渗。
  • Alertmanager 警告管理器,用來(lái)進(jìn)行報(bào)警京郑。
  • Push Gateway 支持臨時(shí)性Job主動(dòng)推送指標(biāo)的中間網(wǎng)關(guān)宅广。

本飛豬教程內(nèi)容簡(jiǎn)介

  • 1.演示安裝Prometheus Server
  • 2.演示通過(guò)golang和node-exporter提供metrics接口
  • 3.演示pushgateway的使用
  • 4.演示grafana的使用
  • 5.演示alertmanager的使用

安裝準(zhǔn)備

這里我的服務(wù)器IP是10.211.55.25,登入些举,建立相應(yīng)文件夾

mkdir -p /home/chenqionghe/promethues
mkdir -p /home/chenqionghe/promethues/server
mkdir -p /home/chenqionghe/promethues/client
touch /home/chenqionghe/promethues/server/rules.yml
chmod 777 /home/chenqionghe/promethues/server/rules.yml

下面開(kāi)始三大套件的學(xué)習(xí)

一.安裝Prometheus Server

通過(guò)docker方式
首先創(chuàng)建一個(gè)配置文件/home/chenqionghe/test/prometheus/prometheus.yml
掛載之前需要改變文件權(quán)限為777跟狱,要不會(huì)引起修改宿主機(jī)上的文件內(nèi)容不同步的問(wèn)題

global:
  scrape_interval:     15s # 默認(rèn)抓取間隔, 15秒向目標(biāo)抓取一次數(shù)據(jù)。
  external_labels:
    monitor: 'codelab-monitor'
# 這里表示抓取對(duì)象的配置
scrape_configs:
    #這個(gè)配置是表示在這個(gè)配置內(nèi)的時(shí)間序例户魏,每一條都會(huì)自動(dòng)添加上這個(gè){job_name:"prometheus"}的標(biāo)簽  - job_name: 'prometheus'
    scrape_interval: 5s # 重寫(xiě)了全局抓取間隔時(shí)間驶臊,由15秒重寫(xiě)成5秒
    static_configs:
      - targets: ['localhost:9090']

運(yùn)行

docker rm -f prometheus
docker run --name=prometheus -d \
-p 9090:9090 \
-v /home/chenqionghe/promethues/server/prometheus.yml:/etc/prometheus/prometheus.yml \
-v /home/chenqionghe/promethues/server/rules.yml:/etc/prometheus/rules.yml \
prom/prometheus:v2.7.2 \
--config.file=/etc/prometheus/prometheus.yml \
--web.enable-lifecycle

啟動(dòng)時(shí)加上--web.enable-lifecycle啟用遠(yuǎn)程熱加載配置文件
調(diào)用指令是curl -X POST http://localhost:9090/-/reload

訪問(wèn)http://10.211.55.25:9090
我們會(huì)看到如下l界面


image

訪問(wèn)http://10.211.55.25:9090/metrics

image

我們配置了9090端口,默認(rèn)prometheus會(huì)抓取自己的/metrics接口
在Graph選項(xiàng)已經(jīng)可以看到監(jiān)控的數(shù)據(jù)


image

二.安裝客戶端提供metrics接口

1.通過(guò)golang客戶端提供metrics

mkdir -p /home/chenqionghe/promethues/client/golang/src
cd !$
export GOPATH=/home/chenqionghe/promethues/client/golang/
#克隆項(xiàng)目
git clone https://github.com/prometheus/client_golang.git
#安裝需要FQ的第三方包
mkdir -p $GOPATH/src/golang.org/x/
cd !$
git clone https://github.com/golang/net.git
git clone https://github.com/golang/sys.git
git clone https://github.com/golang/tools.git
#安裝必要軟件包
go get -u -v github.com/prometheus/client_golang/prometheus
#編譯
cd $GOPATH/src/client_golang/examples/random
go build -o random main.go

運(yùn)行3個(gè)示例metrics接口

./random -listen-address=:8080 &
./random -listen-address=:8081 &
./random -listen-address=:8082 &

2.通過(guò)node exporter提供metrics

docker run -d \
--name=node-exporter \
-p 9100:9100 \
prom/node-exporter

然后把這兩些接口再次配置到prometheus.yml, 重新載入配置curl -X POST http://localhost:9090/-/reload

global:
  scrape_interval:     15s # 默認(rèn)抓取間隔, 15秒向目標(biāo)抓取一次數(shù)據(jù)叼丑。
  external_labels:
    monitor: 'codelab-monitor'
rule_files:
  #- 'prometheus.rules'
# 這里表示抓取對(duì)象的配置
scrape_configs:
  #這個(gè)配置是表示在這個(gè)配置內(nèi)的時(shí)間序例资铡,每一條都會(huì)自動(dòng)添加上這個(gè){job_name:"prometheus"}的標(biāo)簽  - job_name: 'prometheus'
  - job_name: 'prometheus'
    scrape_interval: 5s # 重寫(xiě)了全局抓取間隔時(shí)間,由15秒重寫(xiě)成5秒
    static_configs:
      - targets: ['localhost:9090']
      - targets: ['http://10.211.55.25:8080', 'http://10.211.55.25:8081','http://10.211.55.25:8082']
        labels:
          group: 'client-golang'
      - targets: ['http://10.211.55.25:9100']
        labels:
          group: 'client-node-exporter'

可以看到接口都生效了


image

prometheus還提供了各種exporter工具幢码,感興趣小伙伴可以去研究一下

三.安裝pushgateway

pushgateway是為了允許臨時(shí)作業(yè)和批處理作業(yè)向普羅米修斯公開(kāi)他們的指標(biāo)笤休。
由于這類作業(yè)的存在時(shí)間可能不夠長(zhǎng), 無(wú)法抓取到, 因此它們可以將指標(biāo)推送到推網(wǎng)關(guān)中。
Prometheus采集數(shù)據(jù)是用的pull也就是拉模型症副,這從我們剛才設(shè)置的5秒?yún)?shù)就能看出來(lái)店雅。但是有些數(shù)據(jù)并不適合采用這樣的方式,對(duì)這樣的數(shù)據(jù)可以使用Push Gateway服務(wù)贞铣。
它就相當(dāng)于一個(gè)緩存闹啦,當(dāng)數(shù)據(jù)采集完成之后,就上傳到這里辕坝,由Prometheus稍后再pull過(guò)來(lái)窍奋。
我們來(lái)試一下,首先啟動(dòng)Push Gateway

mkdir -p /home/chenqionghe/promethues/pushgateway
cd !$
docker run -d -p 9091:9091 --name pushgateway prom/pushgateway

訪問(wèn)http://10.211.55.25:9091 可以看到pushgateway已經(jīng)運(yùn)行起來(lái)了


image

接下來(lái)我們就可以往pushgateway推送數(shù)據(jù)了,prometheus提供了多種語(yǔ)言的sdk琳袄,最簡(jiǎn)單的方式就是通過(guò)shell

  • 推送一個(gè)指標(biāo)
echo "cqh_metric 100" | curl --data-binary @- http://ubuntu-linux:9091/metrics/job/cqh
  • 推送多個(gè)指標(biāo)
cat <<EOF | curl --data-binary @- http://10.211.55.25:9091/metrics/job/cqh/instance/test
# 鍛煉場(chǎng)所價(jià)格
muscle_metric{label="gym"} 8800
# 三大項(xiàng)數(shù)據(jù) kg
bench_press 100
dead_lift 160
deep_squal 160
EOF

然后我們?cè)賹ushgateway配置到prometheus.yml里邊,重載配置
看到已經(jīng)可以搜索出剛剛推送的指標(biāo)了


image

四.安裝Grafana展示

Grafana是用于可視化大型測(cè)量數(shù)據(jù)的開(kāi)源程序江场,它提供了強(qiáng)大和優(yōu)雅的方式去創(chuàng)建、共享窖逗、瀏覽數(shù)據(jù)址否。
Dashboard中顯示了你不同metric數(shù)據(jù)源中的數(shù)據(jù)。
Grafana最常用于因特網(wǎng)基礎(chǔ)設(shè)施和應(yīng)用分析碎紊,但在其他領(lǐng)域也有用到佑附,比如:工業(yè)傳感器、家庭自動(dòng)化仗考、過(guò)程控制等等音同。
Grafana支持熱插拔控制面板和可擴(kuò)展的數(shù)據(jù)源,目前已經(jīng)支持Graphite秃嗜、InfluxDB瘟斜、OpenTSDB、Elasticsearch痪寻、Prometheus等螺句。

我們使用docker安裝

docker run -d -p 3000:3000 --name grafana grafana/grafana

默認(rèn)登錄賬戶和密碼都是admin,進(jìn)入后界面如下


image

我們添加一個(gè)數(shù)據(jù)源


image

把Prometheus的地址填上


image

導(dǎo)入prometheus的模板


image

打開(kāi)左上角選擇已經(jīng)導(dǎo)入的模板會(huì)看到已經(jīng)有各種圖


image

我們來(lái)添加一個(gè)自己的圖表


image
image
image

指定自己想看的指標(biāo)和關(guān)鍵字橡类,右上角保存


image

看到如下數(shù)據(jù)


image

到這里我們就已經(jīng)實(shí)現(xiàn)了數(shù)據(jù)的自動(dòng)收集和展示蛇尚,下面來(lái)說(shuō)下prometheus如何自動(dòng)報(bào)警

五.安裝AlterManager

Pormetheus的警告由獨(dú)立的兩部分組成。
Prometheus服務(wù)中的警告規(guī)則發(fā)送警告到Alertmanager顾画。
然后這個(gè)Alertmanager管理這些警告取劫。包括silencing, inhibition, aggregation,以及通過(guò)一些方法發(fā)送通知研侣,例如:email谱邪,PagerDuty和HipChat。
建立警告和通知的主要步驟:

  • 創(chuàng)建和配置Alertmanager
  • 啟動(dòng)Prometheus服務(wù)時(shí)庶诡,通過(guò)-alertmanager.url標(biāo)志配置Alermanager地址惦银,以便Prometheus服務(wù)能和Alertmanager建立連接。

創(chuàng)建和配置Alertmanager

mkdir -p /home/chenqionghe/promethues/alertmanager
cd !$

創(chuàng)建配置文件alertmanager.yml

global:
  resolve_timeout: 5m
route:
  group_by: ['cqh']
  group_wait: 10s #組報(bào)警等待時(shí)間
  group_interval: 10s #組報(bào)警間隔時(shí)間
  repeat_interval: 1m #重復(fù)報(bào)警間隔時(shí)間
  receiver: 'web.hook'
receivers:
  - name: 'web.hook'
    webhook_configs:
      - url: 'http://10.211.55.2:8888/open/test'
inhibit_rules:
  - source_match:
      severity: 'critical'
    target_match:
      severity: 'warning'
    equal: ['alertname', 'dev', 'instance']

這里配置成了web.hook的方式末誓,當(dāng)server通知alertmanager會(huì)自動(dòng)調(diào)用webhook http://10.211.55.2:8888/open/test

下面運(yùn)行altermanager

docker rm -f alertmanager
docker run -d -p 9093:9093 \
--name alertmanager \
-v /home/chenqionghe/promethues/alertmanager/alertmanager.yml:/etc/alertmanager/alertmanager.yml \
prom/alertmanager

訪問(wèn)http://10.211.55.25:9093


image

接下來(lái)修改Server端配置報(bào)警規(guī)則和altermanager地址
修改規(guī)則/home/chenqionghe/promethues/server/rules.yml

groups:
  - name: cqh
    rules:
      - alert: cqh測(cè)試
        expr: dead_lift > 150
        for: 1m
        labels:
          status: warning
        annotations:
          summary: "{{$labels.instance}}:硬拉超標(biāo)扯俱!lightweight baby!!!"
          description: "{{$labels.instance}}:硬拉超標(biāo)!lightweight baby!!!"

這條規(guī)則的意思是喇澡,硬拉超過(guò)150公斤迅栅,持續(xù)一分鐘,就報(bào)警通知
然后再修改prometheus添加altermanager配置

global:
  scrape_interval:     15s # 默認(rèn)抓取間隔, 15秒向目標(biāo)抓取一次數(shù)據(jù)晴玖。
  external_labels:
    monitor: 'codelab-monitor'
rule_files:
  - /etc/prometheus/rules.yml
# 這里表示抓取對(duì)象的配置
scrape_configs:
  #這個(gè)配置是表示在這個(gè)配置內(nèi)的時(shí)間序例读存,每一條都會(huì)自動(dòng)添加上這個(gè){job_name:"prometheus"}的標(biāo)簽  - job_name: 'prometheus'
  - job_name: 'prometheus'
    scrape_interval: 5s # 重寫(xiě)了全局抓取間隔時(shí)間为流,由15秒重寫(xiě)成5秒
    static_configs:
      - targets: ['localhost:9090']
      - targets: ['10.211.55.25:8080', '10.211.55.25:8081','10.211.55.25:8082']
        labels:
          group: 'client-golang'
      - targets: ['10.211.55.25:9100']
        labels:
          group: 'client-node-exporter'
      - targets: ['10.211.55.25:9091']
        labels:
          group: 'pushgateway'
alerting:
  alertmanagers:
    - static_configs:
        - targets: ["10.211.55.25:9093"]

重載prometheus配置,規(guī)則就已經(jīng)生效
接下來(lái)我們觀察grafana中數(shù)據(jù)的變化


image

然后我們點(diǎn)擊prometheus的Alert模塊让簿,會(huì)看到已經(jīng)由綠->黃-紅敬察,觸發(fā)了報(bào)警


image
image
image

然后我們?cè)賮?lái)看看提供的webhook接口,這里的接口我是用的golang寫(xiě)的拜英,接到數(shù)據(jù)后將body內(nèi)容報(bào)警到釘釘


image

釘釘收到報(bào)警內(nèi)容如下


image

到這里,從零開(kāi)始搭建Prometheus實(shí)現(xiàn)自動(dòng)監(jiān)控報(bào)警就說(shuō)介紹完了琅催,一條龍服務(wù)居凶,自動(dòng)抓取接口+自動(dòng)報(bào)警+優(yōu)雅的圖表展示,你還在等什么藤抡,趕緊high起來(lái)侠碧!

?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
  • 序言:七十年代末,一起剝皮案震驚了整個(gè)濱河市缠黍,隨后出現(xiàn)的幾起案子弄兜,更是在濱河造成了極大的恐慌,老刑警劉巖瓷式,帶你破解...
    沈念sama閱讀 218,682評(píng)論 6 507
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件替饿,死亡現(xiàn)場(chǎng)離奇詭異,居然都是意外死亡贸典,警方通過(guò)查閱死者的電腦和手機(jī)视卢,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 93,277評(píng)論 3 395
  • 文/潘曉璐 我一進(jìn)店門(mén),熙熙樓的掌柜王于貴愁眉苦臉地迎上來(lái)廊驼,“玉大人据过,你說(shuō)我怎么就攤上這事《士妫” “怎么了绳锅?”我有些...
    開(kāi)封第一講書(shū)人閱讀 165,083評(píng)論 0 355
  • 文/不壞的土叔 我叫張陵,是天一觀的道長(zhǎng)酝掩。 經(jīng)常有香客問(wèn)我鳞芙,道長(zhǎng),這世上最難降的妖魔是什么期虾? 我笑而不...
    開(kāi)封第一講書(shū)人閱讀 58,763評(píng)論 1 295
  • 正文 為了忘掉前任积蜻,我火速辦了婚禮,結(jié)果婚禮上彻消,老公的妹妹穿的比我還像新娘竿拆。我一直安慰自己,他們只是感情好宾尚,可當(dāng)我...
    茶點(diǎn)故事閱讀 67,785評(píng)論 6 392
  • 文/花漫 我一把揭開(kāi)白布丙笋。 她就那樣靜靜地躺著谢澈,像睡著了一般。 火紅的嫁衣襯著肌膚如雪御板。 梳的紋絲不亂的頭發(fā)上锥忿,一...
    開(kāi)封第一講書(shū)人閱讀 51,624評(píng)論 1 305
  • 那天,我揣著相機(jī)與錄音怠肋,去河邊找鬼敬鬓。 笑死,一個(gè)胖子當(dāng)著我的面吹牛笙各,可吹牛的內(nèi)容都是我干的钉答。 我是一名探鬼主播,決...
    沈念sama閱讀 40,358評(píng)論 3 418
  • 文/蒼蘭香墨 我猛地睜開(kāi)眼杈抢,長(zhǎng)吁一口氣:“原來(lái)是場(chǎng)噩夢(mèng)啊……” “哼数尿!你這毒婦竟也來(lái)了?” 一聲冷哼從身側(cè)響起惶楼,我...
    開(kāi)封第一講書(shū)人閱讀 39,261評(píng)論 0 276
  • 序言:老撾萬(wàn)榮一對(duì)情侶失蹤右蹦,失蹤者是張志新(化名)和其女友劉穎,沒(méi)想到半個(gè)月后歼捐,有當(dāng)?shù)厝嗽跇?shù)林里發(fā)現(xiàn)了一具尸體何陆,經(jīng)...
    沈念sama閱讀 45,722評(píng)論 1 315
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡,尸身上長(zhǎng)有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 37,900評(píng)論 3 336
  • 正文 我和宋清朗相戀三年豹储,在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了甲献。 大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片。...
    茶點(diǎn)故事閱讀 40,030評(píng)論 1 350
  • 序言:一個(gè)原本活蹦亂跳的男人離奇死亡颂翼,死狀恐怖晃洒,靈堂內(nèi)的尸體忽然破棺而出,到底是詐尸還是另有隱情朦乏,我是刑警寧澤球及,帶...
    沈念sama閱讀 35,737評(píng)論 5 346
  • 正文 年R本政府宣布,位于F島的核電站呻疹,受9級(jí)特大地震影響吃引,放射性物質(zhì)發(fā)生泄漏。R本人自食惡果不足惜刽锤,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 41,360評(píng)論 3 330
  • 文/蒙蒙 一镊尺、第九天 我趴在偏房一處隱蔽的房頂上張望。 院中可真熱鬧并思,春花似錦庐氮、人聲如沸。這莊子的主人今日做“春日...
    開(kāi)封第一講書(shū)人閱讀 31,941評(píng)論 0 22
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽(yáng)仙畦。三九已至音婶,卻和暖如春慨畸,著一層夾襖步出監(jiān)牢的瞬間,已是汗流浹背衣式。 一陣腳步聲響...
    開(kāi)封第一講書(shū)人閱讀 33,057評(píng)論 1 270
  • 我被黑心中介騙來(lái)泰國(guó)打工寸士, 沒(méi)想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留,地道東北人碴卧。 一個(gè)月前我還...
    沈念sama閱讀 48,237評(píng)論 3 371
  • 正文 我出身青樓弱卡,卻偏偏與公主長(zhǎng)得像,于是被迫代替她去往敵國(guó)和親螟深。 傳聞我的和親對(duì)象是個(gè)殘疾皇子谐宙,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 44,976評(píng)論 2 355

推薦閱讀更多精彩內(nèi)容