? ? ? ?說到監(jiān)控現(xiàn)在最火的是全鏈路監(jiān)控(服務(wù)調(diào)用+HTTP調(diào)用+數(shù)據(jù)源訪問+MQ鏈路的監(jiān)控)筷转,但我認(rèn)為這是狹義的全鏈路監(jiān)控计维,廣義的概念應(yīng)該不僅僅指APM監(jiān)控(Appliation Perfance? Manager & Monitor)敢会,還包括Loggong(系統(tǒng)日志咬摇、業(yè)務(wù)日志辙诞、框架日志)、Mertic(指標(biāo)或者度量)量淌、Trancing(追蹤:覆蓋微服務(wù)骗村,存儲(chǔ),中間件)呀枢。而我今天要介紹的是全方位的開源監(jiān)控工具鏈胚股,為什么是全方位,就是比廣義的全鏈路監(jiān)控還要多裙秋,包括前端監(jiān)控(用戶行為監(jiān)控)琅拌、壓測(cè)監(jiān)控、DevOps監(jiān)控等等摘刑。
一进宝、前端監(jiān)控
開源的前端監(jiān)控產(chǎn)品很少,我今天推薦的是zanePerfor枷恕,我們一直在用党晋,確實(shí)挺好用的(在這里給開發(fā)者打打廣告,使用的人多了開源項(xiàng)目才能成長(zhǎng)),具有如下功能:
1未玻、瀏覽器端(WEB)
頁(yè)面級(jí)的性能上報(bào)(多頁(yè)面 || 單頁(yè)面應(yīng)用程序通用)
頁(yè)面AJAX性能上報(bào)
頁(yè)面所有加載資源性能上報(bào)(圖片,js,css)
頁(yè)面所有錯(cuò)誤信息上報(bào)(js,css,ajax)
2灾而、微信小程序端
path路徑對(duì)應(yīng)的AJAX性能上報(bào)
小程序錯(cuò)誤信息上報(bào)(js,ajax,img)
用戶設(shè)備信息及其網(wǎng)絡(luò)信息上報(bào)
3、后端界面展示功能(web,小程序通用)
統(tǒng)計(jì)每分鐘應(yīng)用的PV,UV,IP信息深胳,統(tǒng)計(jì)每天的PV,UV,IP,跳出率绰疤,用戶訪問平均深度
統(tǒng)計(jì)實(shí)時(shí)和每天的應(yīng)用top最高訪問排行,跳出率最高排行
統(tǒng)計(jì)實(shí)時(shí)和每天的全國(guó)省份流量熱力圖
統(tǒng)計(jì)每個(gè)用戶每次訪問的行為軌跡
?
?
源碼地址:https://github.com/wangweianger/zanePerfor
二舞终、 APM監(jiān)控
? ? ? ?我要推薦的是SkyWalking(國(guó)人開發(fā)的轻庆,得支持),這是一款開源的應(yīng)用性能監(jiān)控系統(tǒng)敛劝,包括指標(biāo)監(jiān)控余爆,分布式追蹤,分布式系統(tǒng)性能診斷夸盟。專為微服務(wù)蛾方、云本機(jī)架構(gòu)和基于容器(Docker、K8s上陕、Mesos)架構(gòu)而設(shè)計(jì)桩砰。
其架構(gòu)如下:?
?
?以下是監(jiān)控效果圖:
?項(xiàng)目官網(wǎng):https://skywalking.apache.org/zh/
源碼地址:https://github.com/apache/skywalking
三、JMX監(jiān)控
一般我們運(yùn)行Java項(xiàng)目都會(huì)涉及到JMX的監(jiān)控释簿,本身JDK自帶有的工具jconsole.exe就能完成亚隅,很多開源監(jiān)控平臺(tái)如Zabbix、open-falcon都有相關(guān)的監(jiān)控插件庶溶,除此之外還有一些很流行的JMX監(jiān)控組件如Jolokia煮纵、Jmxtrans,這些組件與其他工具組合就能構(gòu)建出Java監(jiān)控平臺(tái)偏螺,我這里推薦的是Jmxtrans + Influxdb + Grafana組合行疏,因?yàn)槲易约河玫谋容^多,相對(duì)比較順手套像。
? ? ? ?這種方式獲取的監(jiān)控指標(biāo)是錄活的酿联,界面展現(xiàn)也是自由配置的,最主要是免費(fèi)輕量級(jí)的凉夯,監(jiān)控效果如下:
具體使用方式货葬,參見我的另一篇文章:https://smooth.blog.csdn.net/article/details/90399528
源碼地址:https://github.com/jmxtrans/jmxtrans
四、服務(wù)器監(jiān)控
關(guān)于服務(wù)器監(jiān)控劲够,主要指的是OS(操作系統(tǒng))、Docker等環(huán)境監(jiān)控休傍,主要應(yīng)用于運(yùn)維監(jiān)控方面(包括CPU征绎、內(nèi)存、進(jìn)程、磁盤人柿、網(wǎng)絡(luò)的監(jiān)控)柴墩,這方面的開源平臺(tái)也挺多,比如Zabbix凫岖、open-falcon江咳。但這里我還是推薦用輕量級(jí)的數(shù)據(jù)采集組件Telegraf,可以組合搭配的方式為Telegraf + Influxdb + Grafana哥放,由于Telegraf有Linux歼指、Windows、Docker的運(yùn)行模式甥雕,所以可以廣泛的采集多種服務(wù)器中的指標(biāo)數(shù)據(jù)踩身。
Telegraf可以采集的數(shù)據(jù)是非常多樣的,可以見https://github.com/influxdata/telegraf/tree/master/plugins/inputs
另外如果覺得要配置以上漂亮的面板很麻煩社露,那你可以到grafana的官網(wǎng)去下載面板模板挟阻,自己再進(jìn)行修改調(diào)整也是可以的:https://grafana.com/grafana/dashboards?collector=Telegraf
源碼地址:https://github.com/influxdata/telegraf
五、數(shù)據(jù)庫(kù)監(jiān)控
? ? ? ?開源的數(shù)據(jù)庫(kù)監(jiān)控工具或平臺(tái)其實(shí)也不多峭弟,因?yàn)閿?shù)據(jù)庫(kù)產(chǎn)品太多太復(fù)雜了附鸽,涉及到不同的數(shù)據(jù)庫(kù)(包括Nosql)用不同的采集組件就已經(jīng)讓人崩潰了。不過幸運(yùn)的是上面的Telegraf組件就很強(qiáng)大瞒瘸,它可以監(jiān)控除Oracle以外的大部分常用數(shù)據(jù)庫(kù)坷备,如Mysql、SQL Server挨务、Postgresql击你、Mongodb、Redis谎柄、CouchDB等丁侄。以下就舉例Postgresql和Redis的監(jiān)控效果圖:
? ? ? ?前面說了Telegraf無法采集Oracle的監(jiān)控?cái)?shù)據(jù),那么對(duì)于Oracle的監(jiān)控難道就沒有好的工具了(這里指的是開源的朝巫,不包括大量成熟的Oracle監(jiān)控工具如Spotlight On Oracle鸿摇,另外像不開源但卻是免費(fèi)的TreeSoft也能實(shí)現(xiàn)簡(jiǎn)單的監(jiān)控)?嗎?答案是否定的劈猿,既然是開源拙吉,只要你愿意去探索就無所不能。這里可以嘗試用 Telegraf + InfluxDB + Grafana + Python 的方式來實(shí)現(xiàn)揪荣,效果圖如下:
具體如何實(shí)現(xiàn)Oracle監(jiān)控筷黔,可以參考網(wǎng)上的一篇文章:https://blog.csdn.net/zuozewei/article/details/89042921
Telegraf_mysql監(jiān)控配置:https://github.com/influxdata/telegraf/tree/master/plugins/inputs/mysql
Telegraf_SqlServer監(jiān)控配置:https://github.com/influxdata/telegraf/tree/master/plugins/inputs/sqlserver
Telegraf_Postgresql監(jiān)控配置:https://github.com/influxdata/telegraf/tree/master/plugins/inputs/postgresql
https://github.com/influxdata/telegraf/tree/master/plugins/inputs/postgresql_extensible
Telegraf_Mongodb監(jiān)控配置:https://github.com/influxdata/telegraf/tree/master/plugins/inputs/mongodb
Telegraf_Redis監(jiān)控配置:https://github.com/influxdata/telegraf/tree/master/plugins/inputs/redis
六、CI/CD監(jiān)控
? ? ? ?現(xiàn)在最流行的話題是DevOps仗颈,這個(gè)方面的話題太高大上佛舱,涉及到監(jiān)控也是很難定義,但是對(duì)于CI/CD過程涉及的Jenkins我們是可以監(jiān)控的,比如采用 Jenkins_InfluxDB_Plugin + Influxdb + Grafana 組合方式來采集Jenkins的構(gòu)建數(shù)據(jù)请祖,并進(jìn)行視圖分析:
Jenkins_Influxdb插件介紹:https://wiki.jenkins.io/display/JENKINS/InfluxDB+Plugin
Jenkins_Influxdb插件源碼:https://github.com/jenkinsci/influxdb-plugin
關(guān)于Jenkins結(jié)合influxdb插件收集數(shù)據(jù)交Grafana的具體介紹订歪,可以參見我的另一篇文章:
https://smooth.blog.csdn.net/article/details/88551268
七、測(cè)試監(jiān)控
? ? ? ? 到這里我們已經(jīng)了解到?Influxdb + Grafana 組合的強(qiáng)大了肆捕,其實(shí)和Jmeter結(jié)合刷晋,我們就可以監(jiān)視性能測(cè)試的壓測(cè)請(qǐng)求,比起Jmeter本身所生成的html報(bào)告慎陵,這種方式實(shí)時(shí)性更好眼虱,輕量級(jí)的不占用過高資源,可以滿足長(zhǎng)時(shí)間的壓測(cè)監(jiān)控荆姆。
? ? ? ? 我們通過Jmeter的Backend Listener組件蒙幻,就可以將Jmeter的數(shù)據(jù)發(fā)送到Influxdb,交由Grafana分析展示:
?這種方式網(wǎng)上隨處能搜索到胆筒,也可以關(guān)注我的另一篇文章:https://blog.csdn.net/smooth00/article/details/79926294
八邮破、日志監(jiān)控
? ? ? ?如今最流行的日志監(jiān)控分析框架是ELK(Elasticsearch + Logstash + Kibana),或者是搭配輕量級(jí)的日志采集分析框架Elasticsearch + Filebeat + Kibana仆救。說下kibana作為日志展現(xiàn)方面的問題抒和,Kibana往往在展現(xiàn)一條數(shù)據(jù)的時(shí)候效果是完美的,尤其是kibana4那種清淡的綠色讓人心曠神怡彤蔽。 但很多時(shí)候我們要做多維度數(shù)據(jù)圖表展現(xiàn)摧莽,這地方Kibana貌似沒有做圖表樣式的優(yōu)化。當(dāng)很多條數(shù)據(jù)擁擠在一起時(shí)顿痪,很難區(qū)分出每個(gè)點(diǎn)的數(shù)值镊辕,換句話說很不直觀。另外Kibana更加適合日志類型的展現(xiàn)蚁袭, 雖然他也可以kv結(jié)構(gòu)征懈,但配置起來有些麻煩。所以現(xiàn)在還有一種搭配方式是?Elasticsearch + Logstash + Grafana 或 Elasticsearch? + Filebeat + Logstash + Granfa揩悄,比起來Grafana比Kibana部署還要輕量化卖哎。以下是ELK監(jiān)控Nginx日志,并通過Grafana展現(xiàn)的效果圖:
nginx log的grafana模板:https://grafana.com/grafana/dashboards/2292
ELK:https://www.elastic.co/cn/what-is/elk-stack
? ? ? 寫到這删性,我也差不多把我所了解的開源監(jiān)控產(chǎn)品梳理了一通亏娜,其中有一些在我的推薦下,已經(jīng)在公司內(nèi)部得到了應(yīng)用蹬挺,另外Skywalking和Telegraf维贺、Jmxtrans也集成到我自己的監(jiān)控平臺(tái)中,而Influxdb巴帮、Grafana也往Jmeter壓測(cè)平臺(tái)中做了集成幸缕。當(dāng)然群发,我還會(huì)繼續(xù)探索一些新的開源監(jiān)控技術(shù)晰韵,爭(zhēng)取做一個(gè)受歡迎的搬運(yùn)工发乔。
來自我的原創(chuàng)博客(請(qǐng)務(wù)轉(zhuǎn)載):https://smooth.blog.csdn.net/