全方位的開源監(jiān)控工具鏈介紹

? ? ? ?說到監(jiān)控現(xiàn)在最火的是全鏈路監(jiān)控(服務(wù)調(diào)用+HTTP調(diào)用+數(shù)據(jù)源訪問+MQ鏈路的監(jiān)控)筷转,但我認(rèn)為這是狹義的全鏈路監(jiān)控计维,廣義的概念應(yīng)該不僅僅指APM監(jiān)控(Appliation Perfance? Manager & Monitor)敢会,還包括Loggong(系統(tǒng)日志咬摇、業(yè)務(wù)日志辙诞、框架日志)、Mertic(指標(biāo)或者度量)量淌、Trancing(追蹤:覆蓋微服務(wù)骗村,存儲(chǔ),中間件)呀枢。而我今天要介紹的是全方位的開源監(jiān)控工具鏈胚股,為什么是全方位,就是比廣義的全鏈路監(jiān)控還要多裙秋,包括前端監(jiān)控(用戶行為監(jiān)控)琅拌、壓測(cè)監(jiān)控、DevOps監(jiān)控等等摘刑。

一进宝、前端監(jiān)控

開源的前端監(jiān)控產(chǎn)品很少,我今天推薦的是zanePerfor枷恕,我們一直在用党晋,確實(shí)挺好用的(在這里給開發(fā)者打打廣告,使用的人多了開源項(xiàng)目才能成長(zhǎng)),具有如下功能:

1未玻、瀏覽器端(WEB)

頁(yè)面級(jí)的性能上報(bào)(多頁(yè)面 || 單頁(yè)面應(yīng)用程序通用)

頁(yè)面AJAX性能上報(bào)

頁(yè)面所有加載資源性能上報(bào)(圖片,js,css)

頁(yè)面所有錯(cuò)誤信息上報(bào)(js,css,ajax)

2灾而、微信小程序端

path路徑對(duì)應(yīng)的AJAX性能上報(bào)

小程序錯(cuò)誤信息上報(bào)(js,ajax,img)

用戶設(shè)備信息及其網(wǎng)絡(luò)信息上報(bào)

3、后端界面展示功能(web,小程序通用)

統(tǒng)計(jì)每分鐘應(yīng)用的PV,UV,IP信息深胳,統(tǒng)計(jì)每天的PV,UV,IP,跳出率绰疤,用戶訪問平均深度

統(tǒng)計(jì)實(shí)時(shí)和每天的應(yīng)用top最高訪問排行,跳出率最高排行

統(tǒng)計(jì)實(shí)時(shí)和每天的全國(guó)省份流量熱力圖

統(tǒng)計(jì)每個(gè)用戶每次訪問的行為軌跡

?

?

源碼地址:https://github.com/wangweianger/zanePerfor

二舞终、 APM監(jiān)控

? ? ? ?我要推薦的是SkyWalking(國(guó)人開發(fā)的轻庆,得支持),這是一款開源的應(yīng)用性能監(jiān)控系統(tǒng)敛劝,包括指標(biāo)監(jiān)控余爆,分布式追蹤,分布式系統(tǒng)性能診斷夸盟。專為微服務(wù)蛾方、云本機(jī)架構(gòu)和基于容器(Docker、K8s上陕、Mesos)架構(gòu)而設(shè)計(jì)桩砰。

其架構(gòu)如下:?

?

?以下是監(jiān)控效果圖:

?項(xiàng)目官網(wǎng):https://skywalking.apache.org/zh/

Skywalking監(jiān)控鏈路圖

源碼地址:https://github.com/apache/skywalking

三、JMX監(jiān)控

一般我們運(yùn)行Java項(xiàng)目都會(huì)涉及到JMX的監(jiān)控释簿,本身JDK自帶有的工具jconsole.exe就能完成亚隅,很多開源監(jiān)控平臺(tái)如Zabbix、open-falcon都有相關(guān)的監(jiān)控插件庶溶,除此之外還有一些很流行的JMX監(jiān)控組件如Jolokia煮纵、Jmxtrans,這些組件與其他工具組合就能構(gòu)建出Java監(jiān)控平臺(tái)偏螺,我這里推薦的是Jmxtrans + Influxdb + Grafana組合行疏,因?yàn)槲易约河玫谋容^多,相對(duì)比較順手套像。

? ? ? ?這種方式獲取的監(jiān)控指標(biāo)是錄活的酿联,界面展現(xiàn)也是自由配置的,最主要是免費(fèi)輕量級(jí)的凉夯,監(jiān)控效果如下:

Jmx監(jiān)控效果圖

具體使用方式货葬,參見我的另一篇文章:https://smooth.blog.csdn.net/article/details/90399528

源碼地址:https://github.com/jmxtrans/jmxtrans

四、服務(wù)器監(jiān)控

關(guān)于服務(wù)器監(jiān)控劲够,主要指的是OS(操作系統(tǒng))、Docker等環(huán)境監(jiān)控休傍,主要應(yīng)用于運(yùn)維監(jiān)控方面(包括CPU征绎、內(nèi)存、進(jìn)程、磁盤人柿、網(wǎng)絡(luò)的監(jiān)控)柴墩,這方面的開源平臺(tái)也挺多,比如Zabbix凫岖、open-falcon江咳。但這里我還是推薦用輕量級(jí)的數(shù)據(jù)采集組件Telegraf,可以組合搭配的方式為Telegraf + Influxdb + Grafana哥放,由于Telegraf有Linux歼指、Windows、Docker的運(yùn)行模式甥雕,所以可以廣泛的采集多種服務(wù)器中的指標(biāo)數(shù)據(jù)踩身。

Linux監(jiān)控效果圖
Windows監(jiān)控效果圖
Docker監(jiān)控效果圖

Telegraf可以采集的數(shù)據(jù)是非常多樣的,可以見https://github.com/influxdata/telegraf/tree/master/plugins/inputs

另外如果覺得要配置以上漂亮的面板很麻煩社露,那你可以到grafana的官網(wǎng)去下載面板模板挟阻,自己再進(jìn)行修改調(diào)整也是可以的:https://grafana.com/grafana/dashboards?collector=Telegraf

源碼地址https://github.com/influxdata/telegraf

五、數(shù)據(jù)庫(kù)監(jiān)控

? ? ? ?開源的數(shù)據(jù)庫(kù)監(jiān)控工具或平臺(tái)其實(shí)也不多峭弟,因?yàn)閿?shù)據(jù)庫(kù)產(chǎn)品太多太復(fù)雜了附鸽,涉及到不同的數(shù)據(jù)庫(kù)(包括Nosql)用不同的采集組件就已經(jīng)讓人崩潰了。不過幸運(yùn)的是上面的Telegraf組件就很強(qiáng)大瞒瘸,它可以監(jiān)控除Oracle以外的大部分常用數(shù)據(jù)庫(kù)坷备,如Mysql、SQL Server挨务、Postgresql击你、Mongodb、Redis谎柄、CouchDB等丁侄。以下就舉例Postgresql和Redis的監(jiān)控效果圖:

PG監(jiān)控示意圖
Redis監(jiān)控示意圖

? ? ? ?前面說了Telegraf無法采集Oracle的監(jiān)控?cái)?shù)據(jù),那么對(duì)于Oracle的監(jiān)控難道就沒有好的工具了(這里指的是開源的朝巫,不包括大量成熟的Oracle監(jiān)控工具如Spotlight On Oracle鸿摇,另外像不開源但卻是免費(fèi)的TreeSoft也能實(shí)現(xiàn)簡(jiǎn)單的監(jiān)控)?嗎?答案是否定的劈猿,既然是開源拙吉,只要你愿意去探索就無所不能。這里可以嘗試用 Telegraf + InfluxDB + Grafana + Python 的方式來實(shí)現(xiàn)揪荣,效果圖如下:

Oracle監(jiān)控示意圖

具體如何實(shí)現(xiàn)Oracle監(jiān)控筷黔,可以參考網(wǎng)上的一篇文章:https://blog.csdn.net/zuozewei/article/details/89042921

Telegraf_mysql監(jiān)控配置:https://github.com/influxdata/telegraf/tree/master/plugins/inputs/mysql

Telegraf_SqlServer監(jiān)控配置:https://github.com/influxdata/telegraf/tree/master/plugins/inputs/sqlserver

Telegraf_Postgresql監(jiān)控配置:https://github.com/influxdata/telegraf/tree/master/plugins/inputs/postgresql

https://github.com/influxdata/telegraf/tree/master/plugins/inputs/postgresql_extensible

Telegraf_Mongodb監(jiān)控配置:https://github.com/influxdata/telegraf/tree/master/plugins/inputs/mongodb

Telegraf_Redis監(jiān)控配置:https://github.com/influxdata/telegraf/tree/master/plugins/inputs/redis

六、CI/CD監(jiān)控

? ? ? ?現(xiàn)在最流行的話題是DevOps仗颈,這個(gè)方面的話題太高大上佛舱,涉及到監(jiān)控也是很難定義,但是對(duì)于CI/CD過程涉及的Jenkins我們是可以監(jiān)控的,比如采用 Jenkins_InfluxDB_Plugin + Influxdb + Grafana 組合方式來采集Jenkins的構(gòu)建數(shù)據(jù)请祖,并進(jìn)行視圖分析:

Jenkins_Influxdb插件介紹:https://wiki.jenkins.io/display/JENKINS/InfluxDB+Plugin

Jenkins_Influxdb插件源碼https://github.com/jenkinsci/influxdb-plugin

關(guān)于Jenkins結(jié)合influxdb插件收集數(shù)據(jù)交Grafana的具體介紹订歪,可以參見我的另一篇文章:

https://smooth.blog.csdn.net/article/details/88551268

七、測(cè)試監(jiān)控

? ? ? ? 到這里我們已經(jīng)了解到?Influxdb + Grafana 組合的強(qiáng)大了肆捕,其實(shí)和Jmeter結(jié)合刷晋,我們就可以監(jiān)視性能測(cè)試的壓測(cè)請(qǐng)求,比起Jmeter本身所生成的html報(bào)告慎陵,這種方式實(shí)時(shí)性更好眼虱,輕量級(jí)的不占用過高資源,可以滿足長(zhǎng)時(shí)間的壓測(cè)監(jiān)控荆姆。

? ? ? ? 我們通過Jmeter的Backend Listener組件蒙幻,就可以將Jmeter的數(shù)據(jù)發(fā)送到Influxdb,交由Grafana分析展示:

?這種方式網(wǎng)上隨處能搜索到胆筒,也可以關(guān)注我的另一篇文章:https://blog.csdn.net/smooth00/article/details/79926294

八邮破、日志監(jiān)控

? ? ? ?如今最流行的日志監(jiān)控分析框架是ELK(Elasticsearch + Logstash + Kibana),或者是搭配輕量級(jí)的日志采集分析框架Elasticsearch + Filebeat + Kibana仆救。說下kibana作為日志展現(xiàn)方面的問題抒和,Kibana往往在展現(xiàn)一條數(shù)據(jù)的時(shí)候效果是完美的,尤其是kibana4那種清淡的綠色讓人心曠神怡彤蔽。 但很多時(shí)候我們要做多維度數(shù)據(jù)圖表展現(xiàn)摧莽,這地方Kibana貌似沒有做圖表樣式的優(yōu)化。當(dāng)很多條數(shù)據(jù)擁擠在一起時(shí)顿痪,很難區(qū)分出每個(gè)點(diǎn)的數(shù)值镊辕,換句話說很不直觀。另外Kibana更加適合日志類型的展現(xiàn)蚁袭, 雖然他也可以kv結(jié)構(gòu)征懈,但配置起來有些麻煩。所以現(xiàn)在還有一種搭配方式是?Elasticsearch + Logstash + Grafana 或 Elasticsearch? + Filebeat + Logstash + Granfa揩悄,比起來Grafana比Kibana部署還要輕量化卖哎。以下是ELK監(jiān)控Nginx日志,并通過Grafana展現(xiàn)的效果圖:

nginx log的grafana模板:https://grafana.com/grafana/dashboards/2292

ELK:https://www.elastic.co/cn/what-is/elk-stack

? ? ? 寫到這删性,我也差不多把我所了解的開源監(jiān)控產(chǎn)品梳理了一通亏娜,其中有一些在我的推薦下,已經(jīng)在公司內(nèi)部得到了應(yīng)用蹬挺,另外Skywalking和Telegraf维贺、Jmxtrans也集成到我自己的監(jiān)控平臺(tái)中,而Influxdb巴帮、Grafana也往Jmeter壓測(cè)平臺(tái)中做了集成幸缕。當(dāng)然群发,我還會(huì)繼續(xù)探索一些新的開源監(jiān)控技術(shù)晰韵,爭(zhēng)取做一個(gè)受歡迎的搬運(yùn)工发乔。

來自我的原創(chuàng)博客(請(qǐng)務(wù)轉(zhuǎn)載):https://smooth.blog.csdn.net/

?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
  • 序言:七十年代末,一起剝皮案震驚了整個(gè)濱河市雪猪,隨后出現(xiàn)的幾起案子栏尚,更是在濱河造成了極大的恐慌,老刑警劉巖只恨,帶你破解...
    沈念sama閱讀 219,427評(píng)論 6 508
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件译仗,死亡現(xiàn)場(chǎng)離奇詭異,居然都是意外死亡官觅,警方通過查閱死者的電腦和手機(jī)纵菌,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 93,551評(píng)論 3 395
  • 文/潘曉璐 我一進(jìn)店門,熙熙樓的掌柜王于貴愁眉苦臉地迎上來休涤,“玉大人咱圆,你說我怎么就攤上這事」Π保” “怎么了序苏?”我有些...
    開封第一講書人閱讀 165,747評(píng)論 0 356
  • 文/不壞的土叔 我叫張陵,是天一觀的道長(zhǎng)捷凄。 經(jīng)常有香客問我忱详,道長(zhǎng),這世上最難降的妖魔是什么跺涤? 我笑而不...
    開封第一講書人閱讀 58,939評(píng)論 1 295
  • 正文 為了忘掉前任匈睁,我火速辦了婚禮,結(jié)果婚禮上桶错,老公的妹妹穿的比我還像新娘航唆。我一直安慰自己,他們只是感情好牛曹,可當(dāng)我...
    茶點(diǎn)故事閱讀 67,955評(píng)論 6 392
  • 文/花漫 我一把揭開白布佛点。 她就那樣靜靜地躺著,像睡著了一般黎比。 火紅的嫁衣襯著肌膚如雪超营。 梳的紋絲不亂的頭發(fā)上,一...
    開封第一講書人閱讀 51,737評(píng)論 1 305
  • 那天阅虫,我揣著相機(jī)與錄音演闭,去河邊找鬼。 笑死颓帝,一個(gè)胖子當(dāng)著我的面吹牛米碰,可吹牛的內(nèi)容都是我干的窝革。 我是一名探鬼主播,決...
    沈念sama閱讀 40,448評(píng)論 3 420
  • 文/蒼蘭香墨 我猛地睜開眼吕座,長(zhǎng)吁一口氣:“原來是場(chǎng)噩夢(mèng)啊……” “哼虐译!你這毒婦竟也來了?” 一聲冷哼從身側(cè)響起吴趴,我...
    開封第一講書人閱讀 39,352評(píng)論 0 276
  • 序言:老撾萬(wàn)榮一對(duì)情侶失蹤漆诽,失蹤者是張志新(化名)和其女友劉穎,沒想到半個(gè)月后锣枝,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體厢拭,經(jīng)...
    沈念sama閱讀 45,834評(píng)論 1 317
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡,尸身上長(zhǎng)有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 37,992評(píng)論 3 338
  • 正文 我和宋清朗相戀三年撇叁,在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了供鸠。 大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片。...
    茶點(diǎn)故事閱讀 40,133評(píng)論 1 351
  • 序言:一個(gè)原本活蹦亂跳的男人離奇死亡陨闹,死狀恐怖楞捂,靈堂內(nèi)的尸體忽然破棺而出,到底是詐尸還是另有隱情正林,我是刑警寧澤泡一,帶...
    沈念sama閱讀 35,815評(píng)論 5 346
  • 正文 年R本政府宣布,位于F島的核電站觅廓,受9級(jí)特大地震影響鼻忠,放射性物質(zhì)發(fā)生泄漏。R本人自食惡果不足惜杈绸,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 41,477評(píng)論 3 331
  • 文/蒙蒙 一帖蔓、第九天 我趴在偏房一處隱蔽的房頂上張望。 院中可真熱鬧瞳脓,春花似錦塑娇、人聲如沸。這莊子的主人今日做“春日...
    開封第一講書人閱讀 32,022評(píng)論 0 22
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽(yáng)。三九已至烧栋,卻和暖如春写妥,著一層夾襖步出監(jiān)牢的瞬間,已是汗流浹背审姓。 一陣腳步聲響...
    開封第一講書人閱讀 33,147評(píng)論 1 272
  • 我被黑心中介騙來泰國(guó)打工珍特, 沒想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留,地道東北人魔吐。 一個(gè)月前我還...
    沈念sama閱讀 48,398評(píng)論 3 373
  • 正文 我出身青樓扎筒,卻偏偏與公主長(zhǎng)得像莱找,于是被迫代替她去往敵國(guó)和親。 傳聞我的和親對(duì)象是個(gè)殘疾皇子嗜桌,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 45,077評(píng)論 2 355