使用graphite來監(jiān)控業(yè)務(wù)系統(tǒng)

? ? ? ?隨著業(yè)務(wù)系統(tǒng)越來越多飞涂,系統(tǒng)化的監(jiān)控需求就來了渣窜。前天看了一下graphite,感覺整體架構(gòu)還是不錯(cuò)的课锌。廢話不多講,如下圖:


這里簡單總結(jié)一下各個(gè)組件的作用:

?carbon:

負(fù)責(zé)后端數(shù)據(jù)采集,可以通過以下客戶端來采集數(shù)據(jù)

客戶端應(yīng)用有多個(gè)方式來發(fā)布度量值:

使用一個(gè)純文本協(xié)議工具比如 netcat (nc) 命令

使用 pickle 協(xié)議

使用高級消息隊(duì)列協(xié)議(AMQP)

使用 lib 包比如 Dropwizard metrics library(http://metrics.dropwizard.io/3.2.2/getting-started.html)

?whisper:

結(jié)構(gòu)化的文件存儲(chǔ)祈秕,主要用來存儲(chǔ)時(shí)間序列數(shù)據(jù)的數(shù)據(jù)庫包渺贤,它被應(yīng)用通過使用 create, update请毛, 和 fetch 操作來檢索以及操作

?graphite-web:

官方的圖表展示(比較丑陋)


下面志鞍,我們來介紹一下安裝

因?yàn)間raphite是用python來實(shí)現(xiàn)的,所以要驗(yàn)證一下python ?版本:python -v?

我的是2.7.12方仿,切記固棚,一定要安裝2.7系例的版本,我的服務(wù)器環(huán)境是Ubuntu 5.4.0-6ubuntu1~16.04.4.官方的文檔地址是:http://graphite.readthedocs.io/en/latest/overview.html

仙蚜,請大家一定耐著頭皮看一下此洲,英文不好,查詞典也要弄懂呜师。我是使用pip的方式安裝的,下面是過程

1 pip安裝(安裝工具)

下載https://bootstrap.pypa.io/get-pip.py艳丛,執(zhí)行python get-pip.py

2 pip安裝好了匣掸,就可以進(jìn)入正題,分別安裝三個(gè)組件

export PYTHONPATH="/opt/graphite/lib/:/opt/graphite/webapp/"

pip install --no-binary=:all: https://github.com/graphite-project/whisper/tarball/master

pip install --no-binary=:all: https://github.com/graphite-project/carbon/tarball/master




pip install --no-binary=:all: https://github.com/graphite-project/graphite-web/tarball/master

安裝過程提示libffi未安裝氮双,然后手動(dòng)下載安裝

wget ftp://sourceware.org/pub/libffi/libffi-3.2.1.tar.gz

下載之后解壓libffi之后碰酝,

./configure或者./config

make

make install(有可能還會(huì)報(bào)錯(cuò),可以試著執(zhí)行下面的命令)

sudo apt-get install libffi-dev


提示安裝成功4鞑睢(以上安裝基本是傻瓜式送爸,重點(diǎn)是配置)

3 數(shù)據(jù)庫初始化

PYTHONPATH=/opt/graphite/webapp django-admin.py migrate --settings=graphite.settings

另外,當(dāng)graphite-web安裝好,可以使用graphite-manage createsuperuser來創(chuàng)建超級用戶

4 配置文件初始化:

因?yàn)槭侨齻€(gè)組件袭厂,分別說明一下

carbon的配置文件是在/user/local/conf下面

root@iZbp10upl89i15wfkj8luzZ:/usr/local/conf# cp aggregation-rules.conf.example aggregation-rules.conf

root@iZbp10upl89i15wfkj8luzZ:/usr/local/conf# cp blacklist.conf.example blacklist.conf

root@iZbp10upl89i15wfkj8luzZ:/usr/local/conf# cp carbon.amqp.conf.example carbon.amqp.conf

root@iZbp10upl89i15wfkj8luzZ:/usr/local/conf# cp carbon.conf.example carbon.conf

root@iZbp10upl89i15wfkj8luzZ:/usr/local/conf# cp relay-rules.conf.example relay-rules.conf

root@iZbp10upl89i15wfkj8luzZ:/usr/local/conf# cp rewrite-rules.conf.example rewrite-rules.conf

root@iZbp10upl89i15wfkj8luzZ:/usr/local/conf# cp storage-aggregation.conf.example storage-aggregation.conf

root@iZbp10upl89i15wfkj8luzZ:/usr/local/conf# cp storage-schemas.conf.example storage-schemas.conf

root@iZbp10upl89i15wfkj8luzZ:/usr/local/conf# cp whitelist.conf.example whitelist.conf


graphite-web的配置:


daashboard.conf:這個(gè)主是展示頁面的UI配置墨吓,基本不用改。

local_settings.py:修改時(shí)區(qū)纹磺,whisper的數(shù)據(jù)存儲(chǔ)地址(這個(gè)地方的坑比較深帖烘,默認(rèn)情況下,不指定橄杨,是讀的/opt/graphite/storage/下面的)秘症,實(shí)際上carbon啟動(dòng)之后,數(shù)據(jù)是在


不然式矫,你的carbon把數(shù)據(jù)采集到了乡摹,但在graphite-web那邊就一直不顯示。

5 服務(wù)啟動(dòng)

carbon:主要是三個(gè)python后臺進(jìn)程的啟動(dòng)采转,官方說明:http://graphite.readthedocs.io/en/latest/carbon-daemons.html


graphite-web:圖標(biāo)展示只需要啟 ?動(dòng)兩個(gè)


最后一個(gè)腳本啟動(dòng)命令:

PYTHONPATH=`pwd`/storage/whisper ./bin/run-graphite-devel-server.py --port=8085 --libs=`pwd`/webapp /opt/graphite 1>/opt/graphite/storage/log/webapp/process.log 2>&1 &

6 客戶端數(shù)據(jù)采集:使用dropwizard metric來構(gòu)建指標(biāo)數(shù)據(jù)聪廉,我這里主要是數(shù)據(jù)庫相關(guān)參數(shù)

采集源接入:


數(shù)據(jù)上報(bào)方式:


7 效果如圖:



接下來,考慮使用grafana來做展現(xiàn)故慈。

參考地址:https://www.digitalocean.com/community/tutorials/how-to-install-and-use-graphite-on-an-ubuntu-14-04-server

http://graphite.readthedocs.io/en/latest/overview.html

http://www.infoq.com/cn/articles/graphite-intro

最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
  • 序言:七十年代末板熊,一起剝皮案震驚了整個(gè)濱河市,隨后出現(xiàn)的幾起案子察绷,更是在濱河造成了極大的恐慌邻邮,老刑警劉巖,帶你破解...
    沈念sama閱讀 206,126評論 6 481
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件克婶,死亡現(xiàn)場離奇詭異,居然都是意外死亡丹泉,警方通過查閱死者的電腦和手機(jī)情萤,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 88,254評論 2 382
  • 文/潘曉璐 我一進(jìn)店門,熙熙樓的掌柜王于貴愁眉苦臉地迎上來摹恨,“玉大人筋岛,你說我怎么就攤上這事∩购澹” “怎么了睁宰?”我有些...
    開封第一講書人閱讀 152,445評論 0 341
  • 文/不壞的土叔 我叫張陵,是天一觀的道長寝凌。 經(jīng)常有香客問我柒傻,道長,這世上最難降的妖魔是什么较木? 我笑而不...
    開封第一講書人閱讀 55,185評論 1 278
  • 正文 為了忘掉前任红符,我火速辦了婚禮,結(jié)果婚禮上,老公的妹妹穿的比我還像新娘预侯。我一直安慰自己致开,他們只是感情好,可當(dāng)我...
    茶點(diǎn)故事閱讀 64,178評論 5 371
  • 文/花漫 我一把揭開白布萎馅。 她就那樣靜靜地躺著双戳,像睡著了一般。 火紅的嫁衣襯著肌膚如雪糜芳。 梳的紋絲不亂的頭發(fā)上飒货,一...
    開封第一講書人閱讀 48,970評論 1 284
  • 那天,我揣著相機(jī)與錄音耍目,去河邊找鬼膏斤。 笑死,一個(gè)胖子當(dāng)著我的面吹牛邪驮,可吹牛的內(nèi)容都是我干的莫辨。 我是一名探鬼主播,決...
    沈念sama閱讀 38,276評論 3 399
  • 文/蒼蘭香墨 我猛地睜開眼毅访,長吁一口氣:“原來是場噩夢啊……” “哼沮榜!你這毒婦竟也來了?” 一聲冷哼從身側(cè)響起喻粹,我...
    開封第一講書人閱讀 36,927評論 0 259
  • 序言:老撾萬榮一對情侶失蹤蟆融,失蹤者是張志新(化名)和其女友劉穎,沒想到半個(gè)月后守呜,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體型酥,經(jīng)...
    沈念sama閱讀 43,400評論 1 300
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 35,883評論 2 323
  • 正文 我和宋清朗相戀三年查乒,在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了弥喉。 大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片。...
    茶點(diǎn)故事閱讀 37,997評論 1 333
  • 序言:一個(gè)原本活蹦亂跳的男人離奇死亡玛迄,死狀恐怖哭当,靈堂內(nèi)的尸體忽然破棺而出刷晋,到底是詐尸還是另有隱情额衙,我是刑警寧澤蛮艰,帶...
    沈念sama閱讀 33,646評論 4 322
  • 正文 年R本政府宣布,位于F島的核電站勒虾,受9級特大地震影響纺阔,放射性物質(zhì)發(fā)生泄漏。R本人自食惡果不足惜修然,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 39,213評論 3 307
  • 文/蒙蒙 一州弟、第九天 我趴在偏房一處隱蔽的房頂上張望钧栖。 院中可真熱鬧,春花似錦婆翔、人聲如沸拯杠。這莊子的主人今日做“春日...
    開封第一講書人閱讀 30,204評論 0 19
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽潭陪。三九已至,卻和暖如春最蕾,著一層夾襖步出監(jiān)牢的瞬間依溯,已是汗流浹背。 一陣腳步聲響...
    開封第一講書人閱讀 31,423評論 1 260
  • 我被黑心中介騙來泰國打工瘟则, 沒想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留黎炉,地道東北人。 一個(gè)月前我還...
    沈念sama閱讀 45,423評論 2 352
  • 正文 我出身青樓醋拧,卻偏偏與公主長得像慷嗜,于是被迫代替她去往敵國和親。 傳聞我的和親對象是個(gè)殘疾皇子丹壕,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 42,722評論 2 345

推薦閱讀更多精彩內(nèi)容

  • graphite 組件介紹 graphite 是一個(gè) 指標(biāo)數(shù)據(jù)收集系統(tǒng)庆械,一般作為監(jiān)控系統(tǒng)中 「監(jiān)控?cái)?shù)據(jù)收集存儲(chǔ)」使...
    凱帝_f319閱讀 4,376評論 0 1
  • 一、項(xiàng)目目標(biāo) 搭建一個(gè)高可用web集群網(wǎng)站 二菌赖、項(xiàng)目規(guī)劃 2.1 ip地址規(guī)劃 2.2 拓?fù)鋱D 2.3 相關(guān)說明 ...
    夏日之光閱讀 3,375評論 0 1
  • 【MySQL】Linux下MySQL 5.5、5.6和5.7的RPM邑时、二進(jìn)制和源碼安裝 1.1BLOG文檔結(jié)構(gòu)圖 ...
    小麥苗DB寶閱讀 10,509評論 0 31
  • 人老了 上午做過的事兒 下午就忘了 早晨說過的話 晚上就忘了 出門會(huì)忘記帶鑰匙 進(jìn)門會(huì)忘記換鞋子 他們牙齒脫落 咬...
    岳小麗閱讀 337評論 3 3
  • 我常常被自己感動(dòng)逛尚,愿意假裝做一輩子好人,卻真的做到了刁愿。累也是真的,倘若沒有這些盤綜錯(cuò)節(jié)到逊,沒有這么多矯揉牽絆铣口,全都是...
    器醉閱讀 343評論 0 0